llm-launcher

Des LLM à poids ouverts sur des GPU facturés à la minute.

Choisissez un modèle et un GPU sur une place de marché en direct. Obtenez un endpoint compatible OpenAI, un chat et un espace de code dessus.

Lancer un modèle

Parcourez les offres GPU en direct sans compte.

qwen3.8-27b-fp81× RTX A6000 · 48 GB total VRAM · Sweden, SERunning
GPU rate$0.40/hrUsage to date $0.35GPU $0.33 · Network $0.00 · Storage $0.02
Context window32.8k tokens

Traffic

Tokens
48.2k31.0k in · 17.2k out
Prompt cache
62%19.2k input tokens reused
Speed
41 tok/s128 requests

GPU load

Now
34%
Average
41%
VRAM now
44.1 GBof 48.0 GB
Account billed
$0.35
Provider total
$0.30
Commission
15%
ComponentUsageProvider rateProvider costAccount billed
GPU0.750 hours$0.380/hour$0.29$0.33
Storage0.750 hours$0.020/hour$0.02$0.02
Download30.9 GB$0.00/GB$0.00$0.00

6m 12s

  1. Reserve4s
  2. Rent3s
  3. Boot1m 08s
  4. Connect22s
  5. Download2m 41s
  6. Start engine1m 54s
  7. Ready

+0sEndpoint ready

Up to 32 users · Smooth up to 1 user

UsersFeelsFirst token p50 / p90Speed per userTotal output
1Smooth0.2 / 0.3 s38 tok/s38 tok/s
16Overloaded60 / 115 s38 tok/s38 tok/s
32Overloaded124 / 236 s38 tok/s38 tok/s
Base URL
https://inference.llm-launcher.com/v1
Model
qwen3.8-27b-fp8
API key
Exported as LLM_SAAS_API_KEY

Check it with curl

curl https://inference.llm-launcher.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_SAAS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8-27b-fp8","messages":[{"role":"user","content":"Hello"}]}'

Payez des minutes, pas des heures.

Dès quelques centimes de l'heure. Tarif du fournisseur plus 15 %, par minute entamée. Prépayé, sans abonnement.

Médiane Vast.ai
GPUVRAMPar heure
RTX 306012 Go0,07 $
RTX 309024 Go0,19 $
RTX A600048 Go0,40 $
RTX 409024 Go0,51 $
L40S48 Go0,64 $
RTX 509032 Go0,73 $
A100 SXM480 Go0,80 $
H100 SXM80 Go2,93 $
H200141 Go4,34 $
B200192 Go8,13 $

Offres disponibles

  • 1× RTX 306012 GB VRAM per GPU$0.052 / hourfree model download12 GB total VRAMPLAMD Ryzen 5 5600X · 12 cores32 GB RAM↓ 940 · ↑ 860 Mb/sTraffic not billed by this host
  • 1× RTX 309024 GB VRAM per GPU$0.130 / hour+ $0.004 model download24 GB total VRAMDEAMD Ryzen 9 5950X · 32 cores64 GB RAM↓ 2,400 · ↑ 1,800 Mb/sTraffic at $1.00 per TB
  • 1× B200192 GB VRAM per GPU$7.50 / hourfree model download192 GB total VRAMUSIntel Xeon Platinum 8570 · 56 cores512 GB RAM↓ 9,800 · ↑ 9,400 Mb/sTraffic not billed by this host
  • 1× RTX 409024 GB VRAM per GPU$0.290 / hour+ $0.017 model download24 GB total VRAMSEAMD EPYC 7543 · 32 cores128 GB RAM↓ 3,100 · ↑ 2,900 Mb/sTraffic at $4.00 per TB
  • 2× RTX 309024 GB VRAM per GPU$0.270 / hourfree model download48 GB total VRAMROIntel Core i9-12900K · 24 cores64 GB RAM↓ 910 · ↑ 810 Mb/sTraffic not billed by this host
  • 1× H100 SXM80 GB VRAM per GPU$1.85 / hourfree model download80 GB total VRAMCAAMD EPYC 9354 · 64 cores256 GB RAM↓ 8,600 · ↑ 8,100 Mb/sTraffic not billed by this host
  • 1× RTX A600048 GB VRAM per GPU$0.380 / hour+ $0.037 model download48 GB total VRAMFIAMD EPYC 7302 · 32 cores128 GB RAM↓ 1,900 · ↑ 1,700 Mb/sTraffic at $9.00 per TB
  • 1× H200141 GB VRAM per GPU$2.64 / hourfree model download141 GB total VRAMUSIntel Xeon Platinum 8468 · 48 cores384 GB RAM↓ 9,200 · ↑ 8,800 Mb/sTraffic not billed by this host
  • 1× RTX 509032 GB VRAM per GPU$0.410 / hour+ $0.004 model download32 GB total VRAMFRAMD Ryzen 9 9950X · 32 cores96 GB RAM↓ 2,000 · ↑ 1,900 Mb/sTraffic at $1.00 per TB
  • 1× A100 SXM480 GB VRAM per GPU$0.620 / hour+ $0.066 model download80 GB total VRAMNLAMD EPYC 7763 · 64 cores256 GB RAM↓ 5,400 · ↑ 5,100 Mb/sTraffic at $16.00 per TB
  • 1× L40S48 GB VRAM per GPU$0.520 / hour+ $0.017 model download48 GB total VRAMJPIntel Xeon Gold 6430 · 32 cores192 GB RAM↓ 4,200 · ↑ 3,900 Mb/sTraffic at $4.00 per TB

Votre modèle, à votre façon.

Dans le navigateur, ou dans les outils que vous utilisez déjà.

Chat

Open WebUI, connecté à votre compte, à un clic d'une machine en marche.

Open WebUI répondant à une question SQL avec le modèle qwen3.8-27b-fp8

Code

OpenCode dans le navigateur, branché sur le modèle que vous avez lancé, qui modifie son espace de travail.

OpenCode ajoutant à une fonction TypeScript une nouvelle tentative avec délai croissant, affichée en diff

Connecter

Votre modèle parle l'API OpenAI. Branchez-le sur votre application, un OpenCode local, un framework d'agents ou un script : pointez-le sur une URL, gardez votre code.

app.py
from openai import OpenAIimport osclient = OpenAI( base_url="https://inference.llm-launcher.com/v1", api_key=os.environ["LLM_SAAS_API_KEY"],)reply = client.chat.completions.create( model="qwen3.8-27b-fp8", messages=[{"role": "user", "content": "Triage this ticket"}],)
~/.config/opencode/opencode.json
{ "model": "llm-saas/qwen3.8-27b-fp8", "provider": { "llm-saas": { "npm": "@ai-sdk/openai-compatible", "options": { "baseURL": "https://inference.llm-launcher.com/v1", "apiKey": "{env:LLM_SAAS_API_KEY}" }, "models": { "qwen3.8-27b-fp8": {} } } }}

Questions fréquentes.

Quand la facturation démarre-t-elle, et quand s'arrête-t-elle ?

La facturation démarre dès que la machine est louée, démarrage et téléchargement du modèle compris, et s'arrête quand vous la détruisez. Chaque minute entamée est facturée. Un lancement qui échoue n'est facturé que pour les minutes où la machine a été louée.

Quels modèles puis-je lancer ?

Un catalogue choisi de modèles Qwen à poids ouverts, d'un 2B qui tient sur une carte de 12 Go à un 27B en BF16 ou en FP8. Chacun est dimensionné selon la mémoire GPU qu'il lui faut : vous ne voyez que les machines où il tient.

Quels GPU puis-je louer ?

Tout GPU d'un hôte Vast.ai vérifié, de capacité de calcul 8.0 ou plus, avec un pilote CUDA récent : de la RTX 3060 aux RTX 4090 et 5090, à l'A100, la L40S, la H100, la H200 et la B200. La page de lancement ne liste que les machines dont la mémoire peut accueillir le modèle choisi.

L'API est-elle compatible OpenAI ?

Oui. Chaque modèle est servi par vLLM derrière un endpoint /v1 compatible OpenAI. Pointez-y un SDK OpenAI, OpenCode ou tout client qui accepte une URL de base, avec une clé d'API de votre compte.

Combien de temps prend un lancement ?

En général quelques minutes. La page de lancement affiche chaque étape en direct (réservation, location, démarrage, connexion, téléchargement, lancement du moteur) et vous pouvez détruire la machine à chacune d'elles.

Que se passe-t-il quand mon crédit est épuisé ?

Le crédit est prépayé et rechargé par carte. Une machine dont le propriétaire n'a plus de crédit est arrêtée automatiquement : votre solde ne devient jamais négatif.

Faut-il un compte pour découvrir le service ?

Non. Les offres GPU en direct sont ouvertes à tous. Lancer un modèle demande un compte gratuit et un peu de crédit.

D'où viennent les machines ?

De la place de marché Vast.ai. Vous choisissez l'offre exacte ; elle affiche le tarif horaire du fournisseur, et une commission de 15 % s'ajoute à ce qui vous est facturé.

Choisissez un GPU. Lancez un modèle.

Lancer un modèle Nous contacter