[ Dedizierte GPUs ]
Dedizierte GPUs
Betreiben Sie ein offenes oder Ihr eigenes Modell auf GPUs, die in der EU für Sie reserviert sind, hinter einem OpenAI-kompatiblen Endpunkt.
Mit dedizierten GPUs läuft ein Modell auf Hardware, die in einem EU-Rechenzentrum für Sie reserviert ist. Der Traffic anderer Kunden teilt sie nicht. Sie zahlen für die reservierte Kapazität, nicht pro Token.
Dedizierte GPUs werden gemeinsam mit Ihnen als Projekt eingerichtet. Self-Service gibt es noch nicht: Die Seite Inference in der Konsole ist eine Vorschau. Zum Start buchen Sie ein Gespräch.
Wann es sich lohnt
| Gateway | Dedizierte GPUs | |
|---|---|---|
| Abrechnung | Pro Token | Nach reservierter Kapazität |
| Modelle | Alle Modelle im Katalog | Jedes offene Modell oder eines, das für Sie trainiert wurde |
| Traffic | Geteilt mit anderen Kunden des Anbieters | Nur Ihrer |
| Einrichtung | Keine, ein Schlüssel genügt | Ein Projekt mit Kontinent |
| Geeignet für | Den Einstieg, schwankendes oder geringes Volumen, viele Modelle | Hohes, gleichmäßiges Volumen, stabile Latenz, ein Modell, das nicht im Katalog steht |
Die meisten Teams starten mit dem Gateway. Wächst das Volumen auf einem Modell so weit, dass reservierte GPUs weniger kosten als Tokens, oder muss die Latenz auch unter Last stabil bleiben, sind dedizierte GPUs der nächste Schritt.
Was Sie bekommen
- Einen OpenAI-kompatiblen Endpunkt. Dieselbe Form von Anfrage und Antwort wie beim Gateway. Ihr Code ändert sich nur bei Basis-URL, Schlüssel und Modell-ID, die Sie bei der Übergabe erhalten.
- Eine Region Ihrer Wahl. Das Deployment läuft in der EU-Region, die im Angebot vereinbart ist, und bleibt dort.
- Eine Konfiguration für Ihren Workload. Kontextlänge, Batch-Größe und Parallelität werden auf Ihr Ziel aus Latenz und Durchsatz eingestellt. Interaktiver Traffic und Batch-Jobs können getrennte Deployments desselben Modells bekommen.
- Standardmäßig keine Datenspeicherung. Wie beim Gateway speichert Kontinent keine Prompts und keine Antworten. Alles andere, etwa das Sammeln von Traces für ein späteres Training, geschieht nur, wenn Sie es schriftlich beauftragen.