[ Dedizierte GPUs ]
Ablauf eines Deployments
Vom ersten Gespräch zum laufenden Endpunkt: was passiert, wenn Kontinent dedizierte GPUs für Sie einrichtet.
Ein dediziertes Deployment wird gemeinsam mit Ihnen eingerichtet. Diese Seite beschreibt die Schritte und was Sie für jeden mitbringen.
Workload festlegen
In einem ersten Gespräch legen wir Modell, Region und Ihre Ziele fest: erwartete Anfragen pro Sekunde, typische Länge von Prompt und Antwort und die Latenz, die Sie brauchen. Nutzen Sie das Modell bereits über das Gateway, liefern Ihre Logs diese Zahlen.
Angebot erhalten
Sie erhalten ein Angebot mit GPU-Typ und -Anzahl, Region, Monatspreis für die reservierte Kapazität und den Bedingungen für mehr oder weniger Kapazität.
Deployment und Lasttest
Wir starten das Modell auf den reservierten GPUs, stimmen es auf Ihre Ziele ab und messen Latenz und Durchsatz unter der erwarteten Last. Die gemessenen Zahlen bekommen Sie vor dem Go-live.
Übergabe
Sie erhalten Basis-URL, Modell-ID und einen API-Schlüssel. Anfragen nutzen dasselbe OpenAI-kompatible Format wie das Gateway, in den meisten Fällen ändern sich im Code nur diese drei Werte.
Das Modell später wechseln
Eine neuere Version des Modells oder ein Modell, das für Sie trainiert wurde, kann hinter denselben Endpunkt gestellt werden. Ihr Code bleibt, wie er ist.
Projekt starten
Buchen Sie ein Gespräch und sagen Sie uns, welches Modell Sie betreiben möchten und mit welchem Volumen Sie rechnen.