Routing-Policies

Eine Routing-Policy ist eine benannte Liste von Modellen, die Sie wie ein einzelnes Modell ansprechen. Statt bedrock/claude-opus-4-8 fest in Ihre Anwendung zu schreiben, senden Sie policy/eu-prod, und Kontinent arbeitet die konfigurierten Modelle ab: der Reihe nach, gewichtet, ganz wie die Policy es vorgibt.

Die Policy gehört Ihrer Organisation, nicht Ihrem Code. Tauschen Sie die Modelle dahinter in der Konsole aus, und jede Anfrage folgt der Änderung innerhalb von Sekunden, ohne Deployment.

Was eine Policy bringt

Das ist die Ebene über maximaler Verfügbarkeit. Das eingebaute Failover verschiebt ein logisches Modell zwischen Anbietern. Eine Policy wechselt zwischen verschiedenen Modellen, auch verschiedener Anbieter, weil Sie es so festgelegt haben.

Policy anlegen

1. Routing-Policies öffnen

   In der Konsole: Routing → Richtlinie erstellen.

2. Benennen

   Der Name wird zur Policy-ID: EU Prod → policy/eu-prod. Die ID wird einmal erzeugt und ändert sich nie, auch nicht beim Umbenennen. Die erzeugte ID muss innerhalb der Organisation eindeutig sein, EU Prod und eu-prod können also nicht beide existieren.

3. Strategie wählen

   Fallback, Lastverteilung oder Latenz, siehe unten.

4. Modelle hinzufügen

   Modelle aus dem Katalogpanel hinzufügen. Bei Fallback mit den Pfeilen sortieren. Bei Fallback setzen Sie Versuche pro Modell (1–5), bei Lastverteilung ein Gewicht (1–100).

5. ID verwenden

   Den Chip policy/<slug> kopieren und als model senden. Rund 30 Sekunden nach dem Speichern aktiv.

Strategien

Ein fehlschlagendes Modell ist nie eine Sackgasse: Was die Strategie auch zuerst wählt, die restlichen Einträge werden weiterhin versucht: bei Fallback und Latenz in der gelisteten Reihenfolge, bei Lastverteilung in gewichteter Zufallsreihenfolge. Es gelten dieselben Failover-Regeln wie für normale Modelle: 429, 5xx, Upstream-401/403 und Verbindungsfehler führen zum nächsten Kandidaten, immer vor dem ersten Byte. Siehe Wiederholungen & Backoff.

Verwendung

curl https://api.kontinent.ai/v1/chat/completions \
  -H "Authorization: Bearer $KONTINENT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "policy/eu-prod",
    "messages": [{"role": "user", "content": "Hallo"}]
  }'

from openai import OpenAI
 
client = OpenAI(base_url="https://api.kontinent.ai/v1", api_key=KONTINENT_API_KEY)
 
client.chat.completions.create(
    model="policy/eu-prod",
    messages=[{"role": "user", "content": "Hallo"}],
)

Policies funktionieren auf allen Endpunkten (/v1/chat/completions, /v1/responses, /v1/embeddings, /v1/audio/transcriptions, /v1/audio/speech) und mit Streaming.

Regeln, die Sie kennen sollten

• Echte Modell-IDs gewinnen immer. Kollidiert ein Policy-Slug mit einer Katalog-Modell-ID, wird das Katalogmodell bedient. Eine Policy kann ein echtes Modell nie überdecken.
• Policies gehören einer Organisation. Der Slug einer anderen Organisation existiert für Ihren Key schlicht nicht.
• Einträge des falschen Typs werden übersprungen. Ein Embedding-Modell in einer Chat-Anfrage wird ignoriert, nicht als Fehler behandelt.
• Nicht verfügbare Modelle fallen heraus. Verlässt ein Modell den Katalog, wird es übersprungen; die restliche Kette bedient weiter. Die Konsole markiert es als nicht mehr verfügbar.
• Guardrails gelten weiterhin. Key-Guardrails, Allowlists, Zero-Retention-Vorgaben und Souveränitätssegmente greifen nach dem Auflösen der Policy. Eine Policy kann sie nicht umgehen. Ist jeder Eintrag blockiert, wird die Anfrage abgelehnt.
• Eine Policy ist eine explizite Übersteuerung. Es werden nur die gelisteten Modelle genutzt; die eingebauten Anbieter-Fallbacks dieser Modelle werden nicht stillschweigend angehängt.
• Abgerechnet wird das bedienende Modell. Der Usage-Datensatz hält beides fest: model ist policy/eu-prod, served_model das tatsächlich ausgeführte Modell. Die Kosten laufen auf Letzteres.

Fehlersuche

Eine Policy ist eine explizite Kette, die Sie als policy/<slug> adressieren. Für einen Router, der jede Anfrage klassifiziert und unter einem von Ihnen konfigurierten Pool wählt, siehe Preis & Performance.