Rate-Limits & Guthaben
Wie Durchsatz und Prepaid-Guthaben durchgesetzt werden.
Rate-Limits
Jeder API-Schlüssel hat ein RPM-Limit (Requests pro Minute), das über ein gleitendes Fenster aus zwei 1-Minuten-Buckets durchgesetzt wird. Ein neuer Schlüssel startet mit 60 Requests pro Minute. Ein Überschreiten liefert 429 mit dem Code rate_limit_exceeded. Mit Backoff erneut versuchen.
Der Limiter ist fail-open: Hat der zugrunde liegende Speicher Probleme, werden Anfragen nie blockiert. Sie werden nicht wegen eines Infrastruktur-Aussetzers auf unserer Seite rate-limitiert.
Ein separates 429 upstream_rate_limited bedeutet, dass der Anbieter uns gedrosselt hat und nicht Ihr Schlüssel sein Limit erreicht hat. Mit Backoff erneut versuchen.
429-Code | Wer hat ein Limit erreicht | Was zu tun ist |
|---|---|---|
rate_limit_exceeded | Das RPM Ihres Schlüssels | Backoff; das gleitende Fenster beträgt 60 s. |
upstream_rate_limited | Ein Anbieter hat uns gedrosselt | Erneut versuchen mit exponentiellem Backoff und Jitter. |
spend_limit_exceeded | Ein Ausgabelimit von Schlüssel, Team oder Guardrail | Auf den nächsten Tag, die nächste Woche oder den nächsten Monat warten oder das Limit erhöhen. Siehe Budgets & Ausgabengrenzen. |
Guthaben
Kontinent ist Prepaid. Ihre Organisation hält ein Guthaben in Mikro-EUR, und jede Anfrage bucht exakt die Kosten der verwendeten Tokens ab. Die Messung läuft asynchron abseits des Hot Path, sodass die Abrechnung Ihrer Anfrage nie Latenz hinzufügt.
Zahlen pro Token
Abgerechnet nach tatsächlicher Nutzung, abgeglichen mit einem Append-only-Ledger.
Kein versteckter Overhead
Nur Metadaten: Token-Anzahl, Latenz, Status, Modell und Kosten. Nicht mehr.
- Guthaben wird optimistisch gegen einen Hot-Balance geprüft, sodass eine kleine Überziehung (begrenzt durch Ihr RPM) bewusst möglich ist.
- Ein Hintergrund-Worker gleicht die Ausgaben innerhalb von etwa 60 Sekunden ab. Ist eine Organisation erschöpft, erhalten weitere Anfragen ein hartes
402(insufficient_credits), bis eine Aufladung eingeht. - Eine Aufladung hebt die Sperre sofort auf. Sie warten nicht auf den nächsten Abgleichzyklus. Wie Sie aufladen, automatisches Aufladen einrichten und Warnungen bei niedrigem Guthaben bekommen: Guthaben & Abrechnung.
- Liefert ein Anbieter keine Token-Zahlen, schätzt Kontinent sie aus der Größe von Prompt und Antwort und rechnet die Schätzung ab. Solche Anfragen sind im Log-Detail als „vom Gateway geschätzt“ markiert.
402 insufficient_credits kann nach dem Aufladen sicher erneut versucht werden. Bis dahin schlägt ein erneuter Versuch ohne zusätzliches Guthaben weiterhin fehl.