Den Smart Router konfigurieren
Wie Sie den Modell-Pool setzen und, wenn Sie Open-Weight-Modelle mischen, den Kosten-Qualitäts-Schwellenwert.
Der Smart Router wählt nur unter den Modellen, die Sie in seinen Pool legen. Die Klassifizierung entscheidet, welche Anfrage wohin geht. Wenn dieser Pool günstigere Open-Weight-Modelle mit stärkeren mischt, steuert ein Kosten-Qualitäts-Schwellenwert von 1 bis 10, wie oft die kleineren Modelle gewinnen dürfen. Es ist keine Code-Änderung nötig.
Zuerst den Pool wählen
Der Zielkonflikt, wenn Sie einen wollen, kommt von den Modellen, die Sie aufnehmen, nicht von Kontinent. Ein Pool nur aus Frontier-Modellen hat keinen Kosten-/Qualitäts-Regler. Ein Pool aus Open-Weight- plus Frontier-Modellen schon.
Dann setzen Sie den Schwellenwert passend zur Workload:
| Workload | Empfohlene Einstellung |
|---|---|
| Hochvolumig, latenzsensibel (Autocomplete, Klassifizierung) | Niedrig (1 bis 3) |
| Allgemeiner Chat und alltäglicher Assistent-Traffic | Mitte (4 bis 6) |
| Komplexes Schlussfolgern, langer Kontext oder kritische Ausgaben | Hoch (7 bis 10) |
Eine niedrige Einstellung setzt auf kleinere und Open-Weight-Modelle, wo diese ausreichen. Eine hohe Einstellung bevorzugt Qualität und leitet mehr Traffic an Spitzenmodelle.
Mit Souveränität und eigenen Routern kombinieren
Der Schwellenwert steuert, wie der Klassifizierer Modelle in Ihrem Pool einordnet; er überschreibt nicht die sovereignty-Stufe eines Modells oder die Methode eines eigenen Routers. Sie können einen aggressiven Schwellenwert für Kosten setzen und trotzdem strict-Souveränität verlangen, oder zusätzlich einen eigenen Router für Latenz- oder Zuverlässigkeitsauswahl legen. Siehe Preis & Performance und Maximale Verfügbarkeit.
Überprüfen statt einmal einstellen
Traffic-Mixe ändern sich. Bemerken Sie Qualitätsbeschwerden bei einer Teilmenge von Prompts, erhöhen Sie den Schwellenwert oder nehmen Sie die schwächeren Modelle aus dem Pool; wächst der Verbrauch schneller als der Traffic, senken Sie ihn oder nehmen Sie Open-Weight-Modelle auf. Da die Einstellung sofort ohne Neustart wirkt, ist Experimentieren damit günstig.