[ Fine-tuning ]
Fine-tuning
Wann ein Modell, das für Ihre Aufgabe trainiert ist, ein allgemeines schlägt, und was Sie von einem Trainingsprojekt mit Kontinent bekommen.
Kontinent trainiert Modelle für eine bestimmte Aufgabe von Ihnen: Felder aus einem Dokument ziehen, ein Dokument einordnen oder eine Entscheidung treffen, deren richtige Antwort sich aufschreiben und prüfen lässt. Ein kleines Modell, das auf diese Aufgabe trainiert ist, ist oft genauer, schneller und günstiger als ein großes allgemeines Modell.
Fine-tuning läuft als Projekt mit Ihnen. Eine Trainings-API und Trainingsjobs in der Konsole gibt es noch nicht: Die Seiten Training und Datasmith in der Konsole sind Vorschauen. Zum Start buchen Sie ein Gespräch.
Wann es sich lohnt
Fine-tuning lohnt sich, wenn alles davon zutrifft:
- Die Aufgabe wiederholt sich oft, mit derselben Art von Eingabe.
- Sie können für eine Stichprobe von Dokumenten die richtige Antwort aufschreiben.
- Ein allgemeines Modell über das Gateway erledigt die Aufgabe schon, aber nicht gut genug, nicht schnell genug oder nicht günstig genug.
Wenn Sie noch herausfinden, worin die Aufgabe genau besteht, beginnen Sie mit Prompts an ein Modell über das Gateway. Die Anfragen, die Sie dort senden, zeigen, wie die Aufgabe aussieht.
Was Sie bekommen
- Das trainierte Modell als Adapter im Standardformat safetensors. Es gehört Ihnen und läuft mit verbreiteten offenen Werkzeugen, ohne Kontinent.
- Gemessene Ergebnisse: wie gut das Basismodell Ihre Aufgabe vor dem Training gelöst hat und wie gut Ihr Modell sie danach löst, auf denselben Dokumenten.
- Eine Model Card und ein Evaluationsprotokoll mit jedem Testdokument, der Antwort vorher und nachher und Ihrer richtigen Antwort.
Das trainierte Modell betreiben
Sie können den Adapter selbst betreiben, oder Kontinent betreibt ihn für Sie auf dedizierten GPUs hinter einem OpenAI-kompatiblen Endpunkt.