Erstellen von feinabgestimmten KI-Modellen

Im Regsiter „Feinabgestimmte Modelle“ können Sie aus heruntergeladenen Modellen feinabgestimmte Modelle erstellen, die dann geladen und für die Textgenerierung verwendet werden können. Es können mehrere feinabgestimmte Modelle erstellt werden, jedoch kann jeweils nur ein Textgenerierungsmodell zur Verwendung in den Speicher geladen werden.

Wichtig  Sie müssen zuerst den Modellserver und die Feinabstimmungsoption aktivieren, bevor das Register „Feinabgestimmte Modelle“ verfügbar ist. Bei einigen Modellen müssen Sie ein Hugging Face-Token im Register „Modellserver“ einfügen, um das Modell herunterladen zu können. Siehe Starten, Stoppen und Aktualisieren des KI-Modellservers und Konfigurieren von KI-Einstellungen.

So erstellen Sie ein feinabgestimmtes Modell:

1. Klicken Sie auf das Register KI-Dienste > Feinabgestimmte Modelle.

2. Klicken Sie auf Feinabgestimmtes Modell erstellen.

3. Klicken Sie im Dialogfeld „Feinabgestimmtes Modell erstellen“ auf Durchsuchen und suchen Sie dann nach der JSONL-Datei, die die Training-Daten enthält.

   Jede Zeile in der JSONL-Datei mit den Training-Daten sollte ein Beispiel für eine Benutzereingabe und die gültige Antwort auf diese Eingabe enthalten. Beispiel:

   Kopieren

   {"mitteilungen":[{"inhalt":"System prompt","rolle":"system"},{"inhalt":"Beispiel-Benutzerdaten","rolle":"benutzer"},{"inhalt":"Beispiel-Systemausgabe nach Verarbeitung von Benutzerdaten"}]}
   {"mitteilungen":[{"inhalt":"sys.123","rolle":"system"},{"inhalt":"usr.234","rolle":"benutzer"},{"inhalt":"ast.345","rolle":"assistent"}]}
   {"mitteilungen":[{"inhalt":"sys.456","rolle":"system"},{"inhalt":"usr.567","rolle":"benutzer"},{"inhalt":"ast.678","rolle":"assistent"}]}

4. Geben Sie im Dialogfeld „Ein feinabgestimmtes Modell erstellen“ die folgenden Informationen ein:

   • Name des feinabgestimmten Modells: Der Name des Modells, das Sie für Client-Verbindungen verwenden möchten. Der KI-Modellserver stellt dem angegebenen Namen das Präfix „fm-mlx-“ voran, sodass der tatsächliche Name des feinabgestimmten Modells „fm-mlx-<angegebener_Name>“ lautet.

   • Basismodell: Wählen Sie das Modell aus, das Sie feinabstimmen möchten.

     Hinweis  Basismodelle müssen ein Textgenerierungsmodell sein, das bereits heruntergeladen und bestätigt wurde.

   • Anzahl der Iterationen: Die Anzahl der Training-Iterationen. Mehr Iterationen benötigen mehr Speicherplatz und mehr Zeit für die Verarbeitung.

   • LoRA-Layer: Die Anzahl der Low-Rank-Adaptation-Layer (LoRA). Mehr Layer (Ebenen) benötigen mehr Speicherplatz und Zeit.

   • Batch-Größe: Die Anzahl der Training-Beispiele, mit denen das Modell gleichzeitig trainiert werden soll. Je größer die Batch-Größe, desto mehr Speicher wird benötigt, allerdings kann die Schulung schneller abgeschlossen werden.

5. Klicken Sie auf Modell erstellen.