Herunterladen von KI-Modellen

Im Register „Modelle“ können Sie KI-Modelle für die Text- und Bildeinbettung, Bildbeschriftung und die Textgenerierung herunterladen und laden. Es können mehrere Modelle jedes Typs heruntergeladen werden, jedoch kann jeweils nur ein Modell jedes Typs zur Verwendung in den Speicher geladen werden.

Wichtig  Sie müssen zuerst den Modellserver aktivieren, bevor das Register „Modelle“ verfügbar ist. Bei einigen Modellen müssen Sie ein Hugging Face-Token im Register „Modellserver“ einfügen, um das Modell herunterladen zu können. Siehe Starten, Stoppen und Aktualisieren des KI-Modellservers.

So fügen Sie ein Modell hinzu:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie auf Modell hinzufügen.

  3. Geben Sie im Dialogfeld „Modell hinzufügen“ die folgenden Informationen ein:

    • Modellname: Der genaue Name des Modells, wie er auf der Hugging Face-Website angegeben ist.

    • Modelltyp: Wählen Sie Einbettung, Bildbeschriftung oder Textgenerierung.

    • Wählen Sie Ja, wenn Sie die Erlaubnis zum Herunterladen des Modells von Hugging Face erteilen möchten.

  4. Klicken Sie auf Modell hinzufügen.

So laden Sie ein Modell herunter:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie neben dem Modell, das Sie herunterladen möchten, auf Herunterladen.

  3. Wenn das Modell nicht zum Herunterladen bestätigt wurde, wählen Sie Ja im Dialogfeld „Modell hinzufügen“ und klicken Sie dann auf Modell hinzufügen.

Hinweis  Das Herunterladen von Modellen schlägt fehl, wenn ein Hugging Face-Token erforderlich ist und Sie noch kein Token im Register „Modellserver“ eingegeben haben.

So brechen Sie einen Modell-Download ab:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie neben dem Modell, dessen Download gerade läuft, auf Abbrechen.

So laden Sie ein Modell in den Speicher:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie neben dem Modell, das Sie herunterladen möchten, auf Laden.

Hinweis  Modelle können erst geladen werden, nachdem sie heruntergeladen wurden.

So verwalten Sie Modelleinstellungen:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie oben rechts im Fenster auf Verwalten.

  3. Ändern Sie eine der folgenden Einstellungen:

    • Lokaler Modell-Cache-Pfad

    • vLLM-Inferenz-Engine verwenden

    • Modelle nach Bedarf laden

    • Max. geladene Einbettungsmodelle

    • Max. geladene Bildbeschriftungsmodelle

    • Max. geladene Textgenerierungsmodelle

    • Max. Anzahl von Antwort-Token – Maximale Anzahl von Token in Textgenerierungsantworten. Bei der Einstellung -1 generiert jedes Modell Ausgabetoken bis zu seinem eigenen Limit. Durch die Begrenzung der Antwort können Sie die Antwortlatenz und die Leistung optimieren.

So entfernen Sie ein Modell:

  1. Klicken Sie auf das Register KI-Dienste > Modelle.

  2. Klicken Sie auf das Markierungsfeld neben dem Modell oder den Modellen, die Sie entfernen möchten.

  3. Klicken Sie oben im Fenster auf Entfernen.

  4. (Optional) Wählen Sie Ja im Dialogfeld „Modelle entfernen“, um auch die entsprechenden Modelldateien von der Festplatte zu löschen.