Konfigurieren von KI-Einstellungen

Über die Einstellungen können Sie steuern, welche Komponenten des KI-Modellservers aktiviert sind, wo die Modelle heruntergeladen werden, welche Modelle vorinstalliert sind, sowie verschiedene RAG- und Modell-Feinabstimmungseinstellungen, die die Kommunikation des KI-Modells verbessern.

So ändern Sie die Einstellungen:

  1. Klicken Sie auf das Register KI-Dienste > Einstellungen.

  2. Nehmen Sie Änderungen an den folgenden Optionen vor:

    • Dienste: Steuern Sie, welche Dienste vom Modellserver bereitgestellt werden.

      • Einbettung

      • Generierung – für die Textgenerierung

      • RAG

      • Feinabstimmung

        Hinweis  Diese Option ist nur für Systeme mit Hardware verfügbar, die die Feinabstimmung von Modellen unterstützen.

      • Bildunterschrift-Generierung

    • Serverkonfiguration: Konfigurieren Sie die Funktionsweise des Modellservers.

      • API-Schlüssel für Zugriff erfordern

      • Modelle vorladen – Laden Sie die im Abschnitt Vorgeladene Modelle angegebenen Modelle.

      • Vorherige Modelle laden – Laden Sie die Modelle, die vor dem Herunterfahren des KI-Modellservers geladen wurden.

      • Token-Nutzung protokollieren

      • Prompts und Antworten protokollieren

    • Vorgeladene Modelle: Legen Sie fest, welche Modelle beim Start des Modellservers geladen werden sollen.

      • Vorgeladenes Einbettungsmodell

      • Vorgeladenes Textgenerierungsmodell

    • RAG-Einstellungen: Steuerungsoptionen für Retrieval-Augmented Generation (RAG) auf dem Modellserver.

      • Kosinus-Ähnlichkeitsschwelle für RAG-Ergebnisse verwenden

      • Kosinus-Ähnlichkeitsschwelle für RAG-Ergebnisse

        Hinweis  Diese Option wird erst angezeigt, wenn Sie Kosinus-Ähnlichkeitsschwelle für RAG-Ergebnisse verwenden aktivieren.

      • Anzahl der bestplatzierten Ergebnisse für die RAG-Zusammenfassung

      • RAG-Cache-Pfad

      • OpenAI-Einbettungen verwenden

      • OpenAI-API-Schlüssel für RAG – Geben Sie einen OpenAI-API-Schlüssel ein, um auf eine OpenAI-RAG-Ressource zuzugreifen.

        Hinweis  Diese Option wird erst angezeigt, wenn Sie OpenAI-Einbettungsmodell für RAG aktivieren.

      • OpenAI-Einbettungsmodell für RAG

      • Batch-Größe für Erstellung von RAG-Einbettungen

      • Anzahl der Token pro Textblock – Standardgröße neuer Textblöcke beim Hinzufügen von Text oder Dateien zu einem RAG-Space; um die Größe bestehender Blöcke zu ändern, müssen Sie den RAG-Space löschen und neu erstellen und dann die Daten erneut hinzufügen.

      • RAG-Sync durchführen – Über diese Schaltfläche gelangen Sie zu den Einstellungen für die RAG-Synchronisierung; siehe RAG-Sync durchführen

      Hinweis  Sie müssen auf Erweiterte Einstellungen einblenden klicken, um diesen Abschnitt anzuzeigen.

    • Feinabstimmungseinstellungen: Steuerungsoptionen für die Feinabstimmung von Modellen.

      • System-Prompt zur Feinabstimmung

      Hinweis  Dieser Abschnitt ist nur für Systeme mit Hardware verfügbar, die die Feinabstimmung von Modellen unterstützen. Sie müssen die Option Feinabstimmung aktivieren und auf Erweiterte Einstellungen einblenden klicken, um diesen Abschnitt anzuzeigen.