GetTokenCount
(Hole Token-Anzahl): Gibt die Token-Anzahl für den angegebenen Text zurück. Nur zur Orientierung verwenden. Die tatsächliche in den Modellen verwendete Anzahl kann variieren.
Format
GetTokenCount ( Text )
Parameter
Text - beliebiger Textausdruck.
Zurückgegebener Datentyp
Zahl
Ursprung in Version
21.0
Beschreibung
KI-Modelle arbeiten mit Text als Token, die Buchstaben, Wörter oder Wortgruppen darstellen können. Wenn Sie wissen, wie viele Token ein Text enthält, können Sie feststellen, ob der Text für ein bestimmtes Modell zu lang ist oder wie hoch die relativen Kosten für das Modell sind, um den Text zu verarbeiten.
Beispiel 1
GetTokenCount ( "Claris FileMaker" ) gibt 4 zurück.
Beispiel 2
Ruft Einbettungsvektoren für das Feld Meeting::Notiz nur ab, wenn die Anzahl der Token kleiner oder gleich 1024 ist, und speichert die Daten im Feld Meetings::Notiz_Einbettung für alle Datensätze.
KI-Konto konfigurieren [ Kontoname: "mein-Konto" ; Modellanbieter: OpenAI ; API-Schlüssel: "sk-RZCtpWT..." ]
Gehe zu Layout [ "Meetingdetails" (Meetings) ; Animation: Keine ]
Alle Datensätze anzeigen
Wenn [ GetTokenCount ( Meetings::Notiz ) > 1024 ]
Eigenes Dialogfeld anzeigen [ "Die Token-Anzahl ist größer als 1024. Reduzieren Sie den Text im Notiz-Feld und versuchen Sie es erneut." ]
Sonst
Einbettung in Ergebnismenge einfügen [ Kontoname: "mein-Konto" ;
Einbettungsmodell: "text-einbettung-3-klein" ; Quellfeld: Meetings::Notiz ;
Zielfeld: Meetings::Notiz_Einbettung ; Zielinhalte ersetzen ]
Ende (wenn)