GetTokenCount
Retourneert het aantal tokens voor de opgegeven tekst. Alleen te gebruiken als richtlijn; werkelijke tellingen die door modellen worden gebruikt, kunnen variëren.
Opmaak
GetTokenCount (tekst)
Parameters
tekst - een willekeurige tekstexpressie.
Resulterend gegevenstype
getal
Afkomstig uit versie
21.0
Beschrijving
AI-modellen werken met tekst als tokens, die letters, woorden of groepen woorden kunnen vertegenwoordigen. Als u weet hoeveel tokens er in een tekstreeks staan, kunt u zien of de tekst te lang is voor een bepaald model om te verwerken, of de relatieve kosten aangeven voor het model om de tekst te verwerken.
Voorbeeld 1
GetTokenCount ( "Claris FileMaker" ) retourneert 4.
Voorbeeld 2
Haalt insluitvectoren voor het veld Meeting::Note alleen op als het aantal tokens kleiner is dan of gelijk is aan 1024 en slaat de gegevens op in het veld Meetings::Note_Embedding voor alle records.
AI-account configureren [ Accountnaam: "my-account" ; Modelprovider: OpenAI ; API-sleutel: "sk-RZCtpWT..." ]
Ga naar lay-out [ "Meeting Details" (Meetings) ; Animatie: Geen ]
Alle records tonen
If [ GetTokenCount ( Meetings::Note ) > 1024 ]
Aangepast dialoogvenster tonen [ "Het aantal tokens is meer dan 1024. Verklein de tekst in het veld Note en probeer het opnieuw." ]
Else
Insluiting invoegen in gevonden reeks [ Accountnaam: "my-account" ;
Insluitmodel: "text-embedding-3-small" ; Bronveld: Meetings::Note ;
Doelveld: Meetings::Note_Embedding ; Doelinhoud vervangen ]
End If