GetTokenCount
Retorna a contagem de tokens para o texto especificado. Use apenas para orientação; as contagens reais usadas pelos modelos podem variar.
Formato
GetTokenCount ( texto )
Parâmetros
texto - qualquer expressão de texto.
Tipo de dados retornado
número
Originada na versão
21.0
Descrição
Os modelos de IA funcionam com texto como tokens, que podem representar letras, palavras ou grupos de palavras. Saber quantos tokens há em uma sequência de texto permite determinar se o texto é muito longo para ser processado por um modelo específico ou indicar o custo relativo para o LLM processá-lo.
Exemplo 1
GetTokenCount ( "Claris FileMaker" ) retorna 4.
Exemplo 2
Obtém vetores de incorporação para o campo Reunião::Anotação somente se a contagem de tokens for menor ou igual a 1024 e salva os dados no campo Reuniões::Incorporação_de_anotação para todos os registros.
Configurar conta de IA [ Nome da conta: "minha-conta" ; Provedor do modelo: OpenAI ; Chave de API: "sk-RZCtpWT..." ]
Ir para layout [ "Detalhes da reunião" (Reuniões) ; Animação: Nenhum ]
Mostrar todos os registros
If [ GetTokenCount ( Reuniões::Anotação ) > 1024 ]
Mostrar caixa de diálogo personalizada [ “A contagem de tokens é maior que 1024. Reduza o texto no campo Anotação e tente novamente." ]
Else
Inserir incorporação no conjunto encontrado [ Nome da conta: "minha-conta" ;
Modelo de incorporação: "text-embedding-3-small" ;
Campo de origem: Reuniões::Anotação; Campo de destino: Reuniões::Incorporação_de_anotação ; Substituir o conteúdo de destino ]
End If