Como funcionam os tokens nos modelos de IA

Se você acompanha o Token & Tech, já viu a palavra “token” em dois mundos diferentes. Este texto trata de apenas um deles: o token dos modelos de linguagem, a unidade de texto com que a inteligência artificial trabalha.

Token de IA não é token de criptomoeda

Vale separar os dois logo de saída.

No mundo cripto, token é um ativo digital registrado em uma blockchain. Ele pode representar dinheiro, um direito ou um bem.

Nos modelos de IA, token é um pedaço de texto, como uma palavra, parte de uma palavra ou um sinal de pontuação. Não tem valor de mercado, não se compra nem se transfere. As duas ideias só compartilham o nome.

Daqui em diante, sempre que aparecer “token”, leia como pedaço de texto.

O que é um token em um modelo de linguagem

Um modelo de linguagem não lê letras como você. O repositório do tiktoken, biblioteca de tokenização da OpenAI, resume assim: modelos de linguagem “não veem o texto como você e eu”, e sim uma sequência de números, os tokens.

O caminho é este:

1. o texto que você digita passa por um tokenizador, programa que o corta em pedaços;
2. cada pedaço corresponde a um número de identificação dentro de uma lista fixa, o vocabulário do modelo;
3. o modelo processa essa sequência de números e devolve novos números;
4. o tokenizador converte os números de volta em texto legível.

A documentação do Gemini, do Google, descreve o mesmo princípio: os modelos processam entrada e saída na granularidade de tokens, que podem ser caracteres isolados ou palavras inteiras, e palavras longas são quebradas em vários tokens. O processo de fatiar o texto se chama tokenização.

Tudo o que um modelo gera também sai token por token. Se você quer entender esse processo de geração, veja o que são LLMs.

Por que não usar palavras inteiras ou letras

Parece mais simples dar um número a cada palavra. A documentação da Hugging Face explica por que isso não funciona bem.

Tokenização por palavra gera vocabulários gigantescos, porque cada variação precisa do próprio número: “amar”, “amando”, “amou”, “amorosamente”. Pior: qualquer palavra fora da lista vira um símbolo de “desconhecido”, e o modelo fica sem saber o que fazer com ela.

Tokenização por caractere resolve o problema das palavras novas, já que todo texto é feito de letras. Mas as sequências ficam muito longas, e uma letra isolada carrega pouco significado.

A solução adotada pela maioria dos modelos atuais fica no meio: a tokenização por subpalavras. Palavras comuns viram um único token. Palavras raras são montadas a partir de pedaços conhecidos.

A ideia ganhou força com um artigo de 2015 de Rico Sennrich e coautores, “Neural Machine Translation of Rare Words with Subword Units”. Os autores partiram de uma constatação: tradução é um problema de vocabulário aberto, sempre aparecem nomes, compostos e palavras emprestadas que nenhum dicionário fixo prevê. Ao representar palavras raras como sequências de subpalavras, o sistema passou a lidar com elas.

Como o vocabulário é construído

BPE, o método mais comum

O algoritmo mais usado é o BPE (byte pair encoding, codificação por pares de bytes). Segundo a Hugging Face, ele é empregado em modelos como Llama, Gemma e Qwen2.

O funcionamento, simplificado, é este:

1. o vocabulário começa só com caracteres individuais;
2. o algoritmo percorre um grande volume de texto e encontra o par de símbolos vizinhos que aparece com mais frequência;
3. esse par vira um novo símbolo e entra no vocabulário;
4. o processo se repete até atingir o tamanho de vocabulário desejado.

Um exemplo ilustrativo, criado pela redação: se “ç” e “ão” aparecem juntos com muita frequência em textos em português, o par “ção” tende a virar um token próprio. Depois, combinações maiores, como “ação”, podem ganhar o seu.

Uma variante importante é o BPE em nível de byte. Em vez de partir de todos os caracteres possíveis, ela parte dos 256 valores de um byte. Assim, qualquer texto pode ser representado sem cair no símbolo de “desconhecido”. De acordo com a Hugging Face, o GPT-2 usa essa técnica com um vocabulário de 50.257 tokens.

Outros métodos

A mesma documentação descreve alternativas:

• WordPiece, usado na família BERT, que escolhe as fusões que mais aumentam a probabilidade dos dados de treino;
• Unigram, usado em modelos como o T5, que parte de um vocabulário grande e vai descartando os pedaços menos úteis;
• SentencePiece, biblioteca que aplica BPE ou Unigram diretamente sobre o texto bruto, tratando o espaço como um símbolo. Isso ajuda em idiomas que não separam palavras por espaços, como chinês e japonês.

Um vocabulário é escolha de projeto

O tamanho e a composição do vocabulário mudam de um modelo para outro. O artigo técnico do Llama 3 informa um vocabulário de 128 mil tokens, que combina 100 mil tokens do tiktoken com 28 mil tokens adicionais para atender melhor idiomas além do inglês.

O README do tiktoken lista propriedades desejáveis do BPE: é reversível e sem perdas (dá para reconstruir o texto original), funciona com qualquer texto, mesmo fora dos dados de treino, e comprime o texto, já que a sequência de tokens fica menor que a de bytes.

Quanto texto cabe em um token

Não existe conversão exata, mas há referências publicadas pelos próprios fabricantes:

• a documentação do Gemini, consultada em outubro de 2026, afirma que um token equivale a cerca de 4 caracteres e que 100 tokens correspondem a cerca de 60 a 80 palavras em inglês;
• o README do tiktoken diz que, em média, cada token corresponde a cerca de 4 bytes;
• o artigo do Llama 3 relata que o novo tokenizador melhorou a compressão, em uma amostra de texto em inglês, de 3,17 para 3,94 caracteres por token.

Fazendo a conta com a regra do Gemini, um texto de 1.000 palavras em inglês ficaria entre 1.250 e cerca de 1.670 tokens. Trata-se de uma estimativa, não de uma medida.

E o português? Não encontramos referência oficial com uma proporção específica para a língua. As regras acima foram descritas para o inglês. Para saber o número real, conte com a ferramenta do próprio modelo, como mostramos mais abaixo.

O mesmo texto, contagens diferentes

Cada modelo tem seu tokenizador, e por isso o mesmo texto pode gerar contagens diferentes.

Um exemplo concreto aparece na documentação de contagem de tokens da Anthropic: segundo a página, consultada em outubro de 2026, os modelos Claude a partir da versão 4.7 usam um tokenizador novo, que produz aproximadamente 30% mais tokens para o mesmo texto do que os modelos anteriores. A própria documentação recomenda recontar os prompts no modelo que você pretende usar.

A diferença também ocorre entre idiomas. Um estudo apresentado na NeurIPS 2023 por Aleksandar Petrov e coautores, “Language Model Tokenizers Introduce Unfairness Between Languages”, encontrou casos em que o mesmo texto, traduzido para línguas diferentes, gerou sequências de tokens até 15 vezes mais longas. Segundo os autores, isso cria diferenças de custo, de tempo de resposta e de quanto conteúdo cabe no modelo, dependendo do idioma.

Onde os tokens aparecem na prática

Janela de contexto

Todo modelo tem um limite de tokens que consegue considerar de uma vez. Esse limite é a janela de contexto.

A documentação do Gemini explica que a janela é o limite combinado de tokens de entrada e de saída. A documentação da Anthropic sobre janelas de contexto compara a janela a uma “memória de trabalho” e detalha o que entra na conta: instruções de sistema, todas as mensagens da conversa, documentos, imagens, definições de ferramentas e a própria resposta gerada.

A mesma página faz um alerta útil: mais contexto não é automaticamente melhor. Conforme o número de tokens cresce, a precisão e a capacidade de recuperar informações tendem a cair. Por isso, o que você coloca na janela importa tanto quanto o espaço disponível. O tema é aprofundado em contexto e memória em IA.

Custo

Em serviços cobrados por uso, a conta costuma ser feita em tokens. A documentação do Gemini informa que o custo de uma chamada depende, em parte, da quantidade de tokens de entrada e de saída. Os preços mudam com frequência e variam por modelo, por isso não os listamos aqui. Consulte sempre a tabela oficial do serviço, com a data da consulta.

Imagens, áudio e vídeo

Modelos que aceitam outros formatos também convertem tudo em tokens. Segundo a documentação do Gemini, consultada em outubro de 2026, uma imagem de até 384 por 384 pixels conta como 258 tokens, e o áudio consome 32 tokens por segundo. Esses valores são específicos desse serviço e podem mudar.

Limites de uso

Muitas plataformas limitam quantos tokens você pode enviar por minuto. A Anthropic cita o controle desses limites e dos custos como um dos motivos para contar tokens antes de enviar uma mensagem.

Como contar tokens antes de enviar

Você tem três caminhos principais:

• bibliotecas de tokenização, como o tiktoken, que permitem contar tokens localmente para os tokenizadores compatíveis;
• funções de contagem das APIs, como o count_tokens do Gemini, que devolve o total de tokens de entrada antes da chamada;
• o campo de uso da resposta, que informa quantos tokens foram efetivamente consumidos.

Um cuidado: a Anthropic avisa que a contagem prévia é uma estimativa e pode diferir um pouco do número real. Para planejamento, trate o resultado como aproximação.

Por que isso ajuda a entender alguns erros

Como o modelo enxerga pedaços de palavras, e não letras, tarefas que dependem de caracteres isolados podem ser mais difíceis para ele. Na avaliação da redação, isso ajuda a entender por que assistentes às vezes tropeçam ao contar letras de uma palavra ou ao inverter um texto caractere por caractere. Não é a única explicação possível, mas é um bom ponto de partida.

Para escrever pedidos mais eficientes, inclusive economizando tokens, veja engenharia de prompts.

O que levar deste texto

Em IA, token é um pedaço de texto que o modelo transforma em número para processar. Não tem nada a ver com criptoativos.

A tokenização por subpalavras, com métodos como o BPE, equilibra vocabulário compacto e capacidade de lidar com palavras novas.

Cada modelo corta o texto do seu jeito. Por isso, regras como “4 caracteres por token” servem só como estimativa, sobretudo fora do inglês. Quando custo ou limite de contexto importar, conte os tokens com a ferramenta do modelo que você vai usar.