Tokenisaatio – Innohub

1. Introdução: porque a IA não «lê» como uma pessoa

Quando uma pessoa lê a frase «Um empreendedor finlandês está a construir uma empresa de crescimento internacional», vê as palavras, os significados e talvez até imagine a situação: o fundador, a equipa, a ronda de financiamento, a incerteza e a ambição.

A IA vê algo muito diferente. Começa por dividir o texto em partes mais pequenas, os tokens. Um token pode ser uma palavra inteira, parte de uma palavra, um sinal de pontuação ou uma sequência de caracteres sem significado evidente para uma pessoa.

Segundo a OpenAI, os modelos de linguagem processam texto em tokens. O número de tokens influencia a possibilidade de o texto caber no modelo e o custo da chamada à API.^[1]

Parece um pormenor técnico, mas a sua importância é muito maior.

A tokenização é um dos mecanismos invisíveis que explicam porque a IA esquece por vezes o início da conversa, porque um contrato longo não cabe na análise, porque um texto em finlandês pode consumir espaço rapidamente e porque os custos ultrapassam a estimativa inicial da folha de cálculo.

Se a empresa usa IA no apoio ao cliente, em questões jurídicas, vendas, programação, marketing ou análise de informação interna, os tokens são um recurso a gerir, como o tempo, o dinheiro ou a capacidade dos servidores.

2. O que significa tokenização?

Tokenizar é dividir o texto em unidades mais pequenas que um modelo de linguagem consegue processar. Simplificando:

uma pessoa vê palavras no texto
um computador vê caracteres
um modelo de linguagem processa o texto em tokens

Um token não equivale a uma palavra.

Por exemplo, a palavra inglesa running pode corresponder a um token em alguns tokenizadores, mas uma palavra menos frequente ou mais longa pode ser dividida em várias partes. No exemplo do tiktoken da OpenAI, palavras e sequências de caracteres podem ser divididas em partes como "t", "ik", "token", " is", " great" e "!".^[1]

Uma boa comparação é um puzzle. Para uma pessoa, uma palavra é uma imagem completa. Para a IA, o texto é uma caixa de peças pequenas a partir das quais calcula, por probabilidades, a peça seguinte. Processa estruturas de caracteres e as relações entre elas, de forma diferente da compreensão humana.

Longe de tornar a IA inútil, este mecanismo permite-lhe tratar várias línguas, termos especializados, código e palavras novas sem ter de aprender previamente cada palavra possível. Mas também impõe limites.

3. Porque são os tokens tão importantes agora?

Os tokens importam por três razões: capacidade, custo e qualidade.

A primeira é a capacidade. Cada modelo de linguagem tem uma janela de contexto: o número de tokens que consegue considerar numa conversa ou tarefa. A documentação do Claude descreve a janela de contexto como o espaço onde se acumulam as mensagens anteriores, as instruções do utilizador e as respostas do modelo.^[2]

A segunda é o custo. Muitos serviços de IA cobram pelo número de tokens, distinguindo os tokens de entrada dos tokens de resposta. A página de preços da OpenAI apresenta os valores por milhão de tokens para cada modelo, e a documentação explica que as contagens aparecem nos metadados de utilização e estão relacionadas com a faturação.^[3]

A terceira é a qualidade. Quanto mais texto se fornece ao modelo, mais tem de separar o essencial do acessório. Um contexto longo significa mais material para tratar, sem garantir uma resposta melhor.

Este ponto é relevante para a gestão. Fala-se muitas vezes da IA como uma caixa mágica: «Colocamos lá todos os documentos e fazemos perguntas.» Mas a pergunta mais útil é: de que informação precisa o modelo para esta tarefa?

4. Tokens, janela de contexto e memória

A janela de contexto é a secretária da IA. Numa secretária pequena cabem apenas uma nota, uma chávena de café e um contrato. Numa enorme podem espalhar-se atas, dados de clientes, código, relatórios e documentos estratégicos. Mas mesmo uma pessoa pode perder-se entre tantos papéis. O mesmo acontece com a IA.

Os modelos atuais evoluíram rapidamente no tratamento de contextos longos. Google explica que os modelos Gemini processam texto em tokens e apresenta uma regra aproximada: um token corresponde a cerca de quatro caracteres e 100 tokens a cerca de 60–80 palavras em inglês.^[4] A Google também destacou a capacidade de contexto longo do Gemini Pro, que pode tratar até um milhão de tokens, permitindo trabalhar, por exemplo, com grandes conjuntos de documentos ou de código.^[5]

A Anthropic apresenta a contagem de tokens como forma de gerir custos, limites e o encaminhamento das tarefas para o modelo adequado.^[6]

Uma observação importante: o contexto é diferente da memória persistente.

O contexto é o que o modelo vê neste momento. A memória é um sistema que pode conservar informação entre conversas. Muitos utilizadores confundem os dois e perguntam, desiludidos: «Porque não se lembrou a IA?» Muitas vezes, a informação já não estava no contexto ou o serviço não a conserva em memória.

5. O finlandês como teste à tokenização

O finlandês é um desafio interessante para a tokenização. Em inglês, muitas palavras são curtas e separadas. Em finlandês, o significado concentra-se em formas flexionadas longas e palavras compostas.

Considere a palavra finlandesa:

kasvuyritysrahoituskierroksellaan

Uma pessoa reconhece partes da palavra: crescimento, empresa, financiamento, ronda e terminações gramaticais. O tokenizador pode dividi-la em várias partes. Por isso, o finlandês pode consumir a janela de contexto mais depressa do que o utilizador espera.

Uma orientação prática: em finlandês, uma palavra pode frequentemente corresponder a 2–3 tokens, ou mais. Não é uma regra universal; depende do modelo e do tokenizador. Convém medir sempre a quantidade exata com a ferramenta do modelo utilizado. A OpenAI disponibiliza um ferramenta Tokenizer, que permite ver como o texto é dividido e quantos tokens produz.^[7]

Porque importa isto? Numa organização que trabalha em finlandês, documentos longos, textos administrativos, contratos, estudos e materiais estratégicos podem gerar muitos tokens. O mesmo material de 20 páginas não tem o mesmo «peso» para o modelo em todas as línguas.

Não é motivo para evitar o finlandês. É motivo para planear a sua utilização com conhecimento.

6. Como influencia a tokenização os custos?

O custo da IA depende também do número de tokens processados, para além do número de utilizadores.

Uma fórmula simples:

custo total = tokens de entrada + tokens de resposta + eventuais tokens de raciocínio interno + número de chamadas repetidas

A OpenAI explica que os modelos avançados podem também ter tokens internos de raciocínio de raciocínio, que o modelo utiliza antes de produzir a resposta final. Podem aparecer nos metadados de utilização e entrar na faturação.^[8]

Para uma empresa, isto tem grande importância.

Imagine um chatbot de apoio ao cliente que recebe, para cada resposta:

uma descrição longa dos serviços da empresa
todo o histórico do cliente
as orientações internas
as condições de devolução
a conversa anterior
a nova pergunta do utilizador

Se isto acontecer milhares de vezes por dia, mesmo um pequeno excesso de texto se transforma num custo significativo.

É aqui que a tokenização se torna uma questão de negócio. Um sistema de IA bem concebido envia apenas a informação relevante para a tarefa.

7. O que significa isto para empreendedores e gestores?

Para um empreendedor, a tokenização exige sobretudo uma mudança de perspetiva.

Ao gerir a IA, convém ir além de «O que podemos automatizar?». Uma pergunta melhor é: «De que informação precisa o modelo para executar bem a tarefa e que informação é dispensável?»

É semelhante a uma boa gestão de equipas. Um bom gestor fornece o objetivo, o contexto, os limites de decisão e as fontes certas, em vez de sobrecarregar a equipa com todo o material disponível. O mesmo se aplica à IA.

Na empresa, os tokens têm impacto em pelo menos quatro áreas:

Nos custos. Prompts longos e documentos extensos custam mais.
Na rapidez. Um contexto longo pode atrasar a resposta.
Na qualidade. Demasiada informação de apoio pode dispersar o foco do modelo.
Na segurança. Quanto mais informação se envia, mais cuidado é necessário ao decidir o que pode ser enviado.

Adotar IA exige planear o fluxo de informação, para além de escolher «o melhor modelo».

8. A perspetiva das startups e empresas em crescimento

Numa startup, a tokenização é especialmente importante: cada custo e cada escolha de produto têm efeitos rápidos.

Se está a criar um SaaS, um produto de software na nuvem utilizado por subscrição, os tokens podem fazer parte da economia por cliente: quanto custa servir cada cliente e que margem deixa.

É fácil esquecer isto na fase de MVP, a primeira versão funcional do produto usada para testar se os clientes querem realmente utilizá-lo.

Ao início, pode parecer sensato enviar tudo ao modelo:

o perfil completo do utilizador
todos os documentos
instruções de sistema longas
todo o histórico da conversa
uma extração completa da base de dados

Funciona na demonstração. Mas, com 10 000 utilizadores, a fatura dos tokens começa a pesar.

Uma empresa em crescimento deve perguntar cedo:

Podemos resumir o contexto?
Podemos recuperar apenas os excertos relevantes?
Podemos usar um modelo mais económico para as tarefas simples?
Podemos guardar em cache as entradas repetidas?
Podemos limitar o comprimento das respostas?

Os tokens fazem parte da infraestrutura invisível do produto. Não aparecem na interface, mas podem determinar a rentabilidade do serviço.

9. Exemplos práticos: um prompt fraco, melhor e excelente

Um mau exemplo

Aqui estão 80 páginas de material. Faça um bom resumo.

Pode funcionar se o modelo conseguir tratar o material. Mas é caro, pouco preciso e aumenta o risco de se perderem os pontos essenciais.

Um exemplo melhor

Leia este material de 80 páginas. Resuma sobretudo os riscos para os clientes, os efeitos nos custos e as decisões importantes para a administração. Não resuma tudo.

Aqui, a IA recebe um foco claro. Sabe o que procurar.

Um exemplo excelente

Atue como consultor operacional de uma empresa em crescimento. Analise o material abaixo apenas à luz destas perguntas:

1) Que pontos afetam a tesouraria nos próximos 6 meses?
2) Que riscos exigem uma decisão da administração?
3) Que pontos são apenas informação de apoio?

Termine com uma nota de decisão de uma página.

Esta abordagem poupa tokens e orienta o raciocínio do modelo para o essencial.

10. Riscos e equívocos

Há vários equívocos sobre a tokenização.

O primeiro é acreditar que um contexto maior resolve tudo. Ajuda, mas continua a ser necessário selecionar, delimitar e organizar a informação.

O segundo é assumir que os tokens correspondem a palavras. Não correspondem. Isto importa especialmente em finlandês, cujas palavras longas e formas flexionadas podem ser divididas em vários tokens.

O terceiro é acreditar que o modelo recorda toda a conversa. O conteúdo acumula-se no contexto e, ao atingir o limite, o sistema tem de resumir, remover ou gerir a informação anterior. A Anthropic descreve o crescimento do contexto à medida que as mensagens e respostas anteriores permanecem na janela de contexto.^[2]

O quarto risco está relacionado com a segurança. Quando uma organização tenta «melhorar» a resposta acrescentando todo o material de apoio possível, pode aumentar desnecessariamente o tratamento de dados pessoais, segredos comerciais ou informações contratuais.

Usar IA de forma responsável também implica fornecer apenas a informação de que o modelo realmente precisa.

11. A perspetiva ética e responsável

A tokenização parece uma tecnologia neutra. Mas os seus efeitos não são neutros.

Se uma língua produzir, em média, mais tokens do que outra, o seu processamento pode ser mais caro ou menos eficiente. Isto pode influenciar as línguas em que os serviços são desenvolvidos, testados e otimizados.

É uma questão importante para comunidades linguísticas mais pequenas, como a finlandesa. Se a empresa conceber o serviço apenas com dados e estimativas de custos em inglês, a utilização em finlandês pode surpreender devido a um planeamento insuficiente.

Uma organização responsável testa:

como funciona o modelo em finlandês
como varia o número de tokens entre línguas
como mudam os custos
como se mantém a qualidade
como se comunicam os limites ao utilizador

A igualdade no acesso à IA também depende destas decisões técnicas quotidianas.

12. A tokenização na transformação mais ampla da IA

A tokenização revela algo essencial sobre a transformação trazida pela IA.

Tendemos a humanizar a IA. Dizemos que lê, compreende, reflete e recorda. São expressões úteis no dia a dia, mas podem ocultar o funcionamento real.

A IA é um sistema que processa tokens, calcula probabilidades e produz os tokens seguintes com base no contexto anterior. Apesar disso, o resultado pode parecer inteligente.

É uma contradição fascinante da IA: o mecanismo é matemático, mas a experiência é social. O utilizador sente que conversa. O modelo processa tokens.

Para as empresas, isto exige gerir a IA em dois níveis:

ao nível da experiência humana
ao nível do sistema técnico

Uma boa estratégia de IA compreende ambos.

13. O futuro: como evoluirá a tokenização?

A tokenização continuará a existir nos próximos anos, mas a sua importância pode mudar.

1. As janelas de contexto estão a crescer

Um contexto de um milhão de tokens já faz parte da concorrência entre os grandes modelos atuais. A Google e a Anthropic destacaram ambas as possibilidades dos contextos longos.^[5] Mas uma janela maior continua a exigir uma boa gestão da informação.

2. A contagem de tokens torna-se automática

Cada vez mais sistemas contam os tokens em segundo plano e encaminham a tarefa para o modelo adequado. A Anthropic aponta como benefícios o controlo dos custos, a antecipação de limites e o encaminhamento entre modelos.^[6]

3. O resumo do contexto melhora

Nas conversas longas, os sistemas aprendem a resumir melhor a informação anterior. Não é uma memória perfeita, mas pode tornar a utilização mais fluida.

4. O multilinguismo melhora

Os tokenizadores e os modelos deverão melhorar também em línguas como o finlandês. Ainda assim, as línguas menos difundidas exigem testes deliberados.

5. A competência operacional ganha terreno ao entusiasmo

Ao início, perguntava-se «O que consegue fazer a IA?». A fase seguinte é mais prática: «Como fazemos isto com qualidade, segurança e rentabilidade?». Os tokens são centrais nesta discussão.

14. Conclusões

A tokenização faz parte da mecânica básica da IA.

Explica porque a IA processa texto de forma diferente de uma pessoa, porque custam os documentos longos e porque o finlandês pode consumir rapidamente a janela de contexto. Explica também porque um bom prompt deve usar os recursos com critério, para além de formular bem a pergunta.

A principal lição é:

Usar a IA com eficácia significa fornecer a informação certa no formato certo.

Para um empreendedor, é uma vantagem competitiva. Para um gestor, uma questão de custo e qualidade. Para um especialista, uma nova competência básica. Para um estudante, uma forma de compreender porque algumas respostas resultam e outras falham.

A tokenização é invisível, mas os seus efeitos estão por toda a parte.

15. Modelos práticos e listas de verificação

Modelo geral: usar a IA com critério no consumo de tokens

Defina a tarefa com precisão.
Selecione apenas o material relevante.
Elimine repetições desnecessárias.
Dê ao modelo um papel e um objetivo.
Delimite o formato da resposta.
Teste o número de tokens.
Acompanhe os custos durante a utilização.
Melhore o prompt com base nos dados.

Lista de verificação antes de enviar material longo ao modelo

Pergunte:

O modelo precisa do documento completo?
Bastaria um resumo?
Posso dividir o material em partes?
Inclui dados pessoais ou segredos comerciais?
A tarefa é uma análise, um resumo, uma nota de decisão ou uma exploração de ideias?
Qual é o comprimento de resposta realmente necessário?
O material em finlandês gera um número inesperadamente elevado de tokens?

Perguntas para a equipa de gestão

Em que processos a IA trata mais texto?
Que utilizações geram os maiores custos de tokens?
Temos orientações sobre os dados que podem ser fornecidos ao modelo?
Medimos o custo da IA por utilizador, cliente ou tarefa?
Testámos separadamente a utilização em finlandês?
Algumas tarefas poderiam ser executadas por um modelo mais económico ou mais pequeno?

Modelo para começar

Use esta estrutura de prompt:

Age como [papel].
A sua tarefa é [objetivo].
Use apenas o material abaixo.
Concentre-se nestes aspetos: [1–3 pontos].
Não resuma todo o conteúdo.
Apresente a resposta como [lista / nota / tabela / resumo].
Limite: [x] palavras.

Modelo para utilizadores avançados

Analise o material em três etapas:

1) Extraia apenas os pontos relevantes para a tarefa.
2) Distinga factos, interpretações e incertezas.
3) Termine com uma proposta de decisão.

Se o material não permitir tirar uma conclusão, diga-o claramente. Não preencha as lacunas com suposições.

Modelo para a equipa

Tarefa: O que queremos que a IA faça?
Material: De que informação precisa?
Limites: Que informação é dispensável?
Riscos: O material contém informação sensível?
Tokens: O material foi testado com uma ferramenta de contagem de tokens?
Qualidade: Como sabemos que a resposta é boa?
Custo: Quanto custa aproximadamente cada utilização?
Melhoria: Como podemos simplificar o prompt ou a recuperação da informação?

A tokenização é a interface entre o pensamento humano e o cálculo da máquina, muito além de uma nota técnica pouco interessante.

Ao compreendê-la, a IA torna-se menos misteriosa e muito mais útil.

Tokenização: a linguagem invisível da IA que condiciona a compreensão e os custos