Tokenisaatio – Innohub

1. Introducción: por qué la IA no «lee» como una persona

Cuando una persona lee la frase «Un emprendedor finlandés construye una empresa de crecimiento internacional», ve palabras, significados y quizá imagina la situación: el fundador, el equipo, la ronda de financiación, la incertidumbre y la ambición.

La IA ve algo muy distinto. No parte de palabras, sino que divide el texto en piezas más pequeñas llamadas tokens. Un token puede ser una palabra completa, una parte de ella, un signo de puntuación o una secuencia de caracteres sin un significado evidente para las personas.

Las orientaciones de OpenAI explican que los modelos de lenguaje procesan texto en forma de tokens y que su número influye tanto en si el texto cabe dentro de la capacidad del modelo como en el coste de una llamada a la API.^[1]

Puede parecer un detalle técnico, pero tiene consecuencias prácticas.

La tokenización es uno de los mecanismos invisibles que explican por qué la IA a veces olvida el inicio de una conversación, por qué no cabe un contrato largo para analizarlo, por qué un texto en finés consume espacio tan deprisa y por qué la factura de IA supera lo previsto en la hoja de cálculo.

Si una empresa utiliza IA en atención al cliente, trabajo jurídico, ventas, programación, marketing o análisis de información interna, los tokens son un recurso esencial, como el tiempo, el dinero o la capacidad de los servidores.

2. ¿Qué es la tokenización?

La tokenización divide el texto en unidades más pequeñas que un modelo de lenguaje puede procesar. En términos sencillos:

las personas ven palabras en un texto
los ordenadores ven caracteres
un modelo de lenguaje procesa el texto como tokens

Un token no equivale a una palabra.

Por ejemplo, la palabra inglesa running puede ser un solo token en algunos tokenizadores, mientras que una palabra más rara o larga puede dividirse en varias partes. En el ejemplo de tiktoken de OpenAI, una secuencia de palabras y caracteres puede dividirse en piezas como "t", "ik", "token", " is", " great" y "!".^[1]

Un puzle es una buena comparación. Para una persona, una palabra es una imagen completa. Para la IA, el texto es una caja de piezas pequeñas con las que construye la siguiente mediante probabilidades. No «comprende» el texto como una persona: procesa las estructuras de las secuencias de caracteres y sus relaciones.

Eso no vuelve inútil a la IA; al contrario. Este mecanismo le permite manejar muchos idiomas, términos especializados, código y palabras nuevas sin aprender por separado todas las palabras posibles. Pero también impone límites.

3. ¿Por qué importan ahora los tokens?

Los tokens importan por tres motivos: capacidad, coste y calidad.

El primero es la capacidad. Cada modelo tiene una ventana de contexto: el número de tokens que puede tener en cuenta en una conversación o tarea. La documentación de Claude describe la ventana de contexto como un espacio en el que se acumulan los mensajes anteriores, las instrucciones del usuario y las respuestas del modelo.^[2]

El segundo es el coste. Muchos servicios cobran según los tokens procesados y aplican precios distintos a los de entrada y salida. La página de precios de OpenAI muestra tarifas por millón de tokens para cada modelo; sus orientaciones destacan que los recuentos aparecen en los metadatos de uso y se vinculan a la facturación.^[3]

El tercero es la calidad. Cuanto más texto se aporta, más debe separar el modelo lo importante de lo irrelevante. Un contexto largo solo significa disponer de más material, sin garantizar una respuesta mejor.

Es una cuestión interesante para la dirección. En las empresas se habla a veces de la IA como de una caja mágica: «Metamos todos los documentos y preguntemos». En realidad, conviene preguntar qué información debe ver el modelo para esta tarea concreta.

4. Tokens, ventana de contexto y memoria

La ventana de contexto es la mesa de trabajo de la IA. Si es pequeña, caben una nota adhesiva, una taza y un contrato. Si es enorme, puedes extender actas, datos de clientes, código, informes y documentos estratégicos. Pero incluso en una mesa grande, una persona puede perderse entre los papeles. A la IA le pasa algo parecido.

Los modelos actuales han avanzado rápidamente en el tratamiento de contextos largos. Google explica que los modelos Gemini procesan texto como tokens y ofrece una aproximación: un token equivale a unos cuatro caracteres, y 100 tokens a unas 60–80 palabras en inglés.^[4] Google también ha promocionado la capacidad de contexto largo de Gemini Pro para procesar hasta un millón de tokens, lo que permite abarcar grandes cantidades de documentos o repositorios completos de código.^[5]

Anthropic describe el recuento de tokens como una forma de gestionar costes, límites y el enrutamiento de tareas, es decir, a qué modelo se envía cada tarea.^[6]

Una observación importante: el contexto no equivale a una memoria persistente.

El contexto es lo que ve el modelo en este momento. La memoria es un sistema que puede conservar información entre conversaciones. Muchos usuarios confunden ambos conceptos y se decepcionan: «¿Por qué la IA no lo recordaba?». A menudo, la respuesta es que la información ya no estaba en el contexto o el servicio no la conserva como memoria.

5. El finés como prueba exigente de tokenización

El finés plantea un reto interesante. En inglés muchas palabras son cortas y están separadas. En finés, los significados se concentran en formas flexionadas largas y palabras compuestas.

Considera esta palabra:

kasvuyritysrahoituskierroksellaan

Una persona reconoce sus componentes: kasvu, crecimiento; yritys, empresa; rahoitus, financiación; kierros, ronda; además de terminaciones posesivas y de caso. Un tokenizador puede dividirla en muchas piezas. Por eso, un texto en finés puede consumir la ventana de contexto antes de lo esperado.

Un consejo práctico: en finés, una palabra puede equivaler a menudo a 2–3 tokens, a veces más. No es una regla universal: depende del modelo y del tokenizador. Conviene medir siempre el recuento exacto con la herramienta del modelo que utilices. OpenAI ofrece una herramienta de tokenizaciónque permite ver cómo se divide un texto y cuántos tokens genera.^[7]

¿Por qué importa? En una organización que trabaja en finés, los documentos largos, textos administrativos, contratos, estudios y materiales estratégicos pueden alcanzar enseguida muchos tokens. Un mismo documento de 20 páginas no resulta igual de «ligero» para el modelo en todos los idiomas.

Esto no implica evitar el finés, sino tener en cuenta sus características al trabajar con él.

6. ¿Cómo afecta la tokenización a los costes?

El coste de la IA depende tanto del número de usuarios como de la cantidad de tokens que procesa el servicio.

Una fórmula sencilla:

coste total = tokens de entrada + tokens de salida + posibles tokens de razonamiento interno + número de llamadas repetidas

OpenAI explica que los modelos avanzados también pueden utilizar reasoning tokens : tokens que el modelo emplea antes de producir la respuesta final. Pueden aparecer en los metadatos de uso y estar sujetos a facturación.^[8]

Para una empresa, esto es importante.

Imagina un bot de atención al cliente que incluye en cada respuesta:

una descripción extensa del servicio
el historial completo del cliente
las instrucciones internas
las condiciones de devolución
la conversación anterior
la nueva pregunta del usuario

Si lo hace miles de veces al día, incluso un pequeño exceso de texto se convierte en euros.

Aquí la tokenización pasa de ser un detalle técnico a una cuestión empresarial. Un sistema de IA bien diseñado envía al modelo la información pertinente para la tarea, en lugar de todo lo disponible.

7. ¿Qué significa esto para empresarios y directivos?

Para un empresario, la tokenización exige sobre todo cambiar de perspectiva.

Al dirigir la adopción de IA, conviene ir más allá de «¿Qué podemos automatizar?» y preguntar: «¿Qué información necesita el modelo para trabajar bien y cuál no necesita?»

Se parece a dirigir bien un equipo. Una buena dirección no lo ahoga con todo el material de contexto disponible: aporta un objetivo, contexto, límites de decisión y fuentes adecuadas. Con la IA ocurre lo mismo.

En una empresa, los tokens se reflejan al menos en cuatro ámbitos:

Los costes. Los prompts largos y los documentos extensos cuestan más.
La rapidez. Un contexto largo puede ralentizar la respuesta.
La calidad. Demasiada información de fondo puede dispersar al modelo.
La seguridad. Cuanta más información se envía, más cuidado exige decidir qué se puede enviar.

Por tanto, además de elegir «el mejor modelo», hay que diseñar el flujo de información.

8. La perspectiva de startups y empresas en crecimiento

Para una startup, la tokenización es especialmente importante: en una empresa pequeña se nota enseguida cada coste y cada decisión de producto.

Si construyes un servicio SaaS, un producto de software en la nube que los clientes utilizan mediante suscripción, los tokens pueden formar parte de tu economía unitaria: cuánto cuesta atender a un cliente y qué margen deja.

Es fácil olvidarlo en la fase de MVP: la primera versión funcional con la que se prueba si los clientes realmente quieren utilizar la solución.

Al principio puede parecer razonable enviar al modelo todo:

el perfil completo del usuario
todos los documentos
una instrucción de sistema extensa
todo el historial de conversación
una extracción completa de la base de datos

Funciona en una demostración. Pero, con 10.000 usuarios, la factura de tokens empieza a acumularse.

Una empresa en crecimiento debería preguntarse pronto:

¿Podemos comprimir el contexto?
¿Podemos recuperar solo los fragmentos pertinentes de los documentos?
¿Podemos usar un modelo más barato para tareas sencillas?
¿Podemos almacenar en caché las entradas repetidas?
¿Podemos limitar la extensión de las respuestas?

Los tokens son la infraestructura invisible de un producto. No aparecen en la interfaz, pero pueden determinar si el servicio es rentable.

9. Ejemplos prácticos: prompts deficientes, mejores y excelentes

Ejemplo deficiente

Aquí tienes 80 páginas de material. Haz un buen resumen.

Puede funcionar si el modelo admite el material, pero es caro, impreciso y puede ocultar lo esencial entre demasiada información.

Un ejemplo mejor

Lee este documento de 80 páginas. Resúmelo centrándote en los riesgos para los clientes, los efectos sobre los costes y las decisiones importantes para la dirección. No lo recapitules todo.

Aquí la IA recibe un enfoque: sabe qué buscar.

Un ejemplo excelente

Actúa como asesor operativo de una empresa en crecimiento. Analiza el material siguiente únicamente a partir de estas preguntas:

1) ¿Qué puntos afectan al flujo de caja de los próximos 6 meses?
2) ¿Qué riesgos exigen una decisión del equipo directivo?
3) ¿Qué aspectos son solo información de fondo?

Termina con una nota de una página para tomar decisiones.

Es mejor porque ahorra tokens y orienta el razonamiento. Pide lo importante, en lugar de pedirlo todo.

10. Riesgos e ideas equivocadas

Hay muchos malentendidos sobre la tokenización.

El primero es creer que un contexto mayor lo resuelve todo. Ayuda, pero sigue siendo necesario seleccionar, delimitar y estructurar la información.

El segundo es suponer que los tokens equivalen a palabras. No es así. Es especialmente importante en finés, donde las palabras largas y flexionadas pueden dividirse en muchos tokens.

El tercero es creer que el modelo recuerda toda la conversación. Su contenido se acumula en el contexto y, al alcanzar el límite, el sistema debe resumir, retirar o gestionar de algún modo la información anterior. Anthropic describe cómo crece el contexto a medida que avanza la conversación y se conservan mensajes y respuestas anteriores en la ventana.^[2]

El cuarto riesgo afecta a la seguridad. Cuando una organización intenta «mejorar» la respuesta añadiendo todo el contexto disponible, también puede aumentar innecesariamente el tratamiento de datos personales, secretos comerciales o información contractual.

Utilizar la IA responsablemente exige tanto obtener buenas respuestas como facilitar al modelo únicamente los datos que necesita.

11. La perspectiva ética y responsable

La tokenización parece una tecnología neutral, pero sus efectos no lo son.

Si un idioma se divide, de media, en más tokens que otro, procesarlo puede ser más caro o menos eficiente. Esto influye en qué lenguas se desarrollan, prueban y optimizan los servicios de IA.

Esta cuestión importa para comunidades lingüísticas pequeñas como la finlandesa. Si una empresa diseña un servicio de IA únicamente a partir de datos y cálculos de coste en inglés, el uso en finés puede sorprender. El problema no es el finés, sino que el sistema se ha diseñado sin suficiente cuidado.

Una organización responsable prueba:

cómo funciona el modelo en finés
cómo difieren los recuentos entre idiomas
cómo cambian los costes
cómo se mantiene la calidad
cómo se explican las limitaciones al usuario

La igualdad en la IA también se construye con decisiones técnicas cotidianas como estas, además de con grandes declaraciones.

12. La tokenización como parte de una transformación más amplia de la IA

La tokenización revela algo esencial sobre la transformación de la IA.

Tendemos a humanizarla: decimos que lee, entiende, reflexiona y recuerda. Son expresiones prácticas en el lenguaje cotidiano, pero pueden desdibujar la realidad.

La IA no es una persona sentada a una mesa leyendo un informe. Es un sistema que procesa tokens, calcula probabilidades y produce los siguientes a partir del contexto anterior. Aun así, el resultado puede parecer inteligente.

Ahí está la fascinante paradoja de la IA: el mecanismo es matemático, pero la experiencia es social. El usuario siente que conversa. El modelo procesa tokens.

Para las empresas, esto significa gestionar la IA en dos niveles:

la experiencia humana
el sistema técnico

Una buena estrategia de IA comprende ambos.

13. El futuro: ¿hacia dónde va la tokenización?

La tokenización no desaparecerá en los próximos años, pero su importancia puede cambiar.

1. Crecen las ventanas de contexto

Un contexto de un millón de tokens ya forma parte de la competencia entre los grandes modelos actuales. Google y Anthropic han destacado las posibilidades del contexto largo.^[5] Pero una ventana mayor no elimina la necesidad de gestionar bien la información.

2. Se automatiza el recuento de tokens

Cada vez más sistemas cuentan tokens en segundo plano y envían la tarea a un modelo adecuado. Anthropic señala entre sus ventajas la gestión de costes, la previsión de límites y el enrutamiento de modelos.^[6]

3. Mejora la compresión del contexto

En conversaciones largas, los sistemas aprenden a resumir mejor la información anterior. No equivale a una memoria perfecta, pero puede hacer más fluida la experiencia.

4. Mejora el soporte multilingüe

Es probable que tokenizadores y modelos mejoren también en lenguas como el finés. Aun así, los idiomas pequeños necesitan pruebas específicas.

5. El entusiasmo deja paso al conocimiento operativo

Al principio, muchos preguntaban «¿Qué puede hacer la IA?». La siguiente etapa es más práctica: «¿Cómo lo hacemos con calidad, seguridad y rentabilidad?». Los tokens ocupan un lugar central en esa conversación.

14. Conclusiones

La tokenización es un mecanismo básico del uso cotidiano de la IA.

Explica por qué la IA no trata el texto como una persona, por qué cuestan dinero los documentos largos y por qué el finés puede consumir tan rápidamente la ventana de contexto. También explica que un buen prompt es una instrucción que aprovecha bien los recursos, además de una pregunta bien redactada.

La lección esencial es esta:

Utilizar la IA eficazmente significa dar al modelo la información adecuada en el formato adecuado, en vez de la mayor cantidad posible.

Para un empresario es una ventaja competitiva; para un directivo, una cuestión de coste y calidad; para un profesional, una nueva competencia básica; para un estudiante, una forma de comprender por qué algunas respuestas funcionan y otras se deshacen.

La tokenización es invisible, pero sus efectos se ven por todas partes.

15. Modelos prácticos, listas y plantillas

Modelo general: uso de IA que aprovecha bien los tokens

Define la tarea con precisión.
Selecciona únicamente el material pertinente.
Elimina las repeticiones innecesarias.
Asigna al modelo una función y un objetivo.
Define el formato de la respuesta.
Comprueba el número de tokens.
Supervisa los costes durante el uso.
Mejora el prompt a partir de los datos.

Lista antes de enviar material extenso a un modelo

Pregúntate:

¿Necesita el modelo el documento completo?
¿Bastaría con un resumen?
¿Puedo dividir el material en partes?
¿Contiene datos personales o secretos comerciales?
¿Se busca un análisis, un resumen, una nota para decidir o ideas?
¿Qué extensión necesita realmente la respuesta?
¿El material en finés consume más tokens de lo esperado?

Preguntas para el equipo directivo

¿En qué procesos trata más texto la IA?
¿Qué usos generan los mayores costes de tokens?
¿Tenemos instrucciones sobre los datos que pueden facilitarse al modelo?
¿Medimos los costes por usuario, cliente o tarea?
¿Se ha probado por separado el uso en finés?
¿Podrían algunas tareas resolverse con un modelo más barato o pequeño?

Plantilla para empezar

Utiliza esta estructura de prompt:

Actúa como [rol].
Tu tarea es [objetivo].
Utiliza solo el material siguiente.
Céntrate especialmente en estos puntos: [1–3 elementos].
No lo recapitules todo.
Presenta la respuesta como [lista / nota / tabla / resumen].
Extensión máxima: [x] palabras.

Enfoque avanzado

Analiza el material en tres etapas:

1) Extrae únicamente los puntos pertinentes para la tarea.
2) Distingue hechos, interpretaciones e incertidumbres.
3) Termina con una propuesta de decisión.

Si el material no permite llegar a una conclusión, dilo directamente. No rellenes los vacíos con conjeturas.

Plantilla para equipos

Tarea: ¿Qué queremos que haga la IA?
Material: ¿Qué información necesita?
Alcance: ¿Qué información no necesita?
Riesgos: ¿Contiene el material información sensible?
Tokens: ¿Se ha probado el material con una herramienta de tokenización?
Calidad: ¿Cómo sabemos que la respuesta es buena?
Coste: ¿Cuánto cuesta aproximadamente cada uso?
Mejora: ¿Cómo podemos aligerar el prompt o la recuperación del material?

La tokenización es la interfaz entre el pensamiento humano y el cálculo de una máquina, mucho más que una nota técnica de la IA.

Cuando la comprendes, la IA resulta menos misteriosa y mucho más útil.

Tokenización: el lenguaje invisible de la IA que marca sus límites y sus costes