Qué son los tokens y las ventanas de contexto en inteligencia artificial

Un token es la unidad mínima en la que un modelo de lenguaje, que es el motor que hay detrás de herramientas como los chatbots de inteligencia artificial, divide el texto para poder procesarlo. La idea fundamental que suele sorprender es que los tokens no son palabras: un token es un fragmento de texto, que puede ser una palabra corta completa, un trozo de una palabra más larga, un signo de puntuación o incluso un espacio. Esto se debe a cómo funcionan estos modelos, que no entienden las letras ni las palabras tal como las percibimos las personas, sino que trabajan con estas piezas convertidas en números. El proceso de dividir un texto en tokens se llama tokenización y lo realiza un componente llamado tokenizador antes de que el modelo procese nada. La razón por la que se usan fragmentos en lugar de palabras completas es muy práctica: los idiomas tienen una cantidad enorme de palabras y constantemente aparecen nuevas, nombres propios o términos de otros idiomas, de modo que si cada palabra tuviera que ser una unidad conocida, el modelo no podría manejar términos raros o inventados. En cambio, al trabajar con fragmentos, cualquier palabra, incluso una que el modelo nunca haya visto, se puede construir combinando piezas más pequeñas que sí conoce. Por eso, las palabras comunes suelen corresponder a un único token, mientras que las palabras largas, técnicas o inusuales se parten en varios tokens. Como referencia aproximada, una palabra equivale a algo más de un token de media, aunque esto varía según el idioma y el texto concreto. Entender qué es un token es importante porque los tokens son la unidad con la que se mide y se factura el uso de la inteligencia artificial y con la que se define cuánta información puede manejar un modelo de una sola vez, de modo que este concepto está en la base del coste, la memoria y los límites de cualquier aplicación basada en modelos de lenguaje.

No existe una equivalencia exacta y fija entre palabras y tokens, porque depende del idioma, del tokenizador concreto que use cada modelo y de las propias palabras del texto, pero sí se pueden dar referencias aproximadas muy útiles. De media, una palabra equivale a algo más de un token, y una cifra que se maneja habitualmente es que en inglés un token corresponde aproximadamente a tres cuartas partes de una palabra, es decir, que cien palabras rondarían los ciento treinta tokens. En español, y en otros idiomas distintos del inglés, la proporción suele ser algo mayor, es decir, el mismo texto tiende a ocupar más tokens, porque muchos tokenizadores fueron optimizados principalmente para el inglés y descomponen las palabras de otros idiomas en más fragmentos. El motivo de que no haya una regla única es que los tokens son fragmentos y no palabras: las palabras cortas y comunes suelen ser un solo token, mientras que las palabras largas, poco frecuentes, técnicas o los nombres propios se dividen en varios tokens, y además los espacios y los signos de puntuación también cuentan. Por ejemplo, una palabra sencilla y habitual puede ocupar un único token, mientras que una palabra larga y poco común puede ocupar tres, cuatro o más. Esto significa que dos textos con el mismo número de palabras pueden tener cantidades de tokens distintas según cuán comunes o complejas sean esas palabras. Para conocer el número exacto de tokens de un texto concreto, la forma fiable es usar las herramientas que ofrecen los proveedores de modelos, que permiten introducir un texto y ver en cuántos tokens se divide, ya que cada modelo puede tokenizar de forma ligeramente diferente. En la práctica, para hacer estimaciones rápidas de coste o de espacio, basta con recordar que el número de tokens es algo mayor que el número de palabras, y que conviene medirlo con precisión cuando se trabaja cerca de los límites de la ventana de contexto o cuando el coste importa.

La ventana de contexto es la cantidad máxima de tokens que un modelo de lenguaje puede tener en cuenta al mismo tiempo para generar una respuesta, y funciona como una especie de memoria de trabajo del modelo. Es un límite fijo que depende de cada modelo, de modo que unos modelos tienen ventanas de contexto pequeñas y otros enormes, pero en todos los casos existe un tope. Lo fundamental para entender este concepto es que dentro de esa ventana debe caber absolutamente todo lo que interviene en la generación de la respuesta, y no solo la pregunta del usuario. En concreto, la ventana de contexto contiene las instrucciones del sistema, que definen el papel o las reglas que sigue el modelo; la pregunta o mensaje del usuario; cualquier documento o información adicional que se le haya proporcionado; el historial de la conversación, es decir, los mensajes anteriores; y también la propia respuesta que el modelo va generando, que consume igualmente espacio dentro de ese límite. Todos estos elementos compiten por el mismo espacio, de manera que si se aporta un documento muy extenso, queda menos margen para el historial o para la respuesta. Una consecuencia muy importante de este funcionamiento es que todo lo que no cabe dentro de la ventana de contexto, el modelo simplemente no lo ve ni lo tiene en cuenta. Esto explica un comportamiento que muchos usuarios experimentan: en una conversación muy larga, el modelo parece olvidar lo que se dijo al principio. No se trata de un fallo ni de una memoria defectuosa, sino de que, cuando la conversación crece tanto que ya no cabe entera en la ventana, los mensajes más antiguos quedan fuera y dejan de estar disponibles para el modelo. La ventana de contexto es, por tanto, un concepto clave para entender cuánta información puede manejar un modelo de una sola vez, cuánto historial recuerda, y por qué a veces es necesario resumir la conversación, trocear los documentos o recurrir a técnicas que aporten solo la información relevante en lugar de todo el contenido de golpe.

La razón por la que un modelo de inteligencia artificial parece olvidar lo que se le dijo al principio de una conversación larga está directamente relacionada con la ventana de contexto, que es la cantidad máxima de tokens que el modelo puede tener en cuenta a la vez. En una conversación, cada mensaje, tanto los del usuario como los del modelo, se acumula en el historial, y ese historial completo debe caber dentro de la ventana de contexto junto con las instrucciones del sistema y la respuesta que se va a generar. Mientras la conversación es corta, todo cabe holgadamente y el modelo puede tener presente desde el primer mensaje hasta el último. Sin embargo, a medida que la conversación se alarga, el historial va creciendo hasta que llega un punto en que ya no cabe entero dentro de la ventana de contexto. Cuando eso ocurre, los mensajes más antiguos, es decir, los del principio, quedan fuera de la ventana y el modelo deja de tenerlos disponibles, por lo que ya no puede tenerlos en cuenta al responder. El resultado es que el modelo parece haber olvidado lo que se habló al comienzo, cuando en realidad no es un fallo de memoria ni un error, sino una consecuencia directa y previsible de su límite de contexto: literalmente, esa información ya no está delante de él. Es importante comprender esto porque cambia la forma de trabajar con estas herramientas. Si en una conversación larga se necesita que el modelo recuerde información importante mencionada al principio, conviene volver a incluirla o recordársela, resumir periódicamente los puntos clave, o empezar una conversación nueva aportando solo lo esencial. También explica por qué algunas aplicaciones implementan mecanismos para resumir automáticamente el historial o para recuperar y reinsertar la información relevante. En definitiva, el aparente olvido no indica que el modelo funcione mal, sino que su ventana de contexto tiene un tamaño finito y, cuando la conversación lo supera, lo más antiguo se pierde para dar cabida a lo más reciente.

Los tokens afectan de manera directa al coste de usar inteligencia artificial porque, cuando se accede a los modelos a través de una interfaz de programación, el precio se calcula fundamentalmente en función del número de tokens procesados, y no del número de mensajes o de palabras exactas. En la mayoría de los servicios, se cobra tanto por los tokens de entrada, es decir, todo lo que se envía al modelo, como por los tokens de salida, es decir, todo lo que el modelo genera como respuesta, y con frecuencia el precio por token de salida es más alto que el de entrada. Esto significa que cuanto más largo sea el texto que se envía y cuanto más extensa sea la respuesta solicitada, mayor será el coste de cada interacción. Como los tokens de entrada incluyen todo lo que va en la ventana de contexto, esto abarca no solo la pregunta, sino también las instrucciones del sistema, los documentos que se adjunten y el historial de la conversación que se vuelva a enviar en cada turno, de modo que las conversaciones largas o los mensajes con mucho contexto pegado pueden encarecerse considerablemente, ya que ese contexto se procesa una y otra vez. Comprender esta relación tiene consecuencias prácticas importantes para quien construye aplicaciones o usa la inteligencia artificial de forma intensiva. Por un lado, invita a ser eficiente con el contexto, incluyendo solo la información necesaria en lugar de pegar documentos enormes o historiales completos sin criterio, y a considerar técnicas que aporten únicamente los fragmentos relevantes en lugar de todo el contenido. Por otro lado, explica por qué a veces conviene resumir conversaciones largas, limitar la longitud de las respuestas cuando no se necesita más, o elegir el modelo adecuado según la tarea, ya que modelos más grandes y capaces suelen costar más por token. En resumen, dado que la facturación se basa en tokens de entrada y salida, gestionar cuántos tokens se consumen es la palanca principal para controlar el gasto en aplicaciones de inteligencia artificial, y por eso entender qué son los tokens es el primer paso para calcular y reducir esos costes.

No, una ventana de contexto más grande no es siempre mejor, aunque a primera vista pueda parecerlo, y conviene entender sus matices para usar la inteligencia artificial con criterio. Es cierto que una ventana de contexto amplia aporta ventajas claras, ya que permite manejar más información de una sola vez, como conversaciones más largas sin perder el hilo, documentos más extensos o más cantidad de datos aportados, lo que abre posibilidades que las ventanas pequeñas no permiten. Sin embargo, tener una ventana grande y llenarla de contenido sin criterio tiene dos costes importantes. El primero es económico: como el coste de usar los modelos se basa en el número de tokens procesados, cuantos más tokens se introduzcan como contexto, más caro resulta cada mensaje, y además ese contexto suele reenviarse en cada interacción, multiplicando el gasto; llenar una ventana enorme con un libro entero o una base de datos completa puede encarecer mucho el uso. El segundo coste es de calidad de las respuestas: cuando se aporta una cantidad enorme de contexto, el modelo puede diluir su atención y tener más dificultad para localizar y dar el peso adecuado a los detalles verdaderamente relevantes, que quedan perdidos en un mar de texto, lo que puede empeorar la precisión de las respuestas en lugar de mejorarla. Por estas razones, en muchos casos resulta más eficaz y económico no meter todo el contenido disponible en la ventana, sino aportar únicamente los fragmentos relevantes para la pregunta concreta, que es precisamente la idea que hay detrás de técnicas como la recuperación de información relevante mediante representaciones vectoriales, que seleccionan y entregan al modelo solo lo que necesita. En definitiva, una ventana de contexto grande es una herramienta valiosa que amplía lo que se puede hacer, pero no debe confundirse con la estrategia de llenarla siempre al máximo; lo importante no es cuánto contexto se aporta, sino que sea el contexto adecuado, equilibrando capacidad, coste y calidad de las respuestas, ya que más contexto no significa automáticamente mejor contexto.