¿Qué son los tokens y la ventana de contexto?

Tokens y ventana de contexto: definición

Los modelos de lenguaje no procesan palabras, sino tokens. Un token puede ser una palabra corta entera, pero normalmente es un fragmento de palabra, una sílaba o un signo de puntuación. Las palabras alemanas largas o compuestas se dividen en varios tokens; por eso los textos en alemán suelen necesitar más tokens que textos en inglés de la misma longitud.

La ventana de contexto equivale a la memoria de trabajo del modelo: solo lo que cabe en ella puede tenerse en cuenta en la respuesta. Eso incluye su instrucción, los documentos adjuntos, el historial de la conversación y la propia respuesta. Según el modelo, el margen va de unos pocos miles de tokens a mucho más de cien mil.

Por qué los tokens determinan costes y calidad

Los proveedores suelen facturar sus servicios por token, por separado para la entrada y la salida. Si con cada consulta se envían documentos largos o todo el historial del chat, se paga por ello cada vez. También el tiempo de respuesta crece con la longitud del contexto. Por eso conviene estimar ya en la planificación cuántas consultas se producen al día y cuán extensas son normalmente las entradas.

Una ventana mayor tampoco es un cheque en blanco. Con entradas muy largas, un modelo puede pasar por alto detalles, sobre todo los que están en medio del texto. Si se supera el límite, la aplicación corta el contenido más antiguo o devuelve un error. Entonces el modelo «olvida» de verdad el principio de la conversación.

Ejemplo práctico: contratos largos en un despacho de abogados

Un despacho de abogados quiere revisar con IA determinadas cláusulas en extensos contratos de arrendamiento. El contrato completo cabe en la ventana de contexto, pero el coste por revisión es alto y se pasan por alto algunos pasajes. Funciona mejor un procedimiento por etapas: el contrato se divide en secciones, se buscan de forma selectiva los pasajes relevantes y se valoran en conjunto.

Para las preguntas posteriores en la conversación, la aplicación resume las intervenciones anteriores en lugar de enviar todo el historial. Esto ahorra tokens, mantiene las respuestas centradas y facilita el control por parte de los juristas, porque cada afirmación puede asignarse a un pasaje. El procedimiento por etapas es además más barato, porque no se procesa el contrato completo en cada pregunta.

A qué deben prestar atención las empresas

Elija el modelo y el tamaño de ventana según la tarea, no según el valor más alto. Compruebe los precios por token con su volumen realista y prevea límites de coste. Con documentos sensibles hay que aclarar además dónde se realiza el tratamiento. Pruebe con sus propios documentos, porque la longitud y la estructura difieren mucho de un sector a otro.

Nano Concepts diseña las aplicaciones de IA de modo que solo llegue al contexto lo necesario y hace transparentes el consumo y el coste por caso. Si lo desea, configuramos una monitorización que evalúa el consumo y los tiempos de respuesta, y comprobamos si basta un modelo más pequeño y barato para la tarea.

• Entregar solo extractos relevantes en lugar de carpetas enteras
• Dividir los documentos largos en secciones y recuperarlos de forma selectiva (RAG)
• Resumir los historiales de conversación en lugar de enviarlos completos
• Medir el consumo por caso y fijar límites
• Aprovechar, donde exista, el almacenamiento en caché del proveedor para partes de texto recurrentes y abaratar costes