El texto, en pedacitos.
Antes de procesar nada, el modelo parte el texto en pedacitos. Esos pedacitos —los tokens— son su verdadera unidad de medida.
No ve palabras: ve tokens.
Un token es un fragmento de texto: a veces una palabra entera, a veces un pedazo (“inteli” + “gente”), a veces un signo. El modelo convierte todo a tokens antes de trabajar, y todo lo que hace se mide en ellos: cuánto puede leer, cuánto recuerda y cuánto cuesta. Prueba el toggle:
5 palabras · el modelo no ve palabras ni letras: ve tokens, y cobra por cada uno.
Los tokens son la moneda.
Se cobra por token
Cada consulta se paga por la cantidad de tokens que entran y salen. Texto más corto, respuesta más barata.
Miden el contexto
“Cuánto puede tener en mente” se cuenta en tokens, no en páginas. Es el tema del próximo capítulo.
No todo pesa igual
Un mismo concepto puede ocupar más o menos tokens según el idioma o el formato del texto.
Medimos y optimizamos cada token para que su asistente sea eficiente.
Cuéntenos su caso y coordinamos una reunión — presencial o por videollamada — para mostrarle un asistente funcionando.