Caché de prompts: la forma más simple de bajar el costo de un bot

El 1° de septiembre tenía que subir un 50% el precio de Claude Sonnet 5, uno de los modelos de inteligencia artificial más usados para armar bots de atención. No subió: Anthropic, la empresa que lo hace, canceló el aumento y dejó el precio de lanzamiento como precio final. Sirve de excusa para explicar algo que casi nadie mira: cómo se cobra un bot de IA por dentro, y cuál es la técnica más simple para pagar menos por el mismo servicio.

Por qué el precio por token importa, aunque vos no lo veas

Un bot de IA no se paga por mes fijo ni por cantidad de clientes: se paga por token, la unidad mínima de texto que el modelo lee o escribe. Un token equivale, en promedio, a unos cuatro caracteres o tres cuartos de palabra, así que una conversación de WhatsApp de ida y vuelta puede sumar cientos de tokens sin que se note. Ese precio se mide en dólares por millón de tokens, y varía según qué tan grande sea el modelo: los más potentes cuestan más por token que los más chicos.

El caso de Sonnet 5 muestra que ese número no es fijo. Cuando salió, Anthropic cobraba 2 dólares por millón de tokens de entrada y 10 por millón de salida, como precio de lanzamiento hasta el 31 de agosto. Debía pasar a 3 y 15 dólares desde el 1° de septiembre, un salto del 50%, pero la empresa lo canceló: su documentación de precios ya dice que el valor de lanzamiento queda como precio permanente. Para un negocio que paga por uso, esa diferencia separa una factura previsible de una que crece sola.

El caché de prompts: pagar una sola vez por lo que se repite

Cada vez que alguien le escribe a un bot, el sistema le manda al modelo, además del mensaje nuevo, todas las instrucciones fijas: quién es el negocio, cómo tiene que responder, qué productos vende, qué tono usar. Ese bloque de instrucciones se repite igual en cada mensaje, y sin ningún ajuste se cobra completo las veces que se repite.

El caché de prompts —"prompt caching" en inglés— es la función que evita pagar ese bloque de nuevo: lo guarda una vez y cobra una fracción del precio normal por reutilizarlo. Anthropic cobra un 25% extra por guardarlo la primera vez, pero después cada reutilización cuesta solo el 10% del precio de entrada. OpenAI hace lo mismo sin que haya que activar nada: a partir de un bloque de mil veinticuatro tokens —unas 750 palabras— lo cachea solo, con ese mismo 10% de descuento. En un bot con instrucciones largas y muchos mensajes por día, eso se nota en la factura.

Cuándo un modelo chico alcanza

No todos los mensajes necesitan el modelo más caro. Confirmar un horario, repetir una dirección o decir si hay stock son tareas simples que un modelo chico resuelve igual de bien y más barato; el modelo grande queda para cuando la conversación se complica, como un reclamo. Combinado con el caché de prompts, es la forma más simple de que un bot con cada vez más mensajes no cueste cada vez más por mensaje.