Modelos de decisión: la IA que no escribe, elige entre opciones

Hace un mes esta categoría no existía. El 15 de septiembre, TypeSafe AI lanzó Jev, el primer "modelo de decisión": en vez de generar una respuesta en texto, toma el contexto que le das y elige entre las opciones que vos definiste, con un puntaje de qué tan segura está de cada una. El 1 de octubre, AWS respondió con Strands Decider 2B, una versión gratuita y abierta. No escriben nada: solo deciden, y lo hacen muy rápido.

Qué hace, exactamente, un modelo de decisión

Un modelo de lenguaje común arma una respuesta palabra por palabra: por eso tarda y cuesta lo que cuesta, sin importar si la pregunta es simple. Un modelo de decisión funciona distinto: le das un mensaje y un conjunto cerrado de opciones —sí o no, elegir una de varias, o un puntaje— y devuelve, en un solo paso, cuál opción conviene y con qué confianza. Strands Decider 2B, el que liberó AWS, es un modelo chico (menos de 2.000 millones de parámetros) que en una GPU de escritorio contesta en apenas 115 milisegundos. Su propia documentación es clara sobre el límite: "no sirve para chatear, programar ni resumir documentos". Es una herramienta para una sola cosa: elegir.

Dónde sirve esto en un negocio que ya tiene un bot

Pensá en un bot de WhatsApp que recibe de todo: consultas de precio, de horario, reclamos, pedidos de hablar con una persona. Hoy, buena parte de los bots manda cada uno de esos mensajes a un modelo grande para que entienda de qué se trata y arme la respuesta, aunque la primera parte del trabajo —decidir de qué categoría es el mensaje— sea algo simple con pocas opciones posibles. Un modelo de decisión puede ocupar justo ese primer paso: clasificar el mensaje entrante en milisegundos, con un puntaje de confianza, y recién después mandar los casos complejos o dudosos a un modelo más grande o a una persona. El trabajo repetitivo se resuelve más rápido y más barato; lo que necesita criterio sigue yendo a donde corresponde.

Todavía es nuevo, y se nota

Estos modelos tienen semanas, no años, y los límites ya aparecieron. En las pruebas públicas del modelo de AWS (231 casos del set JevBench), acertó alrededor de 7 de cada 10 —bastante atrás de un modelo grande en la misma tarea, aunque mucho más rápido y más barato. Un usuario que lo probó en Hacker News encontró algo más concreto: el modelo tiende a favorecer la primera opción de la lista, así que el orden en que se escriben las alternativas puede cambiar la respuesta. El propio equipo que lo armó recomienda no confiar en el número de fábrica y medir la precisión con tráfico real propio antes de dejarlo decidir algo importante solo.