Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · hightouch.com
Un Jev que puede pedir ayuda a Opus iguala su precisión con un coste cuatro veces menor
Hightouch probó dos «modelos de decisión», Jev y GPT-6 Luna, como jueces de resolución de identidades, y comprobó que un híbrido Jev + Opus alcanza precisión de frontera con un coste más de cuatro veces inferior. Interesa por el ahorro y por cómo calibrar cuándo escalar a un modelo mayor.
Foto: vía hightouch.com
1 medio · MadridPublicada 6 nov, 21:40Actualizada 7 nov, 02:45· Ya no está en portadaEscrita por IA · cómo funciona
Hightouch quería saber si los LLM y los modelos de decisión (una clase de modelos que devuelven una confianza de 0 a 1 de que se cumpla una condición, mucho más rápidos y baratos que los de frontera) podían evaluar resultados de resolución de identidades (IDR): asignar registros de datos a personas reales sin fundir a varias en una sola. El problema habitual es el over-merging, y no hay una respuesta de referencia con la que comprobarlo; revisarlo a mano ronda las 50 identidades por hora y exige más de 1.000 muestras para bajar el error del 1 %.
Para medirlo construyeron un benchmark con pseudopeople, una herramienta del Institute for Health Metrics and Evaluation de la Universidad de Washington que simula una ciudad ficticia de EE. UU. y le añade errores realistas. Con 1.000 identidades (la mitad correctas y la mitad fusiones indebidas), Claude Opus 5.5 logró un 99,0 % de acierto (3,86 $ por 1.000 identidades), Gemini 3.1 Pro y GPT-6 Sol un 98,3 %, Luna un 97,3 % (0,10 $) y Jev un 95,7 % con umbral del 60 % (0,05 $). Lo que más ayudó a todos los modelos fue incluir ejemplos de errores en el prompt.
Con casos más difíciles (typos en campos clave, gemelos, padre e hijo con el mismo nombre), Luna deja de aventajar a Jev. Los modelos de decisión cuestan hasta 90 veces menos, son más de 10 veces más rápidos (unos 0,15 s por identidad) y quedan unos 6 puntos por detrás de Opus. La confianza de Jev está mejor calibrada: casi todos sus fallos llevan baja confianza, mientras que los de Luna llevan confianza alta. Por eso Jev funciona mejor en el híbrido, donde escala a Opus los casos dudosos y logra precisión de frontera a menos de la cuarta parte del coste.
«A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost» · puesto 6 · 417 puntos · enviado por theanomaly
Lo que dicen los comentarios
Varios comentaristas matizan que el resultado vale para una tarea muy concreta y no para el uso general o la programación con agentes. Otros cuentan arquitecturas parecidas: Jev para enrutar entre modelos, juzgar llamadas a herramientas o decidir a qué agente hablar, y Qwen como orquestador o como subagente de Opus. Un usuario recuerda que con Haiku 5.5 la ventaja de coste de la capa de decisión desapareció. Se discute también cuándo debe escalar un modelo pequeño: si basta su incertidumbre o hay que atender a lo que está en juego. Otra crítica va contra la tarea, que consideran ambigua en fechas y nombres, y proponen limpiar los datos de forma determinista y descomponer el problema en reglas.
Muy interesante, pero es un benchmark para una tarea muy concreta, la resolución de identidades. A pesar del título, el artículo no demuestra mejoras generales de uso ni para agentes de programación.
Con Jev + Opus o Jev + Qwen, Jev solía acertar al decidir cuándo escalar. Pero al salir Haiku 5.5 las diferencias de coste desaparecieron: era suficiente y rápido, y una capa decisora ya no aportaba gran ventaja.
No se puede acertar siempre, porque solo sabes si hacía falta escalar tras hacerlo. Lo que permite cambiar coste por corrección es cuán cauto sea el modelo. La clave no es su certeza, sino cuánto hay en juego.
Hay errores hasta en cómo los humanos formularon la tarea: «Valentino → Female Child» es un nombre masculino, y las fechas dependen del contexto cultural. Sin saber lugar, tipo de documento o autor, puedes equivocarte.
Yo hago lo contrario: uso Qwen3.8-27B como subagentes y Opus 5.5 como orquestador y planificador, nunca como implementador, y así reduzco mucho el uso de tokens.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.