Lunes, 16 de noviembre de 2026
Portada de las 07:40
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · hightouch.com

Un Jev que puede pedir ayuda a Opus iguala su precisión con un coste cuatro veces menor

Hightouch probó dos «modelos de decisión», Jev y GPT-6 Luna, como jueces de resolución de identidades, y comprobó que un híbrido Jev + Opus alcanza precisión de frontera con un coste más de cuatro veces inferior. Interesa por el ahorro y por cómo calibrar cuándo escalar a un modelo mayor.

Foto: vía hightouch.com

Leer el artículo aquíArtículo original (hightouch.com) 94 comentarios en Hacker News

Escucha la noticia3 min

Hightouch quería saber si los LLM y los modelos de decisión (una clase de modelos que devuelven una confianza de 0 a 1 de que se cumpla una condición, mucho más rápidos y baratos que los de frontera) podían evaluar resultados de resolución de identidades (IDR): asignar registros de datos a personas reales sin fundir a varias en una sola. El problema habitual es el over-merging, y no hay una respuesta de referencia con la que comprobarlo; revisarlo a mano ronda las 50 identidades por hora y exige más de 1.000 muestras para bajar el error del 1 %.

Para medirlo construyeron un benchmark con pseudopeople, una herramienta del Institute for Health Metrics and Evaluation de la Universidad de Washington que simula una ciudad ficticia de EE. UU. y le añade errores realistas. Con 1.000 identidades (la mitad correctas y la mitad fusiones indebidas), Claude Opus 5.5 logró un 99,0 % de acierto (3,86 $ por 1.000 identidades), Gemini 3.1 Pro y GPT-6 Sol un 98,3 %, Luna un 97,3 % (0,10 $) y Jev un 95,7 % con umbral del 60 % (0,05 $). Lo que más ayudó a todos los modelos fue incluir ejemplos de errores en el prompt.

Con casos más difíciles (typos en campos clave, gemelos, padre e hijo con el mismo nombre), Luna deja de aventajar a Jev. Los modelos de decisión cuestan hasta 90 veces menos, son más de 10 veces más rápidos (unos 0,15 s por identidad) y quedan unos 6 puntos por detrás de Opus. La confianza de Jev está mejor calibrada: casi todos sus fallos llevan baja confianza, mientras que los de Luna llevan confianza alta. Por eso Jev funciona mejor en el híbrido, donde escala a Opus los casos dudosos y logra precisión de frontera a menos de la cuarta parte del coste.

En Hacker News

«A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost» · puesto 6 · 417 puntos · enviado por theanomaly

Lo que dicen los comentarios

Varios comentaristas matizan que el resultado vale para una tarea muy concreta y no para el uso general o la programación con agentes. Otros cuentan arquitecturas parecidas: Jev para enrutar entre modelos, juzgar llamadas a herramientas o decidir a qué agente hablar, y Qwen como orquestador o como subagente de Opus. Un usuario recuerda que con Haiku 5.5 la ventaja de coste de la capa de decisión desapareció. Se discute también cuándo debe escalar un modelo pequeño: si basta su incertidumbre o hay que atender a lo que está en juego. Otra crítica va contra la tarea, que consideran ambigua en fechas y nombres, y proponen limpiar los datos de forma determinista y descomponer el problema en reglas.

  • Muy interesante, pero es un benchmark para una tarea muy concreta, la resolución de identidades. A pesar del título, el artículo no demuestra mejoras generales de uso ni para agentes de programación.
    — nico, leer el comentario
  • Con Jev + Opus o Jev + Qwen, Jev solía acertar al decidir cuándo escalar. Pero al salir Haiku 5.5 las diferencias de coste desaparecieron: era suficiente y rápido, y una capa decisora ya no aportaba gran ventaja.
    — netshade, leer el comentario
  • No se puede acertar siempre, porque solo sabes si hacía falta escalar tras hacerlo. Lo que permite cambiar coste por corrección es cuán cauto sea el modelo. La clave no es su certeza, sino cuánto hay en juego.
    — bastawhiz, leer el comentario
  • Hay errores hasta en cómo los humanos formularon la tarea: «Valentino → Female Child» es un nombre masculino, y las fechas dependen del contexto cultural. Sin saber lugar, tipo de documento o autor, puedes equivocarte.
    — angry_octet, leer el comentario
  • Yo hago lo contrario: uso Qwen3.8-27B como subagentes y Opus 5.5 como orquestador y planificador, nunca como implementador, y así reduzco mucho el uso de tokens.
    — drkleiner, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.