Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · hightouch.com

Un Jev que puede pedir ayuda a Opus iguala su precisión con un coste cuatro veces menor

Hightouch probó si los «modelos de decisión» Jev y GPT-6 Luna, que devuelven una confianza entre 0 y 1, sirven para detectar fusiones erróneas en la resolución de identidades. Por separado se quedan por debajo de Opus; combinando Jev con Opus, según la empresa, se alcanza precisión de frontera por menos de una cuarta parte del coste.

Foto: vía hightouch.com

Leer el artículo aquíArtículo original (hightouch.com) 142 comentarios en Hacker News

Escucha la noticia3 min

La resolución de identidades (IDR) consiste en asignar registros de datos a personas reales, de modo que cada identidad corresponda a una sola persona y ninguna persona tenga dos identidades. El problema más común es la fusión errónea (over-merging): una identidad que agrupa a varias personas. Sin una clave de respuestas en datos reales, comprobar si el IDR funciona obliga a revisar muestras a mano, a unas 50 identidades por hora, y estimar bien una tasa tan baja exige más de 1.000 muestras para bajar del ±1 % de error.

Para evaluar a los modelos, Hightouch creó un benchmark con pseudopeople, herramienta del Institute for Health Metrics and Evaluation de la Universidad de Washington que simula una ciudad ficticia de EE. UU., con errores realistas añadidos. Construyó 1.000 identidades, la mitad de una sola persona con registros ruidosos y la otra mitad fusiones erróneas. El prompt llevaba ejemplos de errores (erratas, apodos, fechas con día y mes cambiados, nombres falsos) y contexto sobre las fuentes. Lo que más ayudó a todos los modelos fueron los ejemplos de error; el contexto de datos aportó como mucho un punto a los modelos de frontera y nada a los de decisión.

Con el prompt final, Claude Opus 5.5 acertó el 99,0 % (3 falsos positivos, 7 falsos negativos, 2,2 s por identidad, 3,86 $ por 1.000), Gemini 3.1 Pro y GPT-6 Sol el 98,3 %, GPT-6 Luna el 97,3 % (0,17 s, 0,10 $) y Jev el 95,6 % (0,15 s, 0,05 $) con un umbral del 50 %. El umbral importa mucho para Jev y poco para Luna; con 60 % para Jev y 70 % para Luna, Jev sube al 95,7 % y Luna se queda en el 97,3 %.

En una segunda prueba solo con casos difíciles (erratas en campos clave, gemelos, júnior y sénior, homónimos), según el resumen del artículo, Luna rinde mejor que Jev de entrada, pero la diferencia desaparece, y los modelos de decisión quedan unos 6 puntos por detrás de Opus. Hightouch afirma que la confianza de Jev está mejor calibrada, porque la mayoría de sus fallos llegan con poca seguridad, y que eso lo hace mejor en un esquema híbrido con Opus. Los modelos de decisión salen hasta 90 veces más baratos y más de 10 veces más rápidos.

En Hacker News

«A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost» · puesto 30 · 568 puntos · enviado por theanomaly

Lo que dicen los comentarios

Varios comentaristas recuerdan que el resultado es para una tarea muy concreta y no demuestra una mejora general, aunque algunos ya prueban el patrón de un modelo barato que decide cuándo escalar a otro: uno cuenta que le funcionó con un «juez» y le permitió simplificar el prompt. Otro, en cambio, dice que con Haiku 5.5 la diferencia de coste desapareció. También se discute la calibración: un comentario sostiene que el artículo la interpreta mal y que Luna podría estar mejor calibrada. Otros señalan la falta de razones en los modelos de decisión, la dificultad de montar conjuntos de calibración y las ambigüedades del propio benchmark (formatos de fecha, nombres). Un comentario critica el uso para vincular datos con personas reales, y le responden que esa tecnología ya existe en publicidad y en digitalización de historiales médicos.

  • El mayor inconveniente práctico de los modelos de decisión es que, si necesitas además una razón en cada caso, no ahorras dinero ni tiempo: solo añades un paso. Querría uno que haga ambas cosas, más caro que hoy pero más barato que un modelo de frontera.
    — locallylinear, leer el comentario
  • Jev solía acertar al decidir cuándo escalar a otro modelo, sobre todo si conocía las capacidades del otro. Pero con Haiku 5.5 la diferencia de coste desapareció casi de inmediato y la capa de decisión dejó de aportar mucho.
    — netshade, leer el comentario
  • Es un resultado para un experimento muy concreto, la resolución de identidades. Pese al título, el artículo no afirma ni demuestra mejoras de uso general ni para agentes de programación.
    — nico, leer el comentario
  • Hay un error al interpretar los gráficos de calibración: concluir que Jev está mejor calibrado que Luna probablemente es incorrecto. Estimo un error de calibración esperado entre 2 y 3 % menor para Luna en ambas tareas.
    — pcwelder, leer el comentario
  • No es difícil de probar. Añadí un «juez» a mi configuración con Jev y funciona: pude reducir el prompt a lo básico y pasar toda la batería de tests, cuando antes mi mejor resultado era un fallo con un prompt muy frágil.
    — pkulak, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.