Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · interconnects.ai
Artificial Analysis v5 y el dilema de quien hace benchmarks
Nathan Lambert analiza en Interconnects la nueva versión del Intelligence Index de Artificial Analysis, la referencia más citada para comparar modelos de frontera. Defiende que agregar todo en un solo número exige decisiones discutibles, y examina qué implica el cambio para los modelos abiertos.
Foto: vía interconnects.ai
1 medio · MadridPublicada 30 oct, 10:30Actualizada 30 oct, 14:20· Ya no está en portadaEscrita por IA · cómo funciona
El artículo parte de la actualización a v5 del Intelligence Index de Artificial Analysis (AA), que el autor considera la métrica independiente más prominente para modelos de frontera, seguida a distancia por el Capabilities Index de Epoch AI. Todo benchmark, dice, afronta una paradoja: necesita reducirse a un único número para poder discutirse y compararse, pero cada forma de agregar puntuaciones implica concesiones. Con tanto dinero en juego, quien evalúa además decide ganadores y perdedores y orienta el rumbo de los propios modelos.
La v5 reparte el peso a partes iguales, un 25 % cada una, entre trabajo del conocimiento (AA-Briefcase, AutomationBench-AA, GDP.pdf), programación (FrontierCode 2.0, Terminal-Bench 4.0), ciencia (Terminal-Bench-Science, CritPT v2) y conocimiento general (AA-Omniscience v1.1, HLE-Diamond). Según el autor, el ranking resultante parece razonable en conjunto, aunque muestra tensiones, como que GPT 6.1 Terra supere a Claude Fable 5.1. Cree que AA ha ajustado el índice hacia medir el frontier absoluto, un colaborador agéntico general, lo que ensancha la distancia con los modelos abiertos: ocho modelos cerrados superan al mejor abierto, Kimi K3.1 Pro.
Lambert matiza que el «ocaso» de los modelos abiertos está exagerado, aunque admite que el índice anterior los favorecía demasiado. Los abiertos van más atrás en las evaluaciones de ciencia, pero su propuesta de valor nunca fue competir en la frontera, sino abaratar dominios de mucha demanda hasta el precio del hardware y permitir que las empresas posean y especialicen la inteligencia con sus datos. Espera que en el próximo ciclo (GLM 6, Kimi 3.5) den pasos notables en el índice. Reconoce que los mejores modelos abiertos hacen algo de benchmaxxing y los peores mucho, y que mantenerse al ritmo exige una infraestructura de RL sofisticada que no todos los laboratorios tienen.
Sobre el paso de AA a benchmarks privados, al verlo como señal de benchmaxxing, el autor lo considera defendible pero no unánime: se deposita toda la confianza en quien construye el test y se pierde la revisión de la comunidad, que a menudo detecta fallos. Prefiere transparencia. Añade que Anthropic y OpenAI hace meses o años que dejaron de pensar en estos índices, centrados en usos internos como la automatización de I+D en IA y en clientes que gastan miles de millones, mientras que para los laboratorios pequeños y medianos aparecer bien en ellos es una cuestión existencial. Su propuesta es que haya más índices con sesgos distintos, como CursorBench para programación, y cita a Vals AI e Intelligence.ai, aunque el mindshare sigue muy inclinado hacia Artificial Analysis.
«Artificial Analysis v5 and the benchmarker's dilemma» · puesto 26 · 61 puntos · enviado por 6thbit
Lo que dicen los comentarios
Los comentarios se dispersan en varios frentes. Uno es práctico: si AA mide los modelos con el esfuerzo de razonamiento que la gente usa de verdad, a lo que otros responden que los demás niveles sí se evalúan y basta activarlos en los filtros. Otro es la afirmación de que los laboratorios cerrados han dejado de preocuparse por los índices, que algunos ponen en duda porque siguen presentándolos en cada lanzamiento, y que otros contrastan con su experiencia con modelos abiertos. También se pide transparencia sobre cuándo y por qué cambian los criterios, se pregunta cómo se financia AA y se reclaman reseñas cualitativas. Hay quejas de usabilidad de la web y una comparación de los benchmarks con las casas que certifican cartas coleccionables.
Ojalá AA midiera los modelos con los niveles de razonamiento que la gente usa de verdad. Casi nadie usa «max», y Claude Code mismo te disuade. Prefiero un benchmark del uso real que del mejor caso.
Mi experiencia es que Opus 5.5 es más listo que un Qwen3.8 Flash Next, pero yo preferiría trabajar con este último: incluso con razonamiento medio, Qwen y DeepSeek son ridículamente diligentes y prueban varias librerías antes de responder.
Solo necesitamos transparencia. Está bien cambiar los criterios, pero hay que registrar de antemano el desencadenante, por ejemplo actualizar cuando los N mejores modelos estén a menos de 2 puntos entre sí.
Me acabo de dar cuenta de que los benchmarks son el PSA de las cartas coleccionables de la IA: números difusos y difíciles de verificar, sobre todo si son privados, que dan mucho poder a quien los certifica.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.