Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · artificialanalysis.ai
Artificial Analysis Intelligence Index v5
Artificial Analysis publica la quinta versión de su índice compuesto de capacidades de modelos de lenguaje, con dos benchmarks nuevos, tres actualizados y el 60 % del peso en conjuntos de prueba privados. Lo acompaña un nuevo Progress Index. Claude Opus 5.5 lidera y los modelos open weights se distancian.
Foto: vía artificialanalysis.ai
1 medio · MadridPublicada 28 oct, 07:45Actualizada 28 oct, 08:50· Ya no está en portadaEscrita por IA · cómo funciona
Intelligence Index v5 incorpora dos benchmarks nuevos: FrontierCode 2.0, el benchmark privado de Cognition con 132 tareas en repositorios open source reales, calificadas según si un mantenedor aceptaría el cambio del agente, y Terminal-Bench-Science, con 70 tareas de investigación científica en terminal. Se actualizan HLE-Diamond (que sustituye a Humanity's Last Exam), AA-Omniscience v1.1 y CritPt v2, este último en un subconjunto privado de 40 preguntas difíciles. Salen GDPval-AA v2.1, SciCode y AA-LCR v1.1. El peso se reparte a partes iguales, un 25 %, entre trabajo del conocimiento, programación, ciencia y conocimiento general.
En los resultados, Claude Opus 5.5 (max) lidera con 58 puntos, seguido de GPT-6 Astra (max, 57) y GPT-6.1 Sol (max, 55). Anthropic y OpenAI ocupan los cinco primeros puestos; Gemini 4 Argon (high) es el siguiente, con 50. Ningún modelo gana en todas las pruebas: Opus 5.5 encabeza tres de las nueve, GPT-6 Astra dos, y Claude Sonnet 5.5, Kimi K3.1 Pro, Gemini 4 Argon y Muse Wonder Full una cada uno.
La distancia con los modelos open weights pasa de 3 a 12 puntos. Kimi K3.1 Pro, cuyos pesos aún no se han publicado, es el mejor con 46. Entre los de pesos ya disponibles, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) llegan a 32, por debajo de Claude Haiku 5.5 (max), que tiene 36.
El coste por tarea del índice varía más de 13 veces entre los diez mejores: de 0,96 dólares de GPT-6.1 Terra (max) a 13,04 de Claude Fable 5.1 (max). GPT-6.1 Sol (max) queda a 4 puntos de Opus 5.5 (max) con aproximadamente la octava parte del coste por tarea. El nivel de esfuerzo pesa más que en v4.3: Opus 5.5 pasa de 35 puntos en low a 58 en max, con un coste diez veces mayor. Además, la mediana de tokens de salida por tarea sube de 35k a 59k.
Junto al índice se lanza el Progress Index v1, que sitúa en una única escala los modelos publicados desde noviembre de 2022 para comparar la evolución de la capacidad a lo largo del tiempo. El Intelligence Index sigue siendo la medida principal del estado actual.
«Artificial Analysis Intelligence Index v5» · puesto 30 · 51 puntos · enviado por hn-aarvin
Lo que dicen los comentarios
Buena parte de los comentarios cuestiona la imparcialidad de Artificial Analysis: varios sostienen que cambia el índice cuando los modelos chinos se acercan a los estadounidenses, mientras otros replican que los cambios tienen sentido o que el benchmaxxing, si existe, afecta a todos los laboratorios. También se critica el tamaño de los benchmarks, con pocas preguntas en programación y ciencia, el uso de un LLM cerrado como juez y la selección de idiomas del índice multilingüe. Una parte de la conversación se aparta del tema para preguntar por los prompts de rol y comentar el estilo de escritura de Opus.
Es evidente que Artificial Analysis cambia el benchmark para colocar arriba a los modelos de EE. UU. GLM 5.3 es mucho mejor que Astra en backend; Astra comete bugs absurdos. Es lo que pasa cuando el equipo está financiado con capital riesgo.
Hay benchmaxxing, pero me sorprendería que no fuera general: ¿cómo sabe un laboratorio si su modelo ha mejorado respecto al anterior, si no es comparando resultados en benchmarks?
Los chinos van uno o varios meses por detrás y el estado de la inteligencia es tan volátil que el top 10 será otro en seis meses; seguirá siendo una mezcla, con los modelos estadounidenses delante.
Es llamativo que áreas clave usen benchmarks con pocas preguntas: unas 200 en programación y 150 en ciencia. Así no extraña que se perciba diferencia entre los benchmarks y el uso real.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.