El índice es una media ponderada de cuatro categorías, cada una con un 25 %: Knowledge Work, Coding, Science y General. Según Artificial Analysis, es una síntesis útil para comparar modelos, aunque admite que, como toda métrica, tiene limitaciones y puede no aplicarse a cualquier caso de uso. Es una batería sobre todo de texto y en inglés; las entradas de imagen, voz y el rendimiento multilingüe se miden aparte.
La v5.0 incorpora nueve evaluaciones. En Knowledge Work: AA-Briefcase v1.1 (15 %), AutomationBench-AA (5 %) y GDP.pdf (5 %). En Coding: FrontierCode 2.0 (15 %) y Terminal-Bench 4.0 (10 %). En Science: Terminal-Bench-Science 0.1.0 (15 %) y CritPt v2, subconjunto difícil (10 %). En General: AA-Omniscience v1.1 (15 %) y HLE-Diamond (10 %). Varias de ellas son agénticas y usan herramientas, y algunas son privadas.
AA-Briefcase es un benchmark nuevo de tareas de trabajo del conocimiento en proyectos complejos de varias semanas, con muchas tareas enlazadas y miles de archivos de entrada. Combina puntuación por rúbrica y comparaciones por pares para evaluar el éxito verificable, la calidad analítica y la presentación. AA-Omniscience puntúa la precisión (10 %) y 1 menos la tasa de alucinación (5 %) como componentes separados.
Fuera del índice quedan otras evaluaciones que se publican por separado, como el Multilingual Index (basado en Global-MMLU-Lite en 16 idiomas), GDPval-AA, HealthBench, IFBench o MMMU Pro. Entre los principios declarados están la estandarización, la ausencia de sesgo, el prompting zero-shot y la transparencia. Los parámetros fijan temperatura 0 para modelos sin razonamiento y 0,6 para los de razonamiento, hasta 30 reintentos ante fallos de API y pass@1 como puntuación habitual. Para las pruebas agénticas usan e2b como proveedor de sandbox.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.