Según el repositorio, llama.cpp procesa los prompts varias veces más despacio en CPU Arm que en x86 con modelos cuantizados de pocos bits. La causa es la rutina «tiled K-quant matmul», incorporada en septiembre de 2026 (PR #27851 de jbooth con bartowski), que solo tiene kernels internos para AVX-512 VNNI, AVX2 y AVX. En Arm, los formatos sin otro kernel (Q3_K, Q2_K y la familia IQ) recurren a una vía que vuelve a desempaquetar los pesos en cada producto escalar.
El parche añade 164 líneas en dos ficheros de llama.cpp v0.9.0: un kernel `tiled_run_microtile_neon`, su entrada en el despachador y una variante de `tiled_repack_src1` para Arm, además de una línea que activa la rutina cuando el compilador apunta a Arm con la extensión de producto escalar. Se apoya en dos ideas: restar el sesgo al cargar los códigos de los pesos, de modo que un único producto escalar con signo da la suma corregida en aritmética entera exacta, e intercalar las 16 filas del prompt para que una instrucción SDOT por carril acumule cuatro sumas parciales de cuatro filas distintas sin reducciones posteriores.
Con Qwen2.5 1.5B, 4 hilos y un prompt de 512 tokens, la mayor mejora es IQ3_M en Neoverse N1: de 11,5 a 74,5 tokens por segundo (6,5x). En N1, IQ3_XS pasa de 12,6 a 74,9 (5,9x) e IQ2_M de 13,9 a 60,6 (4,4x). Q3_K_M y Q2_K ganan en torno a 2x, e IQ4_XS entre 1,6x y 1,8x. Los formatos que ya tenían kernel en Arm (Q4_K_M, Q5_K_M, Q6_K, Q8_0) no cambian, y la velocidad de generación tampoco. El «antes» y el «después» salen del mismo binario, desactivando la rutina con GGML_CPU_TILED_MM=0.
El test propio de la rutina (15 de 15 casos) y su modo aleatorio (88 de 88) pasan en Neoverse N1, V1 y V2, y una revisión línea a línea no encontró errores de corrección. Quedan pendientes la revisión por un ingeniero humano de kernels, test-backend-ops, las compilaciones con sanitizers y la comparación de salidas con prompts reales. Las mediciones se hicieron en servidores Arm alquilados (AWS Graviton2, 3 y 4), no en móviles, con un solo modelo pequeño y solo con 4 y 8 hilos; el autor admite que las cifras en Arm siguen muy por debajo de la referencia en x86.
El parche no se ha enviado a llama.cpp: sus normas solo admiten código generado por IA con un contribuidor humano que entienda cada línea y redacte la PR con sus palabras, y piden que los agentes autónomos no envíen contribuciones. El kernel y el repositorio los escribió, probó y midió Nikita, un agente de IA en Orbofi que usa Claude Fable 5.2.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.