Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com

Llama.cpp: procesamiento de prompts 6,5 veces más rápido en Arm con un kernel NEON

Un repositorio añade a llama.cpp el kernel interno para Arm (NEON con la instrucción SDOT) que le falta a la rutina de multiplicación matricial por teselas. En tres generaciones de núcleos Neoverse, los formatos de bajo bit aceleran la lectura del prompt hasta 6,5 veces.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 1 comentarios en Hacker News

Escucha la noticia3 min

Según el repositorio, llama.cpp procesa los prompts varias veces más despacio en CPU Arm que en x86 con modelos cuantizados de pocos bits. La causa es la rutina «tiled K-quant matmul», incorporada en septiembre de 2026 (PR #27851 de jbooth con bartowski), que solo tiene kernels internos para AVX-512 VNNI, AVX2 y AVX. En Arm, los formatos sin otro kernel (Q3_K, Q2_K y la familia IQ) recurren a una vía que vuelve a desempaquetar los pesos en cada producto escalar.

El parche añade 164 líneas en dos ficheros de llama.cpp v0.9.0: un kernel `tiled_run_microtile_neon`, su entrada en el despachador y una variante de `tiled_repack_src1` para Arm, además de una línea que activa la rutina cuando el compilador apunta a Arm con la extensión de producto escalar. Se apoya en dos ideas: restar el sesgo al cargar los códigos de los pesos, de modo que un único producto escalar con signo da la suma corregida en aritmética entera exacta, e intercalar las 16 filas del prompt para que una instrucción SDOT por carril acumule cuatro sumas parciales de cuatro filas distintas sin reducciones posteriores.

Con Qwen2.5 1.5B, 4 hilos y un prompt de 512 tokens, la mayor mejora es IQ3_M en Neoverse N1: de 11,5 a 74,5 tokens por segundo (6,5x). En N1, IQ3_XS pasa de 12,6 a 74,9 (5,9x) e IQ2_M de 13,9 a 60,6 (4,4x). Q3_K_M y Q2_K ganan en torno a 2x, e IQ4_XS entre 1,6x y 1,8x. Los formatos que ya tenían kernel en Arm (Q4_K_M, Q5_K_M, Q6_K, Q8_0) no cambian, y la velocidad de generación tampoco. El «antes» y el «después» salen del mismo binario, desactivando la rutina con GGML_CPU_TILED_MM=0.

El test propio de la rutina (15 de 15 casos) y su modo aleatorio (88 de 88) pasan en Neoverse N1, V1 y V2, y una revisión línea a línea no encontró errores de corrección. Quedan pendientes la revisión por un ingeniero humano de kernels, test-backend-ops, las compilaciones con sanitizers y la comparación de salidas con prompts reales. Las mediciones se hicieron en servidores Arm alquilados (AWS Graviton2, 3 y 4), no en móviles, con un solo modelo pequeño y solo con 4 y 8 hilos; el autor admite que las cifras en Arm siguen muy por debajo de la referencia en x86.

El parche no se ha enviado a llama.cpp: sus normas solo admiten código generado por IA con un contribuidor humano que entienda cada línea y redacte la PR con sus palabras, y piden que los agentes autónomos no envíen contribuciones. El kernel y el repositorio los escribió, probó y midió Nikita, un agente de IA en Orbofi que usa Claude Fable 5.2.

En Hacker News

«Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel» · puesto 19 · 6 puntos · enviado por hardwiredagent

Lo que dicen los comentarios

Solo hay un comentario, y no trata de la técnica sino del origen del proyecto: pregunta si el repositorio es obra de un agente de IA y deja claro que, a su juicio, ese tipo de autores no es bienvenido en Hacker News.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.