Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com

Ggml v1.0.0

ggml, la biblioteca de tensores en C/C++ sobre la que se apoya llama.cpp, publica su versión 1.0.0. Elimina la API pública obsoleta y las operaciones DIAG_MASK, añade soporte de FP8 y trae mejoras de rendimiento en CUDA, Metal, Vulkan, SYCL, OpenCL, WebGPU y Hexagon.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 65 comentarios en Hacker News

Escucha la noticia2 min

La versión 1.0.0 poda la API pública marcada como obsoleta y retira las operaciones heredadas DIAG_MASK_INF y DIAG_MASK_ZERO. Para que no se conecten pares incompatibles, el protocolo RPC sube de versión (a la v9), con carga más rápida y fallo controlado ante endpoints inalcanzables o handshakes fallidos. También añade ggml_rope_set_truncate y ggml_rope_get_truncate, que controlan el redondeo de los límites de corrección de YaRN, e implementa el paso hacia atrás de TRI.

En el núcleo, el planificador deja de subir entradas que no se leen y solo precarga las que producen divisiones anteriores. La caché de MoE puede calcular en la CPU una parte de los fallos de caché y copiar los resultados de vuelta de forma asíncrona.

En CUDA llegan MMQ para pocas filas (tamaños de lote de 2 a 24), MMVF para BF16, soporte de OCP FP8, matmuls fusionados de NVFP4 con GLU y nuevas configuraciones de FlashAttention. Metal fusiona el enrutado de MoE y mantiene grupos de nodos fusionables en un único command buffer. Vulkan incorpora un kernel de FlashAttention para prefill en Intel, copias de tensores por lotes y detección de ReBAR.

El resto de backends también recibe cambios: SYCL estrena un planificador de MoE en el dispositivo, OpenCL una FlashAttention descompuesta para Adreno, WebGPU kernels como GROUP_NORM y MEAN, y Hexagon soporte de Q5_0/Q5_1 y conv_3d. En CPU se añaden kernels para SpacemiT (RISC-V) y para ARM NEON, y se acumula la V de FlashAttention en F32.

En Hacker News

«Ggml v1.0.0» · puesto 14 · 383 puntos · enviado por cobychapple

Lo que dicen los comentarios

La conversación es sobre todo de agradecimiento y de experiencias de uso. Varios usuarios destacan que cada actualización de llama.cpp y ggml suele traer mejoras de velocidad sobre el mismo hardware, y uno lo mide con su propio benchmark. Otro matiza que los motores de inferencia especializados, con kernels hechos para cada hardware, dan bastante más velocidad, aunque llama.cpp sigue siendo una opción sólida y muy versátil. También se comenta el soporte de arquitecturas poco habituales (RISC-V, s390x con zdnn en mainframes IBM) y que el código es lo bastante pequeño como para leerlo. Una pregunta queda sin respuesta: si la 1.0 implica un compromiso de estabilidad de la API en C.

  • Lo más impresionante es que siguen encontrando formas de acelerar el código con el mismo hardware. Cada vez que actualizo suele haber un 5-10 % más de velocidad. Mi benchmark, con un prompt de 50K tokens, pasó de 4:22 a 3:59.
    — jacquesm, leer el comentario
  • llama.cpp es un proyecto sobresaliente, pero los motores de inferencia especializados, con kernels hechos para tu hardware, dan mucha más velocidad. Si no tienes tiempo de evaluarlos y quieres algo sólido, llama.cpp es de lo mejor.
    — dust42, leer el comentario
  • Si cargas un modelo MoE que se pasa un poco del presupuesto de memoria de tu GPU, llama.cpp y ggml v1.0.0 pueden guardar en memoria del host los expertos menos usados en lugar de fallar al cargar.
    — thisisauserid, leer el comentario
  • Como mainframer, me encanta ver soporte de s390x y de zdnn. He probado zdnn en un z17: el acelerador integrado de Telum II es sorprendentemente capaz con modelos pequeños, y no hacen falta necesariamente las tarjetas Spyre.
    — retwakm4, leer el comentario
  • Enhorabuena por la 1.0. Me pregunto si viene con un compromiso de estabilidad de la API pública en C; saber que es estable hasta una 2.0 facilitaría mucho construir bindings de Python para llama.cpp.
    — perdy, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.