Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com

Llama-modchip: DeepSeek de 284B en 64 GB de RAM, sin GPU

llama-modchip es un conjunto de parches para ggml/llama.cpp que, junto con cuantizaciones propias, permite ejecutar DeepSeek-V4-Flash (284B parámetros, 13B activos) en una CPU con 64 GB de RAM. El autor declara entre 9 y 15 tok/s de generación; los comentarios dudan de la calidad a ese nivel de cuantización.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 201 comentarios en Hacker News

Escucha la noticia2 min

El proyecto reduce DeepSeek-V4-Flash, un modelo Mixture-of-Experts de 284,33B de parámetros totales y 13,17B activos, de los 76,87 GiB de la cuantización UD-IQ1_S de Unsloth a 56,56 GiB (1,71 bits por peso). Con eso, el modelo y una caché KV de 256K de contexto caben en unos 57,6-58,9 GiB de memoria residente en un Linux con 64 GB, sin swap. Por defecto se evalúan los seis expertos enrutados de cada capa, sin podas.

La velocidad se apoya en parches de kernels para AVX-512 y AVX2 (y variantes para ARM64) que cambian la forma de procesar el prefill: teselado multicolumna por niveles de registro, L1, L2 y L3, FlashAttention con MQA8 y accesos no temporales para que los pesos de los expertos no desalojen la caché KV de L3. En una CPU Zen 5 de 16 núcleos, el prefill pasa de 25,0 a 44,36 tok/s. La generación queda entre 9,1 y 14,7 tok/s según el README.

También incluye un drafter de n-gramas para decodificación especulativa y snapshots de la caché KV en /dev/shm que, según el autor, restauran en 13-33 ms el contexto de un prompt de Claude Code con 40 herramientas. Para modelos de 30B (Nemotron-3.5-30B-A3B, con 3,75 bits por peso) declara entre 25 y 111 tok/s según el hardware, desde un portátil hasta un Threadripper de ocho canales.

Los modelos usan un tipo de tensor propio (GGML_TYPE_Q2_0, ID 40), por lo que llama.cpp, Ollama o LM Studio sin parchear los rechazan. Hay que usar el script ./modchip o el binario precompilado para Linux x86_64 que se distribuye con los modelos en Hugging Face.

En Hacker News

«Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU» · puesto 30 · 463 puntos · enviado por joshcsimmons

Lo que dicen los comentarios

La conversación gira sobre todo en torno a la cuantización: varios usuarios señalan que el README no deja claro a cuántos bits va el modelo y que, por debajo de 4 bits, la calidad suele caer mucho; se cita un artículo sobre leyes de escala de fiabilidad en modelos cuantizados, aunque otro comentarista matiza que no cubre el entrenamiento consciente de la cuantización. Otra parte del hilo cuestiona si el repositorio hace algo útil: quien lo ha probado con Nemotron dice que rinde casi igual que llama.cpp salvo en el prefill, y otro usuario no logra cargar DeepSeek con las instrucciones. Se critica además el estilo del README, con emojis y aire de texto generado por un LLM. De fondo se discute si la inferencia local sustituye a los modelos de frontera y cómo el cuello de botella en la revisión de PR de llama.cpp ha multiplicado los forks.

  • Pregunta tonta, pero ¿este repo generado con IA hace algo? Con Nemotron rinde casi igual que llama.cpp normal en CPU, aunque el prefill parece mucho más rápido. No veo opción de DeepSeek en «modchip setup», así que no lo he probado.
    — aappleby, leer el comentario
  • Al cargar su cuantización de DeepSeek con `modchip start` falla con un error de forma del tensor 'blk.0.ffn_gate_tid2eid.weight': se esperaba 4 y se obtuvo 6. Pensaba probarlo en un Xeon de 24 núcleos con 96 GB de DDR4.
    — ar-nelson, leer el comentario
  • La afirmación de arriba es más tajante de lo que demuestra el artículo: solo vale para ciertos algoritmos y modelos, y deja fuera el entrenamiento consciente de la cuantización, que es lo que suelen usar los modelos muy cuantizados.
    — Youden, leer el comentario
  • Reddit está inundado de titulares sin aliento del tipo «xyz tokens/s en mi interruptor de la luz». Siempre son cuantizaciones por debajo de 4 bits por peso. Casi siempre inútiles.
    — Tepix, leer el comentario
  • Quitar los emojis no mejoraría mucho la legibilidad de este README: el tufillo a LLM está al máximo. Ojalá la gente escribiera sus README ella misma.
    — epihelix, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.