Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com
Llama-modchip: DeepSeek de 284B en 64 GB de RAM, sin GPU
llama-modchip es un conjunto de parches para ggml/llama.cpp que, junto con cuantizaciones propias, permite ejecutar DeepSeek-V4-Flash (284B parámetros, 13B activos) en una CPU con 64 GB de RAM. El autor declara entre 9 y 15 tok/s de generación; los comentarios dudan de la calidad a ese nivel de cuantización.
Foto: vía github.com
1 medio · MadridPublicada 8 nov, 12:35Actualizada 9 nov, 05:25· Ya no está en portadaEscrita por IA · cómo funciona
El proyecto reduce DeepSeek-V4-Flash, un modelo Mixture-of-Experts de 284,33B de parámetros totales y 13,17B activos, de los 76,87 GiB de la cuantización UD-IQ1_S de Unsloth a 56,56 GiB (1,71 bits por peso). Con eso, el modelo y una caché KV de 256K de contexto caben en unos 57,6-58,9 GiB de memoria residente en un Linux con 64 GB, sin swap. Por defecto se evalúan los seis expertos enrutados de cada capa, sin podas.
La velocidad se apoya en parches de kernels para AVX-512 y AVX2 (y variantes para ARM64) que cambian la forma de procesar el prefill: teselado multicolumna por niveles de registro, L1, L2 y L3, FlashAttention con MQA8 y accesos no temporales para que los pesos de los expertos no desalojen la caché KV de L3. En una CPU Zen 5 de 16 núcleos, el prefill pasa de 25,0 a 44,36 tok/s. La generación queda entre 9,1 y 14,7 tok/s según el README.
También incluye un drafter de n-gramas para decodificación especulativa y snapshots de la caché KV en /dev/shm que, según el autor, restauran en 13-33 ms el contexto de un prompt de Claude Code con 40 herramientas. Para modelos de 30B (Nemotron-3.5-30B-A3B, con 3,75 bits por peso) declara entre 25 y 111 tok/s según el hardware, desde un portátil hasta un Threadripper de ocho canales.
Los modelos usan un tipo de tensor propio (GGML_TYPE_Q2_0, ID 40), por lo que llama.cpp, Ollama o LM Studio sin parchear los rechazan. Hay que usar el script ./modchip o el binario precompilado para Linux x86_64 que se distribuye con los modelos en Hugging Face.
«Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU» · puesto 30 · 463 puntos · enviado por joshcsimmons
Lo que dicen los comentarios
La conversación gira sobre todo en torno a la cuantización: varios usuarios señalan que el README no deja claro a cuántos bits va el modelo y que, por debajo de 4 bits, la calidad suele caer mucho; se cita un artículo sobre leyes de escala de fiabilidad en modelos cuantizados, aunque otro comentarista matiza que no cubre el entrenamiento consciente de la cuantización. Otra parte del hilo cuestiona si el repositorio hace algo útil: quien lo ha probado con Nemotron dice que rinde casi igual que llama.cpp salvo en el prefill, y otro usuario no logra cargar DeepSeek con las instrucciones. Se critica además el estilo del README, con emojis y aire de texto generado por un LLM. De fondo se discute si la inferencia local sustituye a los modelos de frontera y cómo el cuello de botella en la revisión de PR de llama.cpp ha multiplicado los forks.
Pregunta tonta, pero ¿este repo generado con IA hace algo? Con Nemotron rinde casi igual que llama.cpp normal en CPU, aunque el prefill parece mucho más rápido. No veo opción de DeepSeek en «modchip setup», así que no lo he probado.
Al cargar su cuantización de DeepSeek con `modchip start` falla con un error de forma del tensor 'blk.0.ffn_gate_tid2eid.weight': se esperaba 4 y se obtuvo 6. Pensaba probarlo en un Xeon de 24 núcleos con 96 GB de DDR4.
La afirmación de arriba es más tajante de lo que demuestra el artículo: solo vale para ciertos algoritmos y modelos, y deja fuera el entrenamiento consciente de la cuantización, que es lo que suelen usar los modelos muy cuantizados.
Reddit está inundado de titulares sin aliento del tipo «xyz tokens/s en mi interruptor de la luz». Siempre son cuantizaciones por debajo de 4 bits por peso. Casi siempre inútiles.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.