Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN

Show HN: DeepSeek V3 en unas 200 líneas de JAX puro

Un repositorio implementa en 190 líneas de JAX la arquitectura del informe técnico de DeepSeek-V3, sin Flax, Equinox ni PyTorch. El modelo, de 36,2 millones de parámetros, se preentrenó desde cero en un MacBook Air con novela policíaca de dominio público. Es una demo de arquitectura, no un modelo potente.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 23 comentarios en Hacker News

Escucha la noticia3 min

El código, en deepseek_v3.py, reúne las ideas centrales del informe: Multi-head Latent Attention (MLA), que guarda en caché un latente pequeño por token (de 480 a 144 números por token y capa en este caso); RoPE desacoplado; DeepSeekMoE, con un experto compartido y 16 enrutados, de los que se eligen 4 por token; balanceo sin pérdida auxiliar mediante un sesgo por experto; la pérdida complementaria de balance por secuencia (α = 1e-4); y predicción de varios tokens (MTP) con λ = 0,3. Los parámetros son simples diccionarios de arrays y cada parte del modelo es una función legible. El entrenamiento usa cálculo en bf16 sobre pesos maestros en f32, y la generación hace prefill y decode con la caché MLA.

El modelo tiene 36,2 M de parámetros, 13,6 M activos por token. Se entrenó con 207 libros (21,7 M de tokens, con Hammett repetido tres veces) durante 12.000 steps, unos 98 M de tokens y 2,6 horas, en un MacBook Air M5 de 24 GB, a unos 10,7k tokens por segundo. La pérdida de validación pasó de 5,02 (step 250) a 3,51. Como muestra, a partir de «The fog came in off the» genera: «The fog came in off the bay, and the great trees were spreading and the stars were shining.»

En el experimento de balanceo, a los 2.000 steps la carga por experto con sesgo iba del 5,7 % al 6,9 % (lo uniforme es 6,25 %), y sin él, del 0,09 % al 18,6 %. La pérdida de validación fue prácticamente la misma (3,921 frente a 3,923), lo que el autor presenta como confirmación de lo que afirma el artículo de DeepSeek.

El repositorio incluye 39 tests, scripts para preparar datos, entrenar, muestrear y dibujar las figuras, y el checkpoint publicado (pickle de 138 MB, con la advertencia de cargarlo solo de fuentes de confianza). Requiere un Mac con Apple Silicon, Python 3.12 y uv, aunque hay una configuración pequeña para CPU. Simplifica varias cosas: todos los expertos se ejecutan sobre todos los tokens y se anulan los no elegidos, no hay absorción de pesos en MLA y faltan FP8, DualPipe, el enrutado limitado por nodos, YaRN y cualquier post-entrenamiento. El código es MIT y los textos son de dominio público en EE. UU.

En Hacker News

«Show HN: DeepSeek V3 in ~200 lines of pure Jax» · puesto 30 · 251 puntos · enviado por VaibhaavTiwari

Lo que dicen los comentarios

El post no tiene aún comentarios, así que no hay debate que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.