El código, en deepseek_v3.py, reúne las ideas centrales del informe: Multi-head Latent Attention (MLA), que guarda en caché un latente pequeño por token (de 480 a 144 números por token y capa en este caso); RoPE desacoplado; DeepSeekMoE, con un experto compartido y 16 enrutados, de los que se eligen 4 por token; balanceo sin pérdida auxiliar mediante un sesgo por experto; la pérdida complementaria de balance por secuencia (α = 1e-4); y predicción de varios tokens (MTP) con λ = 0,3. Los parámetros son simples diccionarios de arrays y cada parte del modelo es una función legible. El entrenamiento usa cálculo en bf16 sobre pesos maestros en f32, y la generación hace prefill y decode con la caché MLA.
El modelo tiene 36,2 M de parámetros, 13,6 M activos por token. Se entrenó con 207 libros (21,7 M de tokens, con Hammett repetido tres veces) durante 12.000 steps, unos 98 M de tokens y 2,6 horas, en un MacBook Air M5 de 24 GB, a unos 10,7k tokens por segundo. La pérdida de validación pasó de 5,02 (step 250) a 3,51. Como muestra, a partir de «The fog came in off the» genera: «The fog came in off the bay, and the great trees were spreading and the stars were shining.»
En el experimento de balanceo, a los 2.000 steps la carga por experto con sesgo iba del 5,7 % al 6,9 % (lo uniforme es 6,25 %), y sin él, del 0,09 % al 18,6 %. La pérdida de validación fue prácticamente la misma (3,921 frente a 3,923), lo que el autor presenta como confirmación de lo que afirma el artículo de DeepSeek.
El repositorio incluye 39 tests, scripts para preparar datos, entrenar, muestrear y dibujar las figuras, y el checkpoint publicado (pickle de 138 MB, con la advertencia de cargarlo solo de fuentes de confianza). Requiere un Mac con Apple Silicon, Python 3.12 y uv, aunque hay una configuración pequeña para CPU. Simplifica varias cosas: todos los expertos se ejecutan sobre todos los tokens y se anulan los no elegidos, no hay absorción de pesos en MLA y faltan FP8, DualPipe, el enrutado limitado por nodos, YaRN y cualquier post-entrenamiento. El código es MIT y los textos son de dominio público en EE. UU.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.