Según el artículo, bf16 solo puede representar un cambio en un peso si este es al menos del orden de 1/512 del propio peso. Con tasas de aprendizaje pequeñas, solo los pesos de menor magnitud se actualizan y el resto queda congelado. El umbral depende de la tasa de aprendizaje: con lr 1e-6, el corte está en torno a 2⁻¹¹ ≈ 4,88e-4. El autor afirma haber encontrado media docena de artículos revisados por pares, con miles de citas, que entrenan así sin mencionar este comportamiento.
El texto añade que, sin copia maestra en fp32, AdamW tiene otros dos problemas: el weight decay no tiene efecto, porque se redondea a cero en cada paso, y el segundo momento de Adam se congela. El autor aclara que son problemas conocidos (cita Collage, de ICML 2024, y otros trabajos) y que lo que explora es cómo afectan al proceso de entrenamiento.
Para comprobarlo, compara el checkpoint publicado de Quiet-STaR (ezelikman/quietstar-8-ahead) con el Mistral-7B-v0.1 del que parte. Cambió el 5,4 % de los 7.240 millones de pesos; por encima de 5,12e-4 solo cambiaron 110 de unos 6.200 millones. Por debajo del umbral cambió cerca del 40 %, y la mitad de ellos se movió más de 16 huecos de bf16. Las dos incrustaciones de los tokens de pensamiento sí entrenaron porque el código las guarda divididas entre 100, lo que equivale a una tasa de aprendizaje efectiva 100 veces mayor.
Después repite la receta tal cual (Mistral-7B en bf16, AdamW fusionado, lr 1e-6, 100 pasos) junto con dos versiones corregidas. En la ejecución bf16, entre el 97 % y el 99,7 % de las actualizaciones propuestas en cada paso se redondeó a cero. Con la métrica del propio artículo, la receta bf16 mejora en GSM8K (de 4,96 a 7,75) y en CommonsenseQA (de 35,72 a 44,25). Las dos versiones corregidas se rompen: la «sombra», con los mismos gradientes y AdamW correcto, acaba respondiendo todo con un salto de línea, y la de fp32 maestro empeora. El autor dice que con un optimizador de mayor precisión hace falta una tasa de aprendizaje de 3 a 10 veces menor para igualar el resultado, y que no logró uno mejor. Código y registros están en mweiss17/quietstar-bf16-adamw.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.