Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · lacuna.tiptreesystems.com

bf16 podría estar congelando las actualizaciones de tus pesos

Un análisis muestra que, al ajustar un modelo con pesos en bf16 y AdamW sin copia maestra en fp32, solo cambian los pesos más pequeños. El autor lo comprueba en Quiet-STaR y concluye que el entrenamiento publicado funciona, en la práctica, como un fine-tuning disperso.

Foto: vía lacuna.tiptreesystems.com

Leer el artículo aquíArtículo original (lacuna.tiptreesystems.com) 2 comentarios en Hacker News

Escucha la noticia3 min

Según el artículo, bf16 solo puede representar un cambio en un peso si este es al menos del orden de 1/512 del propio peso. Con tasas de aprendizaje pequeñas, solo los pesos de menor magnitud se actualizan y el resto queda congelado. El umbral depende de la tasa de aprendizaje: con lr 1e-6, el corte está en torno a 2⁻¹¹ ≈ 4,88e-4. El autor afirma haber encontrado media docena de artículos revisados por pares, con miles de citas, que entrenan así sin mencionar este comportamiento.

El texto añade que, sin copia maestra en fp32, AdamW tiene otros dos problemas: el weight decay no tiene efecto, porque se redondea a cero en cada paso, y el segundo momento de Adam se congela. El autor aclara que son problemas conocidos (cita Collage, de ICML 2024, y otros trabajos) y que lo que explora es cómo afectan al proceso de entrenamiento.

Para comprobarlo, compara el checkpoint publicado de Quiet-STaR (ezelikman/quietstar-8-ahead) con el Mistral-7B-v0.1 del que parte. Cambió el 5,4 % de los 7.240 millones de pesos; por encima de 5,12e-4 solo cambiaron 110 de unos 6.200 millones. Por debajo del umbral cambió cerca del 40 %, y la mitad de ellos se movió más de 16 huecos de bf16. Las dos incrustaciones de los tokens de pensamiento sí entrenaron porque el código las guarda divididas entre 100, lo que equivale a una tasa de aprendizaje efectiva 100 veces mayor.

Después repite la receta tal cual (Mistral-7B en bf16, AdamW fusionado, lr 1e-6, 100 pasos) junto con dos versiones corregidas. En la ejecución bf16, entre el 97 % y el 99,7 % de las actualizaciones propuestas en cada paso se redondeó a cero. Con la métrica del propio artículo, la receta bf16 mejora en GSM8K (de 4,96 a 7,75) y en CommonsenseQA (de 35,72 a 44,25). Las dos versiones corregidas se rompen: la «sombra», con los mismos gradientes y AdamW correcto, acaba respondiendo todo con un salto de línea, y la de fp32 maestro empeora. El autor dice que con un optimizador de mayor precisión hace falta una tasa de aprendizaje de 3 a 10 veces menor para igualar el resultado, y que no logró uno mejor. Código y registros están en mweiss17/quietstar-bf16-adamw.

En Hacker News

«Bf16 might be freezing your weight updates» · puesto 15 · 8 puntos · enviado por martincsweiss

Lo que dicen los comentarios

La conversación es mínima: solo hay dos comentarios. Uno, de alguien con experiencia, recuerda que mantener una copia de los pesos en fp32 es una práctica antigua precisamente por este motivo, y que el problema ya se conocía con fp16. El otro es el propio autor, que reproduce el texto inicial del artículo.

  • Hay una razón por la que se conserva una copia de los pesos en fp32. Este problema se reconoció hace una década, cuando empezamos a entrenar con fp16.
    — ekelsen, leer el comentario
  • Con pesos en bf16 y AdamW escribiendo directamente en ellos, solo se actualizan los pesos más pequeños: es un fine-tuner disperso. Hay media docena de artículos con miles de citas que entrenan así sin mencionarlo.
    — martincsweiss, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.