Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · qlabs.sh

Transformers de un cuatrillón de parámetros y cómo entrenarlos

Q Labs sostiene que los modelos actuales son demasiado pequeños para la cantidad de datos con que se entrenan. Extrapolando una ley de escalado para datos limitados y varias épocas, propone modelos miles de veces mayores que lo que prescribe Chinchilla, combinados con ensembling.

Leer el artículo aquíArtículo original (qlabs.sh) 49 comentarios en Hacker News

Escucha la noticia2 min

El artículo parte de la brecha de eficiencia de muestras entre la IA y los humanos, que cifra en 1.000.000x. Según sus cuentas, Chinchilla prescribe para 30T tokens un modelo de unos 1,5T parámetros (20 tokens por parámetro). Un humano tendría unos 100T parámetros, contando cada sinapsis como un peso, y aprendería con unos 200M tokens: un token por cada 500.000 parámetros. De ahí concluyen que las redes actuales se quedan cortas por siete órdenes de magnitud.

Su nuevo paper (Baron et al., 2026) ajusta una ley de escalado única que predice la pérdida a partir de los tokens únicos del dataset, el tamaño del modelo, las épocas y el número de miembros del ensemble. Amplía las leyes existentes para datos limitados con un término nuevo de ensembling. Con el dataset fijo, el tamaño óptimo del modelo sigue creciendo con el presupuesto de cómputo. Extrapolado a 5T tokens y 10^29 FLOPs, el ensemble tendría más de 300 parámetros por token, unas 7.000 veces la proporción de Chinchilla.

Los autores ajustan también leyes de potencia para los hiperparámetros: el weight decay óptimo crece con rapidez con las épocas y con el tamaño del modelo. Dicen que la ley es casi óptima con 16 veces el cómputo ajustado y a menos de 0,01 nats del óptimo en cada eje probado, mientras que cada heurística previa falla en al menos un eje.

Sobre el ensembling, usan snapshot ensembling (checkpoints de una sola ejecución, con tasa de aprendizaje cíclica en la segunda mitad del entrenamiento, sin coste extra) y deep ensembling (modelos independientes con distintas semillas). Según el artículo, el deep ensembling pasa a ser óptimo cuando el cómputo es grande respecto al dataset, y entonces el número óptimo de miembros crece más o menos linealmente con el cómputo.

En Hacker News

«Quadrillion-parameter transformers and how to train them» · puesto 28 · 60 puntos · enviado por frozenseven

Lo que dicen los comentarios

La discusión se centra en la comparación con los humanos. Un comentario sostiene que los humanos no parten de pesos aleatorios, sino de fuertes sesgos inductivos heredados de la evolución, así que los 200M tokens serían más bien un fine-tuning; otro responde que ese bagaje tendría que caber en el ADN, donde no hay espacio. También se cuestiona la cifra de 200M, porque los sentidos reciben muchísimos más datos. Otro comentario señala que en la práctica el dataset no está fijo y echaría de menos una comparación entre más datos sintéticos, más rollouts de RL o más parámetros, algo que solo un laboratorio puntero podría hacer. El resto son bromas sobre cuatrillones de hormigas y granos de arena, y un enlace al paper.

  • No me parece una comparación justa: los humanos no nacen con pesos aleatorios en una estructura genérica, sino con sesgos inductivos muy fuertes. Los 200M de tokens serían como un fine-tuning sobre un pre-entrenamiento genético de cientos de millones de años.
    — joefourier, leer el comentario
  • Si esos tokens se transmitieran, tendrían que estar codificados en algún sitio, como el ADN. Y en el ADN no hay sitio. Entonces, ¿dónde están?
    — spwa4, leer el comentario
  • La cifra de 200M necesita mucha más justificación: los humanos reciben enormes cantidades de datos por los sentidos, sobre todo por la vista y el tacto.
    — derac, leer el comentario
  • En la práctica el dataset no está fijo. Sería interesante un estudio de ablación sobre dónde asignar el cómputo: más datos sintéticos, más rollouts de RL o más parámetros. Solo un laboratorio puntero podría hacerlo, y no compartirá esa información con sus competidores.
    — TGower, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.