Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · research.google
Sleep framework: una nueva forma de que los LLM retengan conocimiento en aprendizaje continuo
Google Research propone alternar una fase activa, en la que el modelo interactúa, con una fase de «sueño» en la que consolida el contexto a corto plazo en sus parámetros. Según los autores, así se reduce el olvido catastrófico y el modelo aprende hechos nuevos, retiene contexto de hasta 10M de tokens y mejora su razonamiento.
Foto: vía research.google
1 medio · MadridPublicada 30 oct, 20:45Actualizada 31 oct, 10:00· Ya no está en portadaEscrita por IA · cómo funciona
Los LLM actuales quedan estáticos tras el despliegue, con una fecha de corte de conocimiento fija. Actualizar sus parámetros con datos nuevos suele provocar olvido catastrófico, y depender solo del aprendizaje en contexto (ICL) limita lo retenido a la ventana de contexto de la sesión. Los autores plantean un ciclo periódico inspirado en cómo el cerebro estabiliza la memoria durante el descanso: una fase activa («wake») y una fase de sueño sin entradas nuevas, dedicada a consolidar memoria y a automejorarse.
La consolidación funciona así: durante el sueño, el modelo activa bloques de memoria preasignados de Mixture-of-Experts (con la arquitectura Hope) y transfiere a ellos, mediante destilación (Generalized Knowledge Distillation más imitación basada en RL), los recuerdos frágiles de las capas de alta frecuencia, como la memoria en contexto. Después se reinician los parámetros temporales para liberar capacidad. Los autores subrayan que todo ocurre dentro de una arquitectura fija y con reglas de entrenamiento definidas por humanos.
La fase de «dreaming» genera ejemplos sintéticos activando expertos de forma aleatoria, los filtra con selección de datos basada en gradientes y afina el modelo con los mejor valorados mediante supervisión y RL. El artículo añade un análisis teórico que presenta la consolidación como compresión de bajo rango y los sueños como una forma de diversificar las direcciones de gradiente.
Los resultados que citan: casi cero degradación en traducción continua a idiomas no vistos como manchú y kalamang, frente al olvido severo de ICL, Cartridges y SFT; escalado casi perfecto hasta 10M de tokens en BABILong, por delante de GPT-4 y Titans; 48,9 % (tarea única) y 46,2 % (CPT) en incorporación de hechos con SQuAD, por encima de SFT y SEAL; y 79,2 %, 69,0 % y 46,1 % en AIME 24, AIME 25 y HMMT 25, superando a SFT, GRPO y OPSD.
«Sleep framework: A new way for LLMs to retain knowledge in continual learning» · puesto 29 · 226 puntos · enviado por acossta
Lo que dicen los comentarios
La conversación es corta y bastante dispersa. Un usuario cuenta que su equipo construyó un sistema distinto de destilación entre sesiones y subraya que, en entornos empresariales, la auditoría (saber cuándo y quién cambió algo) es difícil si el aprendizaje ocurre en los pesos. Otros intentan aclarar el mecanismo técnico y señalan que los experimentos se hicieron con modelos pequeños (Llama 3B y 8B, Qwen 3), con dudas sobre si escalaría a modelos gigantes y sin comparación con RLHF. También hay comentarios sobre la capacidad como posible factor limitante, sobre erratas en el preprint y, al final, algo de inquietud por las implicaciones de acercarse a la AGI y por el empleo.
Los requisitos de auditoría son el problema real para los clientes: hay que poder preguntar «¿cuándo cambió esto y quién lo cambió?», y eso es difícil de responder desde la capa más baja del modelo si no conservas el linaje de las sesiones originales.
Más o menos. Al interactuar con el modelo se acumulan recuerdos a corto plazo en una especie de búfer; durante el «sueño» se puntúan y lo útil se integra en los pesos, en lugar de añadir sin más todo el recuerdo.
Me pregunto cómo funcionaría con un modelo mucho más grande: los experimentos usan modelos diminutos. Quizá sea fácil mejorar Llama-3B y Llama 3-8B porque no son muy buenos. Querría ver una comparación con un grupo de control de RLHF.
Sobre la expansión de parámetros, que da capacidad para escribir los recuerdos sin sobrescribir lo ya consolidado: parece el factor limitante, según la eficiencia que tenga.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.