Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · machinelearning.apple.com

Attention to Mamba: una receta para la destilación entre arquitecturas

Investigadores de Apple proponen un método en dos etapas para destilar un Transformer en un modelo tipo Mamba sin bloques de Attention. El Mamba resultante, a partir de Pythia-1B, alcanza una perplejidad de 14,01 frente a los 13,86 del modelo original. El trabajo busca facilitar la adopción de los SSM aprovechando Transformers ya preentrenados.

Foto: vía machinelearning.apple.com

Leer el artículo aquíArtículo original (machinelearning.apple.com) 5 comentarios en Hacker News

Escucha la noticia2 min

Los modelos de espacio de estados (SSM) como Mamba se han vuelto una alternativa popular a los Transformers por consumir menos memoria y ofrecer mayor throughput en la generación. Pero la comunidad acumula mucho conocimiento sobre cómo entrenar Transformers y hay muchos modelos preentrenados disponibles. Los autores quieren aprovechar ambas cosas: destilar un modelo basado en Attention en una arquitectura tipo Mamba.

Según el artículo, trabajos anteriores mostraron que una destilación ingenua de Transformer a Mamba no conserva el rendimiento del modelo maestro, una limitación que suele resolverse con soluciones híbridas que combinan bloques de Attention y de SSM. El argumento central de este trabajo es que, dotando a Mamba de una inicialización fundamentada, se obtiene una receta mejor para la destilación entre arquitecturas.

El método tiene dos etapas. Primero se destila el conocimiento de un Transformer tradicional en una versión linealizada de Attention, mediante una adaptación del kernel trick. Después se destila esa versión linealizada en un modelo Mamba adaptado que no usa ningún bloque de Attention.

El Mamba destilado conserva la mayor parte del rendimiento del Transformer Pythia-1B original, con una perplejidad de 14,01 frente a 13,86. Esto se traslada en gran medida a tareas posteriores, aunque aparecen algunas diferencias en las que dependen más del recuerdo en contexto (in-context recall). Los autores hacen ablaciones a escala de 1B con 10B tokens, variando la arquitectura del sequence mixer, además de un análisis de escalado por tamaño de modelo y tokens de destilación y otro de sensibilidad sobre cómo repartir los tokens entre etapas.

En Hacker News

«Attention to Mamba: A Recipe for Cross-Architecture Distillation» · puesto 30 · 59 puntos · enviado por zerop

Lo que dicen los comentarios

El post aún no tiene comentarios, así que no hay conversación que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.