Los modelos de espacio de estados (SSM) como Mamba se han vuelto una alternativa popular a los Transformers por consumir menos memoria y ofrecer mayor throughput en la generación. Pero la comunidad acumula mucho conocimiento sobre cómo entrenar Transformers y hay muchos modelos preentrenados disponibles. Los autores quieren aprovechar ambas cosas: destilar un modelo basado en Attention en una arquitectura tipo Mamba.
Según el artículo, trabajos anteriores mostraron que una destilación ingenua de Transformer a Mamba no conserva el rendimiento del modelo maestro, una limitación que suele resolverse con soluciones híbridas que combinan bloques de Attention y de SSM. El argumento central de este trabajo es que, dotando a Mamba de una inicialización fundamentada, se obtiene una receta mejor para la destilación entre arquitecturas.
El método tiene dos etapas. Primero se destila el conocimiento de un Transformer tradicional en una versión linealizada de Attention, mediante una adaptación del kernel trick. Después se destila esa versión linealizada en un modelo Mamba adaptado que no usa ningún bloque de Attention.
El Mamba destilado conserva la mayor parte del rendimiento del Transformer Pythia-1B original, con una perplejidad de 14,01 frente a 13,86. Esto se traslada en gran medida a tareas posteriores, aunque aparecen algunas diferencias en las que dependen más del recuerdo en contexto (in-context recall). Los autores hacen ablaciones a escala de 1B con 10B tokens, variando la arquitectura del sequence mixer, además de un análisis de escalado por tamaño de modelo y tokens de destilación y otro de sensibilidad sobre cómo repartir los tokens entre etapas.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.