Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · arxiv.org
Attention Is Not What You Need
Un artículo de arXiv propone sustituir la autoatención de los Transformers por una capa causal basada en flujos de Grassmann. En modelos pequeños queda a un 10-15 % de la perplejidad de un Transformer equivalente. Los comentarios dudan de que la idea escale.
1 medio · MadridPublicada 26 oct, 02:05Actualizada 26 oct, 17:25· Ya no está en portadaEscrita por IA · cómo funciona
Los autores plantean si la autoatención explícita es realmente necesaria para modelar secuencias. Sostienen que la atención multi-head es una forma de «tensor lifting»: los vectores ocultos pasan a un espacio de alta dimensión de interacciones por pares y el aprendizaje consiste en restringir ese tensor mediante descenso de gradiente. Es muy expresiva, dicen, pero matemáticamente opaca, porque tras muchas capas cuesta describir el modelo con una familia pequeña de invariantes explícitos.
Como alternativa proponen una arquitectura sin atención basada en flujos de Grassmann. Su capa Causal Grassmann reduce linealmente los estados de los tokens, codifica pares locales de tokens como subespacios bidimensionales de una variedad de Grassmann mediante coordenadas de Plücker, y devuelve esas características geométricas a los estados ocultos con una mezcla con puertas (gated mixing). La información se propaga así por deformaciones controladas de subespacios de bajo rango en ventanas locales de varias escalas, en una variedad de dimensión finita y no en un espacio tensorial sin estructura.
En Wikitext-2, modelos puramente Grassmann de 13 a 18 millones de parámetros logran perplejidades de validación a un 10-15 % de las de Transformers del mismo tamaño. En la tarea de inferencia SNLI, una cabeza Grassmann-Plücker sobre DistilBERT supera ligeramente a una cabeza Transformer: 0,8550 de precisión en validación y 0,8538 en test, frente a 0,8545 y 0,8511.
Los autores analizan la complejidad de la mezcla Grassmann, que escala linealmente con la longitud de la secuencia para un rango fijo, y defienden que los diseños basados en variedades ofrecen un camino más estructurado hacia interpretaciones geométricas y basadas en invariantes del razonamiento de las redes neuronales.
«Attention Is Not What You Need (2025)» · puesto 29 · 176 puntos · enviado por westurner
Lo que dicen los comentarios
Buena parte de los comentarios cuestiona el alcance de la prueba: un modelo de 18 millones de parámetros sobre un conjunto de datos antiguo demuestra poco, porque muchas ideas flojas funcionan a escala pequeña y lo decisivo de los Transformers es que permiten entrenar modelos enormes. Otros recuerdan que escalar cómputo, datos y parámetros pesa más que la arquitectura concreta y mencionan la «bitter lesson», aunque se señala que la arquitectura importa cuando hay límites de tiempo y cómputo, y que modelos recientes como Qwen 3.5 ya combinan capas de atención lineal con algunas de atención completa. En lo técnico, un comentarista comparte la idea de fondo pero ve exagerada la tesis: el subespacio de Grassmann conserva la orientación y descarta la base del mapa lineal, de modo que se cambia información por menor rango, con dudas sobre el coste en MACs y los datos necesarios para entrenar. Otro creyó ver una fuga de información por emparejar cada token con uno posterior, y se le respondió que el emparejamiento es causal y que solo se usan posiciones a la derecha. Hay también bromas sobre los títulos del tipo «X is all you need» y sobre la notación matemática.
Comparto el planteamiento, pero la afirmación es demasiado fuerte. La Grassmanniana solo conserva la orientación del subespacio y se pierde información sobre el mapa lineal real. Es un intercambio: información por una representación de menor rango.
Solo demuestran la idea en un problema de juguete ridículamente pequeño. Un modelo de 18M de parámetros sobre un dataset antiguo no prueba nada: hay muchas malas ideas que parecen funcionar a escala trivial.
En Qwen 3.5, el 75 % de las capas son de atención lineal. La teoría es que la atención lineal suele bastar, pero algunas capas de atención normal ayudan con relaciones de largo alcance más sofisticadas.
No lo leo así: para cada posición t y desplazamiento Δ se forma el par (z_t, z_t+Δ). El emparejamiento es causal, solo se une t con posiciones a su derecha, acorde con el modelado de izquierda a derecha.
Cómputo, datos y parámetros son los tres valores logarítmicos que se corresponden con el rendimiento. Si mejoras la eficiencia del entrenamiento, tienes más cómputo efectivo y entrenas modelos más listos con los mismos datos y parámetros.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.