Lunes, 16 de noviembre de 2026
Portada de las 07:40
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · magazine.sebastianraschka.com

Entender los positional embeddings en los LLM modernos

Sebastian Raschka repasa cómo codifican los LLM la posición de cada token, desde los embeddings absolutos aprendidos de GPT-2 hasta RoPE. Lo explica con ejemplos visuales, algo de matemáticas y una implementación pequeña en PyTorch. También mira qué eligen los modelos open-weight de 2026.

Foto: vía magazine.sebastianraschka.com

Leer el artículo aquíArtículo original (magazine.sebastianraschka.com) 27 comentarios en Hacker News

Escucha la noticia2 min

El artículo nace como pieza independiente para una futura entrega sobre tendencias en arquitecturas de LLM. Raschka llevaba tiempo con pendiente un tutorial sobre RoPE (rotary positional embeddings), que muchos lectores le pedían como continuación de los embeddings absolutos aprendidos de GPT. Avisa de que es muy técnico, que sirve de complemento a su libro «Build a Large Language Model (From Scratch)» y que presupone familiaridad con query, key y value en la atención.

Parte de la arquitectura general: el tokenizador convierte el texto en IDs, la capa de embeddings los transforma en vectores, los bloques transformer los modifican con atención y capas feedforward, y la salida produce los logits del siguiente token. Compara GPT-2 con MiniMax-M3. GPT-2 suma un vector de posición a cada embedding antes del primer bloque, mientras que MiniMax-M3 aplica la información posicional en cada bloque mediante RoPE dentro de la atención.

Para justificar por qué hace falta la posición usa dos frases con las mismas palabras, «The red fox jumps over the gray fox» y su versión invertida. Sin codificación posicional ni máscara causal, intercambiar palabras daría los mismos embeddings y puntuaciones de atención. La máscara causal de los modelos tipo GPT aporta algo de orden implícito, y por eso en teoría podrían distinguir ambas frases sin embeddings explícitos (la idea de «NoPE»). Pero no distingue una separación de una posición de una de diez, y ahí las señales explícitas siguen siendo útiles.

En GPT-2, el método explícito consiste en aprender una tabla con un vector por posición, con la misma dimensión que el embedding del token, y sumarlos elemento a elemento. El texto anuncia además una sección final (la 6) sobre las opciones posicionales de las arquitecturas modernas, agrupadas en una figura según el tipo de codificación que usan los modelos de 2026.

En Hacker News

«Understanding Positional Embeddings in Modern LLMs» · puesto 10 · 241 puntos · enviado por vismit2000

Lo que dicen los comentarios

Con pocos comentarios por ahora, la conversación gira en torno a cuánta teoría hace falta. El comentario más votado sostiene que, para entender de verdad los positional embeddings, hay que verlos como representaciones de grupos: RoPE correspondería al grupo de traslaciones, y otros grupos darían embeddings para otros dominios. Una respuesta replica que ese no es el público del blog y recuerda que la posición también puede resolverse de forma estructural, como en NoPE, sin representaciones explícitas. Otro usuario pregunta si las representaciones de espín que aparecen en la física servirían para entradas 2D o 3D en LLM.

  • El artículo solo trata de la implementación, pero para entender los positional embeddings hay que entender la teoría: son representaciones de grupos. RoPE, por ejemplo, es una representación del grupo de traslaciones, con vectores de momento como parámetros aprendibles.
    — programjames, leer el comentario
  • No creo que el público del blog sean estudiantes de álgebra abstracta. Sí convendría añadir que la solución puede ser estructural, como en NoPE: entonces no hacen falta representaciones explícitas y sale sola de la arquitectura.
    — augment_me, leer el comentario
  • A nivel cuántico la naturaleza parece usar representaciones de espín semientero, pero no veo si serían útiles para imágenes 2D o formas 3D como entrada de LLM. ¿Alguna idea?
    — empiricus, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Fuentes

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.