Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · operator0x.com

Qué aspecto tienen miles de conversaciones dentro de un modelo de lenguaje

Un autor ha construido un atlas interactivo de las representaciones internas de Qwen3-1.7B a partir de cientos de conversaciones en inglés, chino, alemán y croata, más ejemplos de código. Proyecta los estados del modelo en 3D y observa cómo se agrupan según el idioma y el tipo de texto.

Foto: vía operator0x.com

Leer el artículo aquíArtículo original (operator0x.com) 29 comentarios en Hacker News

Escucha la noticia2 min

El autor registra los vectores del residual stream, el espacio de trabajo central del modelo, que en Qwen3-1.7B tiene 2.048 números por posición. Partió de 100 temas y generó ejemplos de pregunta y respuesta en cuatro idiomas, además de una colección aparte de ejemplos de programación. Para dibujarlos usa PCA con un marco global que incluye los 151.936 embeddings del vocabulario y las medias de 3.690 conversaciones.

Con 900 ejemplos en inglés, los estados finales de los tokens parecían ocupar una lámina fina: un plano ajustado contenía aproximadamente el 99,3 % de su variación dentro de esa proyección 3D. El autor advierte de que no conviene tomarlo como prueba de que el modelo haya comprimido las conversaciones en una superficie simple.

Al añadir chino, sus estados aparecen en una región vecina pero claramente desplazada respecto al inglés. Alemán y croata, ambos en alfabeto latino, ocupan una zona amplia que se solapa con la del inglés. El autor subraya que idioma, escritura, tokenización, redacción y calidad de las respuestas cambian a la vez, así que la geometría no permite separar causas. Además, las respuestas en croata tienen muchos más tokens, lo que agranda visualmente su región sin que eso signifique más conocimiento.

Con 90 ejemplos de Python, el código queda en el mismo vecindario general que el inglés y el resto de idiomas con alfabeto latino. Sin embargo, una comparación sencilla de distancias entre medias proyectadas lo sitúa más cerca del croata y del alemán que del inglés. Por último, el autor prueba un Conversation PCA, que elige las direcciones usando solo las medias de las conversaciones y proyecta en ese nuevo marco los mismos estados guardados.

En Hacker News

«What thousands of conversations look like inside a language model» · puesto 29 · 106 puntos · enviado por josip208

Lo que dicen los comentarios

Buena parte de los comentarios critica la metodología: se considera poco explicada y se echa en falta qué hace el PCA, por qué se usa y qué significa el «plano» tras reducir dimensiones. Varios proponen alternativas como UMAP o t-SNE, y alguien señala que incluir los embeddings del vocabulario en el PCA aplasta las conversaciones en un plano. Otros objetan que se miran solo los estados de la última capa, donde era esperable que el chino y el latino se separaran, y piden ver las capas intermedias o las trayectorias de las traducciones. También se pide más variedad de idiomas, como árabe, urdu, farsi o hindi. Hay quien opina que no hay conclusiones de fondo, y otro afirma que el propio texto está generado por IA. Un usuario comparte su experiencia con mapas de reseñas de Steam hechos con embeddings de Qwen, donde la longitud del texto pesaba más que su contenido.

  • La metodología parece o muy poco trabajada, hasta el punto de inducir a error, o muy poco explicada. ¿Por qué 3D? ¿En qué momento se redujo la dimensionalidad? Y si se hizo, ¿significa algo realmente ese «plano»?
    — Scene_Cast2, leer el comentario
  • ¿Este análisis de la última capa no dice básicamente que tras muchos tokens chinos llega un token chino y tras tokens latinos, uno latino? Es lo esperable. Me interesaría ver cómo son las traducciones en las capas intermedias.
    — supermatt, leer el comentario
  • Los embeddings crudos de los tokens no deberían haberse incluido en el PCA más allá de los primeros gráficos. Al ser disjuntos de las conversaciones, se pierde una dimensión y todo queda comprimido en un plano.
    — slickytail, leer el comentario
  • Aprendí este año que el mapeo ingenuo de textos, con embeddings de Qwen y UMAP, compara sobre todo la longitud del texto: lo que dice una reseña afecta a la posición menos que lo larga que es.
    — netruk44, leer el comentario
  • La escritura árabe se usa en varios idiomas no árabes, como urdu y farsi. Sería interesante ver si sus proyecciones se parecen entre sí como grupo, y comparar hindi con urdu, que son lenguas muy próximas.
    — mcswell, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.