Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · arxiv.org

Demostrar y mejorar la Platonic Representation Hypothesis con JEPAs

Un artículo de arXiv convierte en teorema la Platonic Representation Hypothesis: los JEPAs entrenados por separado en distintas modalidades aprenden la misma representación salvo una rotación, si sus pares positivos son buenas vistas. Según los autores, predecir el siguiente token es una vía muy ineficiente hacia ese resultado.

Leer el artículo aquíArtículo original (arxiv.org) 78 comentarios en Hacker News

Escucha la noticia3 min

La Platonic Representation Hypothesis (PRH) sostiene que los modelos entrenados con modalidades distintas convergen hacia la misma representación del mundo a medida que escalan. Los autores sostienen que, sin demostración, la hipótesis no ofrece ni garantía ni receta, y la formulan como un «Platonic Representation Theorem»: los Joint-Embedding Predictive Architectures (JEPAs) entrenados por separado en cualquier número de modalidades aprenden la misma representación salvo una rotación, siempre que sus pares positivos sean dos observaciones de una misma escena (las «good views») y que el desajuste fuera de ese caso esté acotado.

Después sostienen que la predicción del siguiente token es un JEPA con «bad views», es decir, con fragmentos de un único documento. Eso explicaría por qué los modelos de lenguaje solo se alinean con la visión a través de la escala. La teoría se valida con datos que van desde 145.000 descripciones de imágenes hasta los textos de 940 millones de imágenes web, y los autores identifican una ley de escala del alineamiento que predice ejecuciones no vistas dentro del ruido entre semillas.

Entre los resultados, las good views necesitan 42 veces menos muestras de entrenamiento que la predicción del siguiente token sobre el mismo corpus para alcanzar el mismo alineamiento. Un JEPA de texto de 109M de parámetros se alinea con los codificadores de imagen de DINOv2 y CLIP mejor que todos los modelos de lenguaje evaluados, de hasta 72B, y mejor que el codificador de texto de CLIP.

Como demostración, una sola rotación convierte codificadores entrenados por separado en un generador de descripciones de imágenes (CIDEr 0,838 en COCO). Incluso sin pares, el JEPA de texto supera a todos los resultados zero-shot publicados con modelos de lenguaje de hasta 8B: 64 % frente a un máximo de 56 % de top-5 en ImageNet-100. Los autores concluyen que las vistas positivas, y no solo la escala, son la palanca para construir representaciones platónicas.

En Hacker News

«Proving and improving the Platonic Representation Hypothesis with JEPAs» · puesto 29 · 156 puntos · enviado por Anon84

Lo que dicen los comentarios

Los comentarios dudan del alcance del título. Hay quien ve la PRH como menos profunda de lo que suena, equivalente a hablar de representaciones comprimidas de datos, y quien afirma que el artículo no demuestra la hipótesis original, que a su juicio abarcaría también las mentes humanas, aunque reconoce que las mejoras de eficiencia de entrenamiento merecen lectura. Otro comentario pregunta en qué dominios se pueden conseguir «good views» a una escala comparable a la de la web no estructurada. La demo, cuyos ejemplos se consideran erróneos, recibe una réplica: el método no usa ningún dato emparejado, así que sus resultados son malos en términos absolutos pero buenos para ese handicap. Aparecen además divagaciones sobre «primos» conceptuales y una anécdota sobre coincidencias entre el título del artículo y una conversación con Claude.

  • Suena menos profundo si, en lugar de hablar de «representaciones del mundo», se habla de representaciones comprimidas de los datos o de fronteras de decisión en un clasificador sobre esos datos.
    — jebarker, leer el comentario
  • La pregunta de fondo es en qué dominios podemos preentrenar con «good views». Parte de la magia de predecir el siguiente token es que extrae inteligencia del corpus web sin estructura. ¿Puede JEPA formar un conjunto de good views a esa escala?
    — theptip, leer el comentario
  • Es clickbait: no demuestran nada parecido a la platonic representation hypothesis. Sí parecen tener mejoras muy interesantes de eficiencia de entrenamiento, y el artículo al menos merece una lectura.
    — vessenes, leer el comentario
  • Su método usa dos modelos entrenados por separado con imágenes y con descripciones, y convierte imágenes en descripciones sin haber visto nunca una imagen descrita. Los resultados son malos en términos absolutos, pero sorprendentemente buenos dado el handicap de no tener datos emparejados.
    — yorwba, leer el comentario
  • Los resultados están en las matemáticas. Da igual la terminología: usar otra no te dará nada materialmente útil, salvo una intuición.
    — kooi, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.