Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · honnibal.dev
El post sobre «Astra lee y escribe pesos para mejorar Qwen» es engañoso
Matthew Honnibal, autor de spaCy, sostiene que el resumen del experimento de Astra sugiere que el modelo mejora Qwen solo mirando los pesos en bruto. Según su tabla, solo tres experimentos con redes diminutas funcionan así; el de Qwen usa código Python y ejecuta el modelo.
Foto: vía honnibal.dev
1 medio · MadridPublicada 3 nov, 14:30Actualizada 3 nov, 22:45· Ya no está en portadaEscrita por IA · cómo funciona
Honnibal compara el post original con un mago que repite el mismo truco de varias formas: cada versión parece desmentir la hipótesis anterior del público sobre cómo funciona. El resumen del post dice que GPT-6 Astra sabe qué hace una red «solo mirando los pesos en bruto» y que, al pedirle mejorar Qwen3.5-0.8B en matemáticas sin gradientes, corrige el 0,016 % de los pesos y sube MATH-500 del 7,9 % al 48,1 %. Según Honnibal, el lector asume que todo se hizo del mismo modo.
Su tabla de nueve experimentos muestra otra cosa. El ajuste «solo con pesos en bruto» (floats en contexto, sin herramientas, sin ejecutar la red) aparece únicamente en los experimentos 1, 2 y 4, con redes de entre 17.000 y 172.000 pesos. Todos los experimentos con un modelo de lenguaje real usan Python, y el de Qwen, el titular, además ejecuta el modelo sobre hasta 50 lotes de problemas de práctica. Los intentos con Gemma 3 270M, en cambio, fracasaron o solo funcionaron viendo patrones de atención.
Para Honnibal, lo que demuestra el caso de Qwen es que Astra puede idear y ejecutar tareas que haría un ingeniero de ML humano, algo que no es poco y que los modelos de hace uno o dos años no habrían logrado. Pero no cree que esos experimentos deban ir en el mismo post que los de lectura directa de pesos. Una sola técnica que sirviera para escribir pesos de un juego desde cero y para mejorar un modelo grande implicaría una capacidad profunda, y aquí no es una sola técnica.
«The 'Astra can read and write weights to improve Qwen' post is misleading» · puesto 2 · 952 puntos · enviado por syllogism
Lo que dicen los comentarios
Buena parte de los comentarios da la razón al autor. Varios con experiencia en interpretabilidad dicen que el resultado de Qwen es una técnica estándar (vectores de dirección, análisis contrastivo, proyectar una dirección fuera del modelo) y que solo elimina bucles de razonamiento, no añade capacidad matemática. Otros sostienen que el post original sí explicaba todo y que el engaño está en el título, el resumen y la reacción en redes. Un tercer grupo sigue viendo prometedor el enfoque, por ejemplo para entrenar a los modelos en «programación en el espacio de pesos», y un usuario cuenta que le ha servido para avanzar con su propio modelo.
Trabajo en interpretabilidad mecanicista y coincido: el post original es engañoso. El resultado clave no mejora las matemáticas, solo reduce bucles de razonamiento, y crear ese vector de dirección es el proyecto típico de introducción a la interpretabilidad.
Los comentarios sobre el paper muestran que la gente se ha confundido: cree que el método leyó los pesos de Qwen directamente. Lo que hizo fue escribir un programa que analizaba y corregía los pesos.
Pensaba que me estaba volviendo loco: parecía que los LLM tenían una introspección trascendental de sus pesos. Pero la traza de Kimi 3.1 con los pesos de Breakout es ingeniería inversa corriente, como la de un humano, solo que mucho más rápida.
Tras semanas de entrenamiento tradicional, el artículo criticado me dio la idea de que un LLM mayor modificara los pesos directamente. En doce horas he avanzado más que en dos semanas.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.