Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · nathan.rs
¿Puede un programa lineal hacer «programación en el espacio de pesos»?
Un análisis responde al reciente artículo del MIT CSAIL sobre «weight-space programming»: la edición de pesos con la que GPT-6 Astra mejoró a Qwen3.5-0.8B en matemáticas equivale a un programa lineal. Dos resoluciones de LP, de un minuto cada una, logran lo mismo con 8 veces menos pesos modificados.
1 medio · MadridPublicada 11 nov, 14:05Actualizada 11 nov, 18:25· Ya no está en portadaEscrita por IA · cómo funciona
Según el artículo, el MIT CSAIL publicó «Sparks of Weight-Space Programming», donde GPT-6 Astra editó los pesos de Qwen3.5-0.8B y subió su precisión en MATH-500 del 7,9 % al 48,1 % cambiando solo el 0,016 % de los pesos. El arreglo ataca un fallo típico de los modelos de razonamiento pequeños: los bucles de pensamiento. En MATH-500, el 93 % de las respuestas del modelo base agotaba el límite de 32.768 tokens sin llegar a una respuesta. Al corregir los bucles también mejora IFEval, del 21 % al 62 %.
La edición de Astra funciona sobre el residual stream. Astra calculó una «dirección de bucle» u, la diferencia normalizada entre las activaciones medias de textos que entran en bucle y de textos productivos, y modificó las columnas de down_proj de las capas 15 y 19 para restar o invertir su componente a lo largo de u. Es un cambio de rango 1, ΔW = u·vᵀ, y solo queda elegir v: qué columnas tocar y con qué intensidad α. Astra lo resolvió por ensayo y error, unas 8 horas y 28 forward passes, y acabó con α = 6 sobre las 64 columnas por capa que más escribían en u en texto con bucles.
El autor plantea esa elección como un programa lineal: buscar el v de menor norma L1 que empuje los tokens en bucle al menos δ lejos de u y mueva los productivos como mucho ε, con variables de holgura penalizadas. La norma L1 tiende a producir soluciones dispersas, así que el LP escoge también las columnas. Como el solver HiGHS tardaba más de 20 minutos por resolución, escribió un solver en GPU (PDHG, el algoritmo de PDLP) que se acerca al 0,2 % del óptimo en un minuto.
Con la dirección de Astra y solo 8 columnas por capa (16.291 pesos frente a 130.188), el LP iguala la edición de Astra dentro del ruido: 69,6 en GSM8K, 51,7 en MATH-500 y 59,7 en IFEval, frente a 68,2, 50,9 y 61,9. Con una dirección heurística, sin LLM, llega a cerca del 93 % del efecto. Las columnas elegidas coinciden poco con las de Astra, y una dirección aleatoria no hace nada. Además, las 8 columnas de la capa 15 están activas en el 89 % de los tokens y el empuje apenas varía, de modo que la edición se parece a un steering vector constante, que el autor prueba añadiendo el empuje medio al modelo sin editar.
«Can a Linear Program Do Weight-Space Programming?» · puesto 30 · 285 puntos · enviado por emschwartz
Lo que dicen los comentarios
Buena parte de la conversación matiza qué demuestra el análisis. Hay quien sostiene que no es tanto que un LP sustituya a Astra como que, con una intención expresada como restricciones lineales, el solver es más eficiente que el ensayo y error, y que Astra podría usarlo como herramienta. Otros piensan que los titulares iniciales sobre modelos que leen y manipulan pesos directamente exageraban, y que lo ocurrido es más bien investigación de entrenamiento con pequeños experimentos; un contrarréplica compara eso con negar que uno guarde un archivo porque no edita los bits del disco. También se pregunta qué diferencia hay entre weight-space programming y la retropropagación (respuesta: no tiene definición establecida, pero implica cambiar pesos con forward passes, sin derivadas), si Astra podría editarse a sí mismo, y se comparan los resultados con técnicas conocidas de eliminación de la dirección de rechazo en modelos.
No es tanto que un LP pueda hacer el trabajo de Astra: con orientación expresada como restricciones lineales, el solver es mucho más eficiente que el ensayo y error. Astra podría usarlo y luego iterar sobre esa solución.
Los titulares iniciales hacían pensar que los modelos de frontera leían y manipulaban pesos directamente, algo improbable porque se entrenan con tokens. Esto sugiere que Astra hizo investigación de entrenamiento con experimentos pequeños y halló una buena edición.
Parece partir un pelo: ¿Astra no editó los pesos, sino que ideó un método para editarlos? Es como decir que no guardo un archivo porque no edito yo los bits del disco.
Weight-space programming aún no tiene una definición establecida, pero implicaría cambiar pesos con un modelo entrenado mediante forward passes, sin necesidad de derivadas.
La edición consiste en hallar una dirección semántica del comportamiento indeseado y alejarse de ella. Con acceso a los pesos, no veo razón para que un modelo, incluso uno tan grande como Astra, no lo aplique a sí mismo.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.