Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · alexwang.ai
¿Qué objetivo resuelve el razonamiento?
Alex Wang, investigador en San Francisco, propone ver el razonamiento de los LLM como una búsqueda de caminos en el espacio de tokens. Según su planteamiento, el RL maximiza la probabilidad de encontrar un camino correcto, pero cada cadena de pensamiento por separado no tiene por qué converger a la respuesta.
Foto: vía alexwang.ai
1 medio · MadridPublicada 10 nov, 21:20Actualizada 11 nov, 05:40· Ya no está en portadaEscrita por IA · cómo funciona
El artículo parte de una paradoja: durante el entrenamiento con RL los modelos escriben cadenas de pensamiento más largas y aciertan más, pero si en un modelo ya entrenado se fuerza una cadena a alargarse, la mejora se agota y a veces el resultado empeora, como si «pensara demasiado». Wang se pregunta si lo que ayuda en inferencia es de verdad la longitud de cada cadena.
Su propuesta es tratar cada muestra como un intento de ir desde el prompt x hasta una respuesta correcta, dentro del conjunto S_x de respuestas que un verificador da por buenas. Hay muchos caminos posibles (en la suma de 1 a 10 se puede sumar uno a uno o emparejar extremos) y la probabilidad de éxito es la suma de las probabilidades de todos los caminos que llegan a una respuesta correcta. Esa cifra no distingue entre muchos caminos poco probables y uno solo muy probable.
Hay dos formas de subirla. La primera es muestrear k caminos y quedarse con un acierto (best-of-k): la probabilidad pasa de p a 1-(1-p)^k, de modo que más cómputo ayuda siempre que p sea mayor que cero, pero el escalado es en número de muestras y no en longitud. La segunda es entrenar el modelo con sus propios caminos exitosos, como en el rejection-sampling fine-tuning o STaR.
Wang muestra que el gradiente de REINFORCE con recompensa binaria equivale a un paso de ese fine-tuning, escalado por la tasa de éxito actual. Eso explica por qué las cadenas se alargan en RL: si los caminos que aciertan tienden a ser más largos (por retroceder, recoger más feedback o por suerte), el modelo aprende a escribir más. Además, el RL «amortiza» la búsqueda: se paga durante el entrenamiento y el modelo puede generalizar a prompts nuevos. Las mejoras atribuidas a «pensar más» vendrían, así, de la búsqueda pagada en entrenamiento y no de la inferencia.
«What objective is reasoning solving?» · puesto 29 · 135 puntos · enviado por gmays
Lo que dicen los comentarios
Los comentarios son variados y se centran en cómo encaja la visión del autor con el razonamiento humano. Un usuario compara el razonamiento con el monólogo interno humano, y otro le pide justificar una visión que contradice la del artículo. Se critica que las trazas de los modelos parecen balbuceo, se plantea saltarse el razonamiento mapeando directamente pregunta y respuesta (con referencia a la arquitectura JEPA de LeCun) y se sugiere que un marco epistémico o función ejecutiva serviría más que cadenas más largas. Quien trabaja en RL cuenta que no hace falta activar el razonamiento en todos los rollouts. También hay quien deduce que la autosuperación recursiva no convergería automáticamente hacia más inteligencia.
En nuestro trabajo de RL vemos el razonamiento como una habilidad. No hace falta activarlo en cada rollout: hay rendimientos decrecientes, y entrenar parte de los rollouts sin razonamiento mejora el núcleo cognitivo y reduce los tokens necesarios.
Entiendo que ese es el objetivo, pero al mirar las trazas de razonamiento parecen balbuceo de bebé: el modelo se limita a repetir la pregunta y a sí mismo. No se parece en nada a un tren de pensamiento real.
Me pregunto si lo ideal sería saltarse todos los pasos de razonamiento entrenando un modelo que vaya del «espacio de preguntas» al «espacio de respuestas», quizá con algo tipo difusión que mapee el inicio del camino con el destino.
Ver a mi hijo resolver problemas de mates difíciles me ha llevado a esta idea: en mi cabeza hay un único camino «correcto» y tengo que frenarme para no interrumpirle, cuando él simplemente llega por otra vía.
Entrenar mejores muestras es justo lo que hacen los humanos, que reducimos el espacio de búsqueda con estadísticas de mundo pequeño. Pero los LLM no abordan la búsqueda contextual, y mejorar el muestreo no ayudará mucho.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.