Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · lesswrong.com

Me cuesta creer que la I+D autónoma con IA sea tan ingeniosa

Arjun Panickssery, que ha puesto a un modelo a trabajar en varios proyectos propios, sostiene que su criterio es muy pobre en cuestiones básicas: no distingue las fuentes importantes ni diseña experimentos con valor informativo. Solo ve avances claros en tareas con retroalimentación rápida.

Leer el artículo aquíArtículo original (lesswrong.com) 108 comentarios en Hacker News

Escucha la noticia3 min

El texto es un comentario breve de Arjun Panickssery en su espacio de «quick takes» de LessWrong. Dice que, a nivel intuitivo, le cuesta creer que la I+D autónoma sea tan ingeniosa, y lo apoya en tres proyectos que ha seguido de cerca: un motor de Scrabble que supere el estado del arte, un bot para Ultimate Tic-Tac-Toe y una investigación filosófica con pruebas formalizadas para un concurso de filosofía de la IA.

En todos ellos, dice, el juicio del modelo (Astra) es muy pobre de una forma básica. Al revisar bibliografía no identifica los artículos o entradas de blog que son obviamente los más útiles; hace experimentos sin valor informativo porque usa muy pocos datos de entrenamiento para distinguir las arquitecturas comparadas; y, en el proyecto de filosofía, construyó una wiki a lo largo de muchos tokens pero siguió líneas triviales. En Ultimate Tic-Tac-Toe localizó una entrada de blog con una idea muy ingeniosa, pero no vio su relevancia y prefirió artículos de años anteriores. Además, de ocho artículos de un hackathon de Apart que revisó como jurado, todos puntuaban entre el 60 % y el 95 % en Pangram, se parecían entre sí y compartían un mismo tipo de carencia metodológica.

Reconoce una excepción: las tareas de escalada de métricas con ciclos de retroalimentación rápidos. Mejoró 10 veces el estado del arte en listar todas las jugadas legales de Scrabble insistiendo al modelo para que se esforzara más y probara sistemáticamente métodos de la literatura. Aun así, dos saltos importantes surgieron de sugerencias suyas: medir a lo largo de una partida en vez de por posición aleatoria y diseñar algoritmos distintos según las fichas en blanco que quedan en la bolsa. Añade que Astra, y presumiblemente Claude, escribe informes muy difíciles de entender, y que a menudo hace falta interrogarlo para saber qué hizo y cuáles son los resultados clave.

En las respuestas, Julian Bradshaw coincide: las IA rinden cuando alguien les señala la dirección correcta. Cita tres evaluaciones con resultados dispares: TasteVal (P-Zero), que ve un punto de quiebre hacia diciembre de 2025 y a Opus 5.5 en 2,30 veces el nivel de un experto humano en eficiencia de cómputo (1,14 veces en puntuación normalizada de tareas); InnovationEval (Epoch), donde Fable 5 no llegó al 5 % de las mejoras reales humanas; y «Can AI automate Epoch?», donde Fable 5.1 y GPT-6 Astra alcanzaron cerca del 65 % del rendimiento de un empleado humano. Su explicación es que TasteVal planteaba problemas abordables con métodos conocidos, mientras que las otras exigían ideas nuevas o eran abiertas.

En Hacker News

«I struggle to believe that AI R&D is ingenious» · puesto 19 · 131 puntos · enviado por porridgeraisin

Lo que dicen los comentarios

La mayoría de los comentarios de Hacker News coincide con el diagnóstico: los LLM sorprenden sobre todo cuando aportan información nueva para el usuario, pero en el terreno que uno domina se quedan en lo básico, y fallan en visión de conjunto, como en arquitectura de sistemas. Varios usuarios apuntan que, con todo, son asistentes útiles para el trabajo tedioso (herramientas de diagnóstico, visualizaciones, andamiaje de experimentos) y que una buena metodología ayuda: módulos acotados con objetivos medibles, un entorno dedicado a cada agente o muchos agentes compitiendo. Hay discrepancias. Alguien dice que su Opus 5.5 trabaja toda la noche con autonomía sin problemas; otro pregunta por qué más escala y mejor RL no resolverían esto si funciona en matemáticas; y otro defiende que los LLM son muy creativos en ficción breve y chistes. También hay críticas al planteamiento del autor: faltan detalles de lo que sugirió Astra, y según un comentarista los dos primeros problemas no necesitan una solución ingeniosa, sino aplicar técnicas de juegos similares (CFR, MCTS). Otro hilo discute si delegar el trabajo rutinario permite llegar antes a las preguntas importantes o si sin ese trabajo no se entiende lo suficiente para plantearlas.

  • Si eres experto en el tema, el framework o la librería, hasta los mejores LLM decepcionan. Incluso en 15 líneas, si conoces bien el lenguaje, lo habrías escrito de otra forma. Un LLM es como una persona de bajo CI con un conocimiento enorme.
    — roncesvalles, leer el comentario
  • Cuando depuro pipelines de ML, las sugerencias del LLM casi siempre son técnicamente correctas, pero señalan detalles pequeños y tediosos que no importan: no ven el bosque por los árboles. Aun así, resuelven lo menudo y son muy útiles como asistentes.
    — ainch, leer el comentario
  • Sospecho que ninguna de las dos primeras tareas exige una solución «ingeniosa», solo aplicar técnicas de juegos parecidos. Scrabble es de información oculta, se puede probar CFR; Ultimate Tic-Tac-Toe es de información perfecta y se resuelve con MCTS. Es un proyecto universitario.
    — janalsncm, leer el comentario
  • Sin hacer el trabajo rutinario normalmente no entiendes lo bastante para responder a las grandes preguntas. Cualquiera con estudios avanzados de matemáticas o física te dirá que repetir problemas aburridos suele ser la clave, más que leer teoremas de alto nivel.
    — loveparade, leer el comentario
  • Para trabajo autónomo no se puede esperar que cada paso de razonamiento sea correcto ni que los resultados lleguen pronto. Con un entorno dedicado y tiempo, mi agente empezó rindiendo poco y ahora rinde por encima de lo esperado y me sorprende con cosas nuevas.
    — wbolt, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.