Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Ciencia · blog.cosmos-institute.org
Verificación no es conocimiento: la ciencia necesita más que respuestas
Jessica Hullman, profesora de Northwestern, defiende en un ensayo que dar por bueno un resultado verificado y prescindir de la comprensión humana y de la rendición de cuentas es heredar un ideal de ciencia «libre de valores». Lo plantea en pleno debate sobre el papel de la IA en la ciencia.
Foto: vía blog.cosmos-institute.org
1 medio · MadridPublicada 4 nov, 10:25Actualizada 4 nov, 21:50· Ya no está en portadaEscrita por IA · cómo funciona
El ensayo parte de una tensión que recorre los debates sobre IA para la ciencia: si el objetivo es que los humanos alcancen comprensión o archivar soluciones verificables. Un bando prioriza los resultados, como pruebas de conjeturas antiguas o curas de enfermedades, hayan participado humanos o no. Otro sostiene que la comprensión es esencial. Hullman recuerda el experimento mental de Terry Tao sobre un tratamiento contra el cáncer hallado por una IA, con certificado formal de corrección y ensayo de fase 3 superado, pero que nadie entiende. Cita también la preocupación de Tom Dietterich por los artículos que llegan a arXiv firmados por autores que difícilmente entienden lo que afirman.
Según la autora, si quienes defienden la comprensión aceptan que es algo separado del resultado, pierden la discusión: parece un estado mental opcional. Ella sostiene que el problema es otro: qué ocurre cuando algo falla. En el caso de Tao, la IA podría haber superado el ensayo explotando un fallo del propio ensayo; un artículo cuyos autores no pueden explicarlo no deja a nadie a quien consultar si sus afirmaciones fallan. Por «rendición de cuentas» entiende ser capaz de responder de una afirmación, describir en qué se apoya y contestar cuando se la cuestiona.
Hullman atribuye la idea de que el valor científico reside solo en la corrección al «ideal libre de valores», que según ella marca el pensamiento desde la Guerra Fría. Surgió con el contrato social de la ciencia posterior a la Segunda Guerra Mundial en EE. UU., que necesitaba presentar la búsqueda de la verdad como aplicación impersonal de métodos. Los agentes de IA que verifican e intervienen en la literatura parecen cumplir esa ética científica decimonónica. Hoy, señala, la filosofía de la ciencia rechaza mayoritariamente ese ideal, porque aceptar o rechazar hipótesis depende de cómo se sopesan las consecuencias.
Incluso en matemáticas, afirma, hay demasiadas verdades posibles como para que los valores no intervengan en la selección. No todos los teoremas interesan igual: el último teorema de Fermat ganó atención por la promesa de Fermat y por su vínculo con la conjetura de modularidad, y se dio por resuelto tras una revisión por pares que corrigió un error, mucho antes de su verificación formal. El criterio epistémico, dice, se desarrolla al elegir problemas y ver cuáles producen ideas nuevas.
«Verification Is Not Knowledge: Science needs more than answers» · puesto 28 · 226 puntos · enviado por ersinesen
Lo que dicen los comentarios
Los comentarios se dividen entre quienes ven que la utilidad práctica puede ir por delante de la comprensión (Kepler, fármacos sin mecanismo conocido, el hormigón romano) y quienes responden que sin comprensión cuesta más construir a largo plazo y que Kepler sí entendía sus datos. Algunos proponen que la IA aporte resultados por fuerza bruta y los humanos busquen después pruebas elegantes, aunque otros lo matizan: saber que algo es cierto no siempre ayuda a entender, ni se puede dar por fiable sin más. Se discute si los verificadores sabrán explicarse, o si los LLM son buenos haciendo pero malos explicando. Otro hilo habla de la presión en la academia: grupos que publican uno a tres artículos al mes con ayuda de IA y se llevan la financiación.
Cuando Kepler publicó sus modelos, nadie entendía cómo ni por qué funcionaban, pero se pasó a ellos desde el sistema ptolemaico porque las matemáticas eran más fáciles. El porqué llegó más tarde, con Newton y Einstein.
Kepler sí entendía los datos que tenía, de dónde venían, qué afirmaban sus leyes y cómo comprobar que los datos encajaban. De eso trata realmente el artículo.
No me parece nada obvio que los verificadores puedan explicárnoslo. Los LLM hacen proezas de ingeniería inversa, pero explican y abstraen fatal. Quizá sea un efecto de cómo se entrenan, pero demuestra que pueden hacer cosas que no saben explicarnos.
La Revolución Industrial ha llegado a la academia: algunos profesores sacan de uno a tres artículos al mes con los mismos coautores y se llevan todo el dinero, porque quien concede las ayudas solo cuenta publicaciones.
El problema es el equilibrio entre progreso a corto y a largo plazo. Una solución sirve ahora, pero si los humanos no generan comprensión, probablemente se frene el progreso futuro: es mucho más difícil construir sobre lo que no se entiende.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.