Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Ciencia · xenaproject.wordpress.com
Cómo interpretar la afirmación de que un teorema es correcto porque se ha comprobado en Lean
Kevin Buzzard, del Xena Project, explica qué garantiza realmente que una demostración se haya verificado en Lean, sobre todo si el código lo ha generado una IA. Propone cuatro preguntas previas y señala que en muchos casos, como el volcado de teoremas de OpenAI, aún no se han respondido todas.
Foto: vía xenaproject.wordpress.com
1 medio · MadridPublicada 16 nov, 11:15Actualizada 16 nov, 17:25Escrita por IA · cómo funciona
El artículo parte del volcado de OpenAI del mes pasado: 722 artículos de matemáticas, cerca del 45 % con código en Lean. Tres de los que no lo tenían se han retirado por un error de signo. Buzzard descarta tanto que «Lean lo garantiza todo» como que «no dice casi nada». Según él, hay una señal importante, pero con código generado por IA hay que hacer antes ciertas comprobaciones.
La primera pregunta es si el enunciado en Lean coincide con el enunciado informal. Un enunciado puede compilar y ser falso: el ejemplo del último teorema de Fermat con números naturales incluye el 0, así que a = b = c = 0 con n = 3 lo refuta. A veces entender un enunciado exige leer miles de líneas. El de la conjetura de Hodge en Formal Conjectures de DeepMind se apoya en más de 10.000 líneas sobre Mathlib. El de la clasificación de grupos simples finitos de Axiom importa más de 250.000 líneas de Tau Ceti, unas 5.600 con definiciones cruciales que nadie ha revisado a fondo. De los 290 teoremas de OpenAI con código en Lean, unos 38 no enuncian siquiera el resultado principal del artículo; en el artículo 194, sobre la conjetura de Lech, el teorema del código es el Corolario 5.4.
La segunda pregunta es si el código compila. Buzzard se quedó sin memoria con los 13 millones de líneas de la formalización de Fermat de Anthropic y necesitó una máquina de 96 núcleos y 500 GB de RAM. La resolución de Navier-Stokes de OpenAI, con 640.000 líneas, compila en su portátil. Insiste en ejecutar siempre código de IA en un sandbox. La tercera es si el código demuestra el teorema tal como está enunciado, sin redefiniciones ni axiomas añadidos entre millones de líneas. La respuesta es la herramienta lake comparator, que comprueba que el enunciado de un fichero de confianza y el demostrado con importaciones no fiables son idénticos y que solo se usan los axiomas de las matemáticas.
La cuarta pregunta es si el código explota un fallo en el kernel oficial de Lean. Hubo un error de solidez corregido cuatro horas después de descubrirse, y una revisión de OpenAI encontró varios más, arreglados antes de hacerse públicos. Buzzard sostiene que puede haber más, pero que no importa: existen muchos kernels escritos por usuarios en distintos lenguajes, y al menos uno está verificado formalmente hasta el nivel de ensamblador.
«Interpreting claims that a theorem is correct because it was checked in Lean» · puesto 7 · 230 puntos · enviado por matt_d
Lo que dicen los comentarios
Los comentarios celebran la honestidad de Buzzard, defensor de Lean, aunque Xcelerate teme que tantas advertencias frenen la formalización, que él considera un salto cualitativo y no una mejora más como los tests. Wodenokoto compara la comprobación con asumir que el código funciona porque compila, y le responden que el problema real es formalizar bien la especificación. Entre matemáticos con experiencia hay dudas sobre cómo puede el código de la prueba alterar el enunciado: CJefferson recuerda que lo único que puede hacer es un «sorry», que se ve claramente. Seanwilson añade que un enunciado erróneo suele delatarse en los pasos de la prueba. Adleyjulian cree que un agente con una tarea imposible podría explotar un fallo del kernel y ocultarlo, y propone agentes adversarios que vigilen las trampas. También se discute por qué Lean ejecuta código arbitrario: yorwba apunta a los solucionadores externos y kccqzy a programas con teoremas sobre su comportamiento.
Me preocupa que la montaña de advertencias contra las pruebas en Lean frene algo que muchas industrias necesitan: más formalización. «Comprobado en Lean» no es una mejora más de calidad como revisar el código o añadir tests; es algo totalmente distinto.
Conviene señalar que el artículo es de Kevin Buzzard, uno de los mayores defensores de Lean y de la demostración automática de teoremas. Es refrescante ver honestidad intelectual sobre las limitaciones de una herramienta de quien sigue defendiendo sus virtudes.
Si Challenge.lean enuncia el teorema, la solución no puede cambiarlo. Lo único que puede hacer es un «sorry», saltarse parte de la prueba, y eso se imprime con toda claridad cuando ocurre.
Si el enunciado es erróneo, los pasos de la prueba seguirán un camino acorde con él y habrá más ocasiones de detectar el fallo: suele hacerlo sorprendentemente fácil de probar o imposible de completar. Las pruebas no son una caja negra.
Que alguien explote un fallo del kernel sin querer no ha pasado, pero el hackeo de Huggingface muestra que los agentes hacen lo que sea por pasar las evaluaciones. Ante una tarea imposible podrían explotar un bug y ofuscar el método.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.