Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · anthropic.com

Los LLM hacen viable la verificación formal de software a una escala mucho mayor

Anthropic y Theorem han usado Claude para demostrar propiedades de seguridad en el código ensamblador RISC-V de más de 100 bibliotecas open source. Sostienen que los LLM abaratan unas pruebas que antes exigían años de trabajo experto, y que por el camino Claude encontró errores que llevaban años sin detectarse.

Foto: vía anthropic.com

Leer el artículo aquíArtículo original (anthropic.com) 264 comentarios en Hacker News

Escucha la noticia3 min

Anthropic parte de que casi todo el software tiene errores y de que la IA ya sabe encontrarlos y explotarlos, de modo que las defensas habituales no bastan. Propone la verificación formal, que traduce el código a un modelo matemático y demuestra que cumple ciertas reglas, pero reconoce su problema: las pruebas pueden ser mucho mayores que el código y exigen una especialización escasa. Como ejemplo, implementar el kernel seL4 costó dos personas-año y verificarlo, veinte. Por eso, dice, solo se ha usado en aplicaciones críticas como la aviónica de Airbus.

En colaboración con Theorem, pidieron a Claude que demostrara propiedades de seguridad en 123 bibliotecas open source. Claude probó que los programas siempre terminan con normalidad, sin errores de seguridad de memoria ni aserciones fallidas, para cualquier entrada de menos de 64 MB y cualquier respuesta o disposición de memoria modelada del sistema operativo. Hay condiciones: binario estático de un solo hilo, presupuesto fijo de memoria, CPU RISC-V y Linux. Anthropic admite que esto queda lejos de corregir todos los errores posibles.

Para obtener la especificación, convirtieron los fuzz tests ya existentes en la regla «esta batería de pruebas nunca falla», aplicada a los binarios compilados para RISC-V. Si Claude demuestra esa regla, fuzzear ese punto de entrada ya no puede encontrar errores. Lo hicieron con proyectos de OSS-Fuzz, de Google, y en unas semanas Claude corrigió los fallos que halló y probó que no hay cierres inesperados en 239 puntos de entrada de 123 bibliotecas. Las pruebas suman unos 180 millones de líneas de Rocq.

Solo hay que confiar en tres elementos: los modelos formales de RISC-V y de los procesos Linux, los enunciados exactos de los teoremas y el verificador de pruebas Rocq. Anthropic publica un subconjunto de las pruebas y las semánticas, y Theorem ofrece ejecutar el mismo proceso en otros proyectos y publica un skill de Claude para empezar. El texto menciona además exploraciones con zlib y con un intérprete de Python escrito en Rust.

En Hacker News

«LLMs are making formal software verification feasible at a much larger scale» · puesto 30 · 429 puntos · enviado por johnbender

Lo que dicen los comentarios

La conversación se centra en qué se está verificando exactamente. Varios recuerdan que una prueba formal solo garantiza que el código cumple su especificación, no que esta resuelva el problema correcto, y alguien discute si esa distinción entre verificación y validación encaja con el uso del término en verificación formal. Otros preguntan por la confianza en la cadena (cómo se sabe que el teorema corresponde al código) y reciben enlaces a los modelos y al flujo de trabajo de Theorem. Algunos usuarios cuentan experiencias propias: pruebas de equivalencia entre Rust y C con Lean, o PR con optimizaciones aceptadas gracias a una prueba en Rocq. Un comentario cita el apéndice del artículo, que duda de que los agentes escalen este estilo verboso de pruebas, y abre un debate sobre los límites de los LLM fuera de lo que ya conocen. También hay escepticismo sobre si la industria usará esto o solo ganará velocidad, y un comentario personal sobre el miedo a perder el empleo como programador.

  • Verificación: ¿construimos bien el producto? Validación: ¿construimos el producto correcto? Puedes escribir código matemáticamente impecable que resuelva eficientemente el problema equivocado. La verificación formal no es una bala de plata para lo demás.
    — mentalgear, leer el comentario
  • Uso verificación formal en mi reescritura de Postgres en Rust: un compilador traduce Rust y C a Lean, y un LLM prueba que se comportan igual. Llevo un 12 % del código, unas 70.000 líneas de C.
    — malisper, leer el comentario
  • Mi primera pregunta fue cómo saben que la prueba corresponde de verdad al software. Dicen que solo hay que confiar en los modelos de RISC-V y Linux, en los enunciados de los teoremas y en Rocq. ¿Qué son esos modelos?
    — n_u, leer el comentario
  • El apéndice admite que quizá los agentes no escalen este estilo verboso de pruebas y choquen con un muro de complejidad. Algunos matemáticos ven algo parecido: los LLM se frenarían justo más allá de lo que ya cubre la matemática humana.
    — jaykru, leer el comentario
  • Las pruebas automáticas suenan muy bien, pero quedarán limitadas a dominios ya paranoicos como la criptografía o la aeroespacial. En el resto se gastarán los dividendos en publicar más código sin revisar, más rápido: cambiamos disciplina por velocidad.
    — scruple, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.