Los autores estudian un atajo habitual: pegar un archivo heredado en un LLM y pedirle que lo «modernice». Cinco modelos recibieron 100 archivos PHP de WordPress 4.0 con la orden de pasarlos a PHP 8.3 conservando el comportamiento, sin contexto del proyecto ni retroalimentación de ejecución. Cada salida se evaluó con 630 comprobaciones de comportamiento ocultas y 511 hallazgos de modernización detectados por Rector. Como referencia usaron dos líneas base: los originales sin tocar y el propio Rector, una herramienta basada en reglas.
El resultado, según el resumen, es que a menudo la respuesta es no. Con los archivos sin modificar, 83 superan todas las comprobaciones; el mejor LLM deja solo 59. Cada modelo rompe entre 32 y 51 archivos que funcionaban y repara como mucho 10, mientras que Rector rompe 7 y repara 6.
Gran parte de ese daño es innecesario: solo 37 hallazgos (el 7 %) exigen realmente un cambio en PHP 8.3. Aun así, en los archivos compatibles que no requerían ningún cambio, los LLMs rompen entre el 36 % y el 60 % (Rector, el 8 %). El modelo con mejor puntuación de modernización no es más compatible que sus competidores más cercanos.
La mayoría de las comprobaciones que fallan provienen de archivos que ya no cargan, a menudo por declaraciones de tipos que PHP rechaza. Son errores que no necesitan contexto del proyecto para evitarse. Los autores concluyen que las evaluaciones de modernización con LLMs deberían medirse frente a una línea base sin cambios y reportar por separado la modernización y la preservación del comportamiento.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.