El artículo parte de que el preentrenamiento tuvo mucha suerte: décadas de trabajo humano dejaron un registro público del conocimiento. Wikipedia, el código open source, Stack Exchange, ArXiv, Project Gutenberg y, sobre todo, Common Crawl, que desde 2007 archiva una parte de internet y hoy acumula unos 10 petabytes. GPT-3 se entrenó con cerca de un 60 % de datos derivados de Common Crawl, y el Llama original salió casi todo de ese fondo común. Los grandes actores ya usan sus propios rastreadores, pero los LLM abiertos como Nemotron y el del propio autor dependen de él para casi todo el preentrenamiento.
La investigación puntera se ha desplazado al posentrenamiento, en especial a la IA «agéntica», que también exige mucho cómputo y muchos datos. Pero aquí no hay un fondo equivalente. La diferencia de fondo, dice el autor, es que el preentrenamiento consume documentos y el posentrenamiento consume tareas. Las tareas humanas son situadas, adaptativas y efímeras; las tareas de aprendizaje por refuerzo están congeladas y esquematizadas. Para construir una hay que conservar un mundo, una intención y un conjunto de herramientas, además de un evaluador que juzgue el resultado.
El software es la gran excepción, porque su ingeniería consiste en buena parte en dejar el trabajo por escrito: control de versiones, integración continua, pruebas unitarias, máquinas virtuales y contenedores. Aun así, convertir el software abierto en tareas es más fabricación que curación, porque parte de la información nunca se registró. El mundo sería el repositorio con sus dependencias, las herramientas serían el shell o el compilador, la intención saldría de issues y pull requests, y el evaluador serían los tests.
Ese es el esquema del SWE-bench original. De unos 90.000 PR de 12 repositorios de Python, solo uno de cada ocho encajaba en él. De los 11.407 restantes, cerca del 80 % no se pudo convertir en tareas ejecutables, y quedaron 2.294. Para SWE-bench Verified, OpenAI contrató a 93 desarrolladores de Python que revisaron 1.699 tareas; más de dos tercios se marcaron para descartar y quedaron 500. Una auditoría posterior halló rota otra sexta parte aproximada. En TaskTrove, más del 90 % de un subconjunto de 5.000 tareas de Java se descartó en la reparación, y en un subconjunto de Python casi el 98 % de los verificadores inspeccionados no podía ni arrancar sus tests. Según una auditoría de Vals, dos tercios de los 2.698 entornos de código de MiMo v2.6 de Xiaomi conservaban correcciones recuperables desde Git.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.