Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · openathena.ai

No existe un fondo común de datos para el posentrenamiento

Un ensayo del blog de OpenAthena sostiene que el preentrenamiento de los LLM tuvo la suerte de contar con un enorme archivo público de documentos, pero que nada equivalente existe para el posentrenamiento, que consume tareas y no textos. El caso del software muestra lo costoso que es fabricarlas.

Foto: vía openathena.ai

Leer el artículo aquíArtículo original (openathena.ai) 25 comentarios en Hacker News

Escucha la noticia3 min

El artículo parte de que el preentrenamiento tuvo mucha suerte: décadas de trabajo humano dejaron un registro público del conocimiento. Wikipedia, el código open source, Stack Exchange, ArXiv, Project Gutenberg y, sobre todo, Common Crawl, que desde 2007 archiva una parte de internet y hoy acumula unos 10 petabytes. GPT-3 se entrenó con cerca de un 60 % de datos derivados de Common Crawl, y el Llama original salió casi todo de ese fondo común. Los grandes actores ya usan sus propios rastreadores, pero los LLM abiertos como Nemotron y el del propio autor dependen de él para casi todo el preentrenamiento.

La investigación puntera se ha desplazado al posentrenamiento, en especial a la IA «agéntica», que también exige mucho cómputo y muchos datos. Pero aquí no hay un fondo equivalente. La diferencia de fondo, dice el autor, es que el preentrenamiento consume documentos y el posentrenamiento consume tareas. Las tareas humanas son situadas, adaptativas y efímeras; las tareas de aprendizaje por refuerzo están congeladas y esquematizadas. Para construir una hay que conservar un mundo, una intención y un conjunto de herramientas, además de un evaluador que juzgue el resultado.

El software es la gran excepción, porque su ingeniería consiste en buena parte en dejar el trabajo por escrito: control de versiones, integración continua, pruebas unitarias, máquinas virtuales y contenedores. Aun así, convertir el software abierto en tareas es más fabricación que curación, porque parte de la información nunca se registró. El mundo sería el repositorio con sus dependencias, las herramientas serían el shell o el compilador, la intención saldría de issues y pull requests, y el evaluador serían los tests.

Ese es el esquema del SWE-bench original. De unos 90.000 PR de 12 repositorios de Python, solo uno de cada ocho encajaba en él. De los 11.407 restantes, cerca del 80 % no se pudo convertir en tareas ejecutables, y quedaron 2.294. Para SWE-bench Verified, OpenAI contrató a 93 desarrolladores de Python que revisaron 1.699 tareas; más de dos tercios se marcaron para descartar y quedaron 500. Una auditoría posterior halló rota otra sexta parte aproximada. En TaskTrove, más del 90 % de un subconjunto de 5.000 tareas de Java se descartó en la reparación, y en un subconjunto de Python casi el 98 % de los verificadores inspeccionados no podía ni arrancar sus tests. Según una auditoría de Vals, dos tercios de los 2.698 entornos de código de MiMo v2.6 de Xiaomi conservaban correcciones recuperables desde Git.

En Hacker News

«There is no posttraining data commons» · puesto 29 · 101 puntos · enviado por lukasschwab

Lo que dicen los comentarios

El post no tiene comentarios en Hacker News por ahora, así que no hay debate que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.