Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · openai.com

Primera fase de evaluaciones integradas en OpenAI

OpenAI ha firmado acuerdos con cuatro evaluadores independientes (Apollo Research, METR, Transluce y Goodfire) para que analicen desde dentro la alineación de sus modelos y la eficacia de sus salvaguardas. Tendrán acceso a checkpoints, código, datos y personal de la compañía.

Foto: vía openai.com

Leer el artículo aquíArtículo original (openai.com) 10 comentarios en Hacker News

Escucha la noticia4 min

OpenAI define las «evaluaciones integradas» como aquellas en las que expertos independientes obtienen acceso profundo a los modelos y sistemas internos de un laboratorio durante un periodo prolongado. Según la compañía, los evaluadores pueden recibir parte de los mismos recursos que sus investigadores: checkpoints de modelos, código fuente, datos de entrenamiento y evaluación, sistemas de monitorización, documentación técnica y conversaciones con los responsables del trabajo. Las primeras evaluaciones se centran en alineación y salvaguardas durante el entrenamiento y el uso interno, y complementan los safety cases de la empresa.

Cada evaluador tiene un encargo distinto. Apollo Research analizará si los modelos podrían actuar a escondidas contra las intenciones de sus desarrolladores y si las salvaguardas lo detectarían, a partir de cuatro afirmaciones: que el entrenamiento no incentivó la subversión, que las evaluaciones y el red teaming no la provocan, que los modelos no lo han intentado en uso interno y que el razonamiento detrás de una subversión sería detectable. Goodfire incorporará investigadores de interpretabilidad y usará su plataforma para analizar el interior de los modelos; su objetivo es monitorizar y depurar entrenamientos, y publicará resultados a medida que avance la colaboración.

METR hará dos evaluaciones. La primera examinará comportamientos desalineados en el mayor entrenamiento de aprendizaje por refuerzo de OpenAI hasta la fecha, incluidos fallos que las pruebas y monitores actuales pudieran haber pasado por alto. La segunda, una evaluación de monitores más amplia, está pendiente de acordar su alcance. Transluce hará una evaluación inicial de la calidad y la cobertura de las evaluaciones de alineación posteriores al entrenamiento, y ambas partes prevén otra de unas ocho semanas a principios de 2027 con acceso más amplio.

OpenAI también publica los protocolos con los que quiere equilibrar acceso profundo, seguridad e independencia. Quienes necesiten información confidencial trabajarán en sus oficinas con dispositivos de la empresa y con estándares de seguridad al menos iguales a los de sus empleados. Si el acceso directo pudiera exponer propiedad intelectual muy sensible, como los pesos o la arquitectura de un modelo, se estudiarán alternativas como que investigadores de OpenAI ejecuten los análisis junto a los evaluadores. El Safety and Security Committee, comité independiente del consejo de la OpenAI Foundation, recibirá los informes sin redactar y podrá hablar con los evaluadores, también en privado. Los desacuerdos se escalan al Safety Advisory Group y a la dirección, y, si persisten, al comité.

Las conversaciones con empleados serán off the record: pueden informar las evaluaciones, pero no publicarse ni atribuirse. Mediante una vía de atestación aparte, los evaluadores pueden pedir a OpenAI declaraciones que confirmen, corrijan o aclaren lo que han oído, y publicarlas, o bien publicar que OpenAI se negó a atestiguarlas. El texto termina con un apartado sobre divulgación de conflictos de interés y periodos de enfriamiento.

En Hacker News

«First phase of embedded assessments at OpenAI» · puesto 26 · 24 puntos · enviado por dvaplima

Lo que dicen los comentarios

La conversación es mínima: solo hay un comentario, que no entra en el contenido de las evaluaciones sino en la estrategia de OpenAI. Su autor interpreta el anuncio como señal de que, tras el incidente de Hugging Face, la empresa ha adoptado una cultura de «safetyism» movida por el miedo a la reacción pública, y sostiene que Anthropic, que la tuvo desde el principio, atraerá el talento en seguridad. Echa de menos la cultura tecnoptimista original de OpenAI y le inquieta que dos empresas hagan de «dioses de la alineación».

  • Tras el incidente de Hugging Face, OpenAI parece haberse vuelto una cultura de «safetyism» basada en el miedo a la reacción pública. Anthropic tuvo esa cultura desde el principio y se llevará el talento en seguridad; la cultura tecnoptimista original era el diferenciador de OpenAI.
    — mvkel, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.