Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Internet y sociedad · openai.com
OpenAI: reforzando la lucha contra el abuso sexual infantil en línea
OpenAI lanza un clasificador de imágenes para detectar material de abuso sexual infantil (CSAM), incluido el generado con IA, y lo ofrece gratis a organizaciones verificadas. También añade avisos en ChatGPT, una guía para desarrolladores y herramientas para investigadores policiales.
Foto: vía openai.com
1 medio · MadridPublicada 16 nov, 19:35Actualizada 16 nov, 20:10Escrita por IA · cómo funciona
El nuevo clasificador de imágenes busca señales visuales de abuso y devuelve puntuaciones para que los revisores decidan qué imágenes atender primero. OpenAI afirma que es el primer clasificador de CSAM con disponibilidad amplia que indica si el material puede estar generado por IA. Lo entrenó y evaluó con ayuda del National Center for Missing and Exploited Children (NCMEC) y lo ofrece sin coste a organizaciones verificadas a través de la API de OpenAI, con la colaboración de Tech Coalition y ROOST. La empresa también participa en el programa Lantern de Tech Coalition para compartir señales entre plataformas.
En una evaluación con imágenes subidas por usuarios, OpenAI estima que el clasificador marcaría un 48 % menos de imágenes que su herramienta actual y encontraría aproximadamente el mismo número de imágenes abusivas; las marcadas tendrían el doble de probabilidad de contener abuso. Entre los socios de acceso temprano, fal confirmó el 72 % de los avisos de alta confianza como CSAM nuevo, en invideo AI uno de cada cuatro casos marcados acabó en un baneo y SafetyKit detectó el 90 % de los casos de dibujos o animaciones que sexualizan a menores.
En ChatGPT, los intentos de buscar material abusivo activarán un aviso que explica las consecuencias y remite a ayuda para dejar esa conducta. Se eliminará la conversación y se suspenderá el acceso durante 24 horas; las infracciones repetidas pueden acarrear restricciones más largas, cierre de la cuenta o denuncia a las autoridades. OpenAI dice haberlo desarrollado con Protect Children, la Lucy Faithfull Foundation y académicos de las universidades de Kent y Tasmania.
Además, OpenAI ha publicado una guía para desarrolladores elaborada con Tech Coalition, Thorn, NCMEC y la Internet Watch Foundation, y ha encargado junto a Anthropic y Google otra sobre cómo responder a revelaciones de abuso en sistemas de IA. Para las unidades policiales especializadas ofrece herramientas y formación; la primera ayuda a revisar largos registros de chat, identificar conexiones y crear cronologías enlazadas a las fuentes.
«OpenAI: Strengthening the fight against online child sexual abuse» · puesto 11 · 51 puntos · enviado por rossant
Lo que dicen los comentarios
La conversación se divide entre el escepticismo hacia las empresas y el apoyo a la herramienta. Un usuario cuenta que OpenAI baneó su cuenta tras clasificar más de 100.000 imágenes con un agente automático y que no le dieron información para denunciar al autor, y otros ven en esto un pretexto para la vigilancia. Varios recuerdan el caso del padre cuya cuenta de Google fue marcada por fotos de su hijo para el médico, y se plantea el dilema entre vigilancia y prevención del delito. Otro comentario valora la herramienta porque los modelos de difusión han multiplicado el material y los investigadores deben descartar si cada imagen es real. También surgen dudas sobre cómo se entrenan legalmente estos modelos.
Nuestra cuenta fue baneada por una infracción de CSAM tras clasificar más de 100.000 imágenes con un agente autónomo. Se negaron a darnos información, denegaron la apelación y no atienden nuestras peticiones de privacidad. Es puro postureo.
Es un avance positivo. El NCMEC ha visto un aumento enorme de CSAM por los modelos de difusión, y ahora hay que descartar si una imagen es real. Un modelo que proteja a los investigadores de más trauma es excelente.
Resulta increíble leer los affidávits penales: el delincuente sube una imagen, se detecta como CSAM, se avisa al NCMEC, este genera un aviso a la policía local y lo detienen en una o dos semanas.
La privacidad es, por desgracia, en gran parte resultado de que violarla era poco práctico. No veo motivo para creer que los Estados no leerán tu mente si pueden hacerlo con facilidad.
¿Cómo pueden estas empresas entrenar estos modelos legalmente? ¿Los empleados son ciudadanos de países donde descargar o poseer este material es ilegal?
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.