Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Internet y sociedad · cbc.ca
Las bibliotecas universitarias, desbordadas por bots de IA, ponen en riesgo el acceso público
Las bibliotecas académicas sufren oleadas de bots de scraping que ralentizan o tumban sus webs mientras las empresas de IA buscan contenido para entrenar sus LLM. Bibliotecarios y expertos advierten de que la presión puede empujar a cerrar el acceso abierto a colecciones digitalizadas.
1 medio · MadridPublicada 6 nov, 15:30Actualizada 6 nov, 17:10· Ya no está en portadaEscrita por IA · cómo funciona
Según CBC News, las bibliotecas universitarias dicen que colecciones enteras caen por el flujo constante de bots que intentan acceder a sus archivos, que incluyen documentos académicos, históricos y gubernamentales. Jill Strykowski, de San Jose State University, habla de bots que "bombardean" los servidores para llevarse todo el material posible. Dean Seeman, de University of Victoria Libraries, cuenta que a veces el tráfico es tal que las webs se caen por completo durante un rato. Los primeros casos aparecieron a finales de 2024 en Norteamérica, Europa y Oceanía, y los expertos aseguran que el problema empeora.
Las bibliotecas y museos son objetivos codiciados porque ofrecen información fiable y revisada que, por lo general, no está tras un muro de pago ni de registro. Eric Hellman, de Project Gutenberg, distingue entre bots buenos, como los de Google o Internet Archive, que respetan el robots.txt, y bots de IA que a veces lo ignoran y piden miles de documentos por segundo en todos los formatos disponibles. Como una misma empresa puede operar desde miles de IP, bloquear direcciones ya no sirve. Como ejemplo, la Universidad de Carolina del Norte en Chapel Hill recibió el año pasado más de 11.000 búsquedas de música finlandesa desde miles de direcciones el mismo día, y su catálogo llegó a dejar fuera de forma intermitente a estudiantes y personal.
Hellman afirma que Project Gutenberg aceptaría que su material se use para entrenar IA, ya que casi todo es de dominio público, y que ofrece la descarga de toda su biblioteca con un clic, pero "los bots son demasiado tontos para usarla". Algunas bibliotecas han puesto CAPTCHA u otros sistemas de verificación, que también pueden frenar a los bots buenos, según Michael Weinberg, de GLAM-E. Otras han empezado a exigir credenciales de acceso, una medida que quieren evitar porque pone barreras a las personas. Peter Lewis, de Ontario Tech University, ve en esto otro caso de grandes empresas privadas que usan instituciones de interés público de forma "extractiva".
La semana pasada Anthropic, OpenAI, Google y Microsoft expresaron su apoyo a respetar una señal estándar de exclusión en el robots.txt para bloquear sus rastreadores. El cumplimiento sería voluntario y el acuerdo deja fuera a los bots de terceros y de startups pequeñas. Weinberg advierte de que la situación desincentiva que las instituciones publiquen sus colecciones en línea.
«University libraries are being swarmed by AI bots, putting public access at risk» · puesto 30 · 100 puntos · enviado por blakesterz
Lo que dicen los comentarios
Buena parte de los comentarios cuestiona que 11.000 búsquedas sean para tanto, hasta que otros aclaran que eran 11.000 sobre un solo tema y que el tráfico total es mucho mayor. De ahí surge una discusión sobre si el fallo está en la arquitectura de las bibliotecas o en los bots. Varios administradores cuentan sus defensas (limitar tasas, bloqueo por países, Turnstile) y sus límites, como la rotación de IP o el coste de exigir cuentas. Otra línea se pregunta quién está detrás: se apunta a una fiebre del oro con cientos de empresas poco conocidas que entrenan modelos, y un usuario cuenta que él mismo rastrea bibliotecas para sacar escaneos de dominio público. También aparece el riesgo legal de una denegación de servicio no intencionada bajo la ley CFAA.
Recibo decenas de miles de IP que hacen una o dos peticiones a páginas de The Consensus. No son caras, pero ensucian mis contadores de visitas. Exigir cuenta, aunque sea gratuita, también reduciría los lectores reales.
Rastreo con mucho cuidado bibliotecas para sacar escaneos de periódicos de dominio público, que a menudo no existen en otro sitio. Casi todas han vuelto a exigir ir en persona con el DNI para obtener el carnet.
Estamos en plena fiebre del oro de la IA, con probablemente cientos de empresas haciendo preentrenamiento. Anthropic y OpenAI cuidarán su imagen y sus rastreadores, pero habrá muchas firmas que no conocemos, quizá algunas chinas.
Son 11.000 búsquedas solo sobre ese tema en un día, cuando lo normal es ver menos de 11.000 en total. El tráfico total es muchas veces mayor: más bien 11.000 búsquedas sobre 100.000 temas.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.