Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Empresas · michael.bacarella.com
Una falsa alarma de humo estuvo a punto de inundar el único centro de datos de Jane Street en Nueva York
Un ingeniero del equipo de sistemas de Jane Street cuenta cómo el polvo de unas obras disparó la alarma de humo, apagó la refrigeración y presurizó los rociadores. Corrió a desenchufar todos los equipos antes de que subiera la temperatura. Después escribió un monitor de temperatura en OCaml.
Foto: vía michael.bacarella.com
1 medio · MadridPublicada 11 nov, 17:55Actualizada 12 nov, 02:30· Ya no está en portadaEscrita por IA · cómo funciona
El autor, miembro del equipo de sistemas de Jane Street, recuerda un episodio de la época en que la empresa tenía su sala de máquinas junto al parqué, en el edificio 1 New York Plaza. La razón era evitar que espías robasen los servidores y poder cortar la corriente con solo cruzar el pasillo si un sistema automático de trading se descontrolaba. Según cuenta, esa cultura de riesgo venía en parte de un socio que había servido en un submarino nuclear. Con el tiempo la sala creció hasta ser un centro de datos con SAI, unidades CRAC, un generador diésel subterráneo y unas diez filas de armarios.
Una tarde, cuando él ya vivía a nueve minutos a pie de la oficina, la oficina de Hong Kong le llamó: había saltado la alarma de humo del centro de datos. Unos contratistas trabajaban en una sala contigua y el polvo había disparado el detector. El problema no era el fuego, sino el sistema: al detectar humo se presurizan las tuberías de los rociadores, que solo descargan cuando el calor abre el tapón de cada cabezal, y la alarma también apaga las unidades CRAC para no alimentar un posible incendio. Sin refrigeración, la sala empezaría a calentarse hasta que los rociadores se activasen.
Corrió hasta la oficina, subió 33 plantas y entró en una sala que parecía una sauna. Fue arrancando los cables de alimentación de todos los equipos, fila a fila. La temperatura llegó a 143,6 °F (unos 62 °C) y dejó de subir. Como los mercados principales de Nueva York estaban cerrados, la interrupción fue mínima y todo funcionaba a la mañana siguiente.
En las reuniones posteriores, que describe como sensatas y hasta divertidas, se decidió mantener los rociadores, reforzar los procedimientos y la vigilancia y seguir alojando los servidores junto al parqué, hasta que el huracán Sandy cambió las cosas. Hong Kong solo se había enterado por casualidad, al ver en una pantalla que muchos servidores marcaban temperatura creciente. Por eso el autor escribió en OCaml un monitor que cada minuto pregunta a cada servidor su temperatura, calcula la media y avisa al equipo si es alta. Según él, era más fiable que la telemetría de los CRAC o de un sensor de sala.
«A false smoke alarm almost drowned Jane Street's only NYC datacenter» · puesto 6 · 459 puntos · enviado por mbac32768
Lo que dicen los comentarios
La conversación se divide entre anécdotas y objeciones técnicas. Varios recuerdan el huracán Sandy y los bidones de diésel subidos por las escaleras. Un usuario cuenta que le pasó lo mismo por vivir cerca del trabajo. Quienes conocen el diseño de centros de datos se extrañan de que no hubiera un botón de corte de emergencia (EPO) ni un enlace con la alarma de humo. Alguien que escribe secuencias de operación dice que ellos no apagan los CRAC por humo, y otro matiza que el aire puede retrasar la activación de los rociadores. Otro comentario defiende cortar la corriente solo si fluye agua, aunque lo primero sería evitar que los rociadores se disparen. Hay también bromas sobre la seguridad de las alarmas conectadas a internet, comentarios sobre los pódcasts de Jane Street y un apunte sobre la latencia, que haría inviable trasladar el cómputo a otro centro de datos.
Es raro que no tuvieran al menos un botón físico de corte de emergencia (EPO) dentro del centro de datos, y un enlace con las alarmas de humo para desenergizar los equipos automáticamente, quizá con retardo.
Las secuencias de operación que escribimos para nuestras salas no apagan los CRAC con la alarma de humo. El código mecánico internacional lo permite si el equipo sirve a un único espacio, porque no extiende el humo por el edificio.
Los CRAC no recirculan oxígeno, pero pueden mover el aire junto a los rociadores más rápido de lo que estos admiten, lo que puede retrasar su activación. Con agente limpio es otra cosa.
Me pasó igual: dije que veía mi casa desde la oficina y me llamaban en pánico para ir a apagar servidores ante un exploit inminente en un puente festivo, sin forma de hacerlo en remoto.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.