Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · pivotlake.io
Es la latencia de memoria, estúpido
Un artículo del blog de Pivot explica por qué una CPU al 100 % puede estar haciendo muy poco: pasa la mayor parte del tiempo esperando a la RAM. Lo demuestra con un GROUP BY sobre ClickBench y contadores de perf, y propone particionar por radix para aprovechar las cachés.
1 medio · MadridPublicada 31 oct, 20:40Actualizada 1 nov, 11:05· Ya no está en portadaEscrita por IA · cómo funciona
El texto arranca con una idea: el 100 % que muestra la consola de un servidor no dice cuánto trabaja realmente la CPU. Un núcleo solo figura como inactivo si ninguna tarea de Linux necesita CPU, pero eso no significa que esté saturado. Según el autor, la causa habitual es la memoria. Una CPU moderna puede ejecutar entre 4 y 8 instrucciones por nanosegundo, mientras que un acceso a RAM tarda entre 50 y 100 ns, es decir, unas 400-800 instrucciones por cada acceso. Las cachés L1, L2 y L3 mitigan el problema, pero son pequeñas: la L1 ronda los 64 KB.
Para ilustrarlo usa una agregación GROUP BY. El método ingenuo mantiene una tabla hash por clave de grupo que va creciendo; con millones de grupos casi todos los accesos son «fríos» y van a RAM. El autor reduce el motor Pivot a ese bucle mínimo y ejecuta SELECT count(*), UserID FROM hits GROUP BY UserID sobre el dataset hits de ClickBench (99 millones de filas, unos 17 millones de UserID distintos). Lo hace en un servidor bare metal con un AMD EPYC 9124 y 128 GB de DDR5, con un solo núcleo fijado con taskset. La consulta tarda 3,9 s la primera vez y 3,6 s la segunda, ya con los datos en la page cache.
Las mediciones con perf stat muestran que el 50,1 % de los slots de la CPU se pierde esperando a memoria y que solo el 16,1 % retira operaciones. Además, se contabilizan unos 76 millones de cargas servidas desde DRAM; a 64 bytes por línea de caché, unos 4,5 GB leídos de RAM, sin contar prefetching.
Como mejora, el autor aplica radix partitioning en dos fases. En la primera, cada clave se hashea y se reparte en una de 4096 particiones según los 12 bits superiores del hash. En la segunda, se recorre cada partición por separado, se agrega en una tabla hash propia y se emite el resultado. Hace más operaciones que antes, pero cada tabla es lo bastante pequeña como para trabajar sobre la caché. El texto que se conserva termina justo al empezar a explicar esta ventaja.
«It's the memory latency, stupid» · puesto 30 · 237 puntos · enviado por ntur1337
Lo que dicen los comentarios
Buena parte de la conversación gira en torno a la «simpatía mecánica» (escribir código pensando en el hardware) y a lo poco que se practica. Varios comentaristas cuentan casos propios: desde equipos que daban por hecho que un servicio con la CPU al 100 % no podía ir más rápido, hasta revisiones de código donde se tachaba de «optimización prematura» una reorganización de datos respaldada por benchmarks. También se discute si el problema actual del software es la acumulación de abstracciones. Otra parte del hilo cuestiona la novedad del artículo: alguien señala que la agregación particionada por radix es una técnica conocida y pregunta por qué existe Pivot habiendo DuckDB y ClickHouse, a lo que otros responden que el texto no pretende ser novedoso, sino didáctico. Hay además una petición de una versión actualizada del clásico documento de Drepper sobre memoria.
Trabajo con otro equipo que usa mucho paso de mensajes, métodos virtuales de C++ en jerarquías profundas y contenedores STL estándar en un STM32MP1 con muy poca caché. La simpatía mecánica parece un arte perdido; tuve que demostrarles con benchmarks que yo no sería el cuello de botella.
Me han rechazado en revisión de código reorganizar estructuras de datos para ser más amigables con la caché, por «optimización prematura», aunque había benchmarks que mostraban una diferencia grande y relevante para el negocio. Era la época del Clean Code.
Recuerdo una discusión larguísima con un equipo convencido de que el servicio no podía atender peticiones más rápido porque las CPU ya estaban al 100 %. Al final triplicamos las peticiones por segundo limpiando los patrones de acceso a memoria.
¿Esto no es simplemente agregación con particionado por radix? La agregación jerárquica de dos niveles fijos es antigua. ¿Qué hay de novedoso? No entiendo por qué existe este proyecto habiendo DuckDB y ClickHouse.
Del propio artículo: «usaremos un método llamado radix partitioning». No creo que afirmaran que fuera novedoso; parecía un artículo que explica una optimización de rendimiento.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.