Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · pivotlake.io

¿Se puede seguir optimizando GROUP BY después de tantos años?

El equipo de Pivot, una base de datos analítica, describe una optimización para las consultas GROUP BY que buscan los K grupos con mayor valor agregado, como los 10 artículos con más pedidos. La idea es descartar particiones enteras sin fusionarlas, usando contadores por «ranuras» en cada una.

Leer el artículo aquíArtículo original (pivotlake.io) 17 comentarios en Hacker News

Escucha la noticia3 min

El artículo parte de una consulta típica: SELECT item_id, COUNT(*) AS c FROM orders GROUP BY item_id ORDER BY c DESC LIMIT 10. Explica que, con claves de agrupación de alta cardinalidad, casi todas las bases de datos analíticas hacen el GROUP BY de forma parecida. Cada hilo de CPU lee y decodifica un trozo de los datos y los reparte en X particiones según la clave (ClickHouse usa 256), con una tabla hash privada por partición para evitar bloqueos y contención entre cachés. Después, cada worker fusiona un rango de particiones combinando los agregados parciales de todos los hilos, y el resultado final es la concatenación de todas las particiones. Pivot usa otro método distinto de la tabla hash, pero lo deja para otra entrada.

Los autores señalan que, cuando solo se usan unos pocos resultados, este proceso hace mucho trabajo innecesario. Con 4.096 particiones, el top 10 puede estar como mucho en 10 de ellas, así que al menos 4.086 se fusionan sin aportar nada a la respuesta. Citan otros ejemplos habituales: los 100 productos con mejor puntuación, los 50 mayores clientes o los posts con más likes en las últimas 24 horas.

La primera solución, la más ingenua, mantiene un contador total por partición. Durante la fusión se compara con el valor más bajo del TopK actual: si el total de la partición es menor, ningún grupo puede entrar y se salta. Pero solo funciona con distribuciones muy extremas. Una partición con 100 artículos de 15 pedidos cada uno suma 1.500 y no se puede descartar frente a un mínimo de 1.000, aunque ningún grupo se acerque; tampoco se distingue de otra con 99 artículos de un pedido y uno de 1.401, que sí hay que fusionar.

Para afinar, proponen dar a cada partición un número fijo de «ranuras». Cada grupo se asigna a una y esta acumula el agregado combinado de sus grupos. Como ningún grupo supera el total de su ranura, se puede podar la partición si todas las ranuras están por debajo del mínimo del TopK. En el ejemplo, con ocho ranuras la partición de 100 artículos queda con unos 180-195 pedidos por ranura y se descarta entera.

En Hacker News

«Can GROUP BY still be optimized after all these years?» · puesto 29 · 106 puntos · enviado por ntur1337

Lo que dicen los comentarios

El post no tiene comentarios por ahora, así que no hay conversación que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.