El artículo parte de una consulta típica: SELECT item_id, COUNT(*) AS c FROM orders GROUP BY item_id ORDER BY c DESC LIMIT 10. Explica que, con claves de agrupación de alta cardinalidad, casi todas las bases de datos analíticas hacen el GROUP BY de forma parecida. Cada hilo de CPU lee y decodifica un trozo de los datos y los reparte en X particiones según la clave (ClickHouse usa 256), con una tabla hash privada por partición para evitar bloqueos y contención entre cachés. Después, cada worker fusiona un rango de particiones combinando los agregados parciales de todos los hilos, y el resultado final es la concatenación de todas las particiones. Pivot usa otro método distinto de la tabla hash, pero lo deja para otra entrada.
Los autores señalan que, cuando solo se usan unos pocos resultados, este proceso hace mucho trabajo innecesario. Con 4.096 particiones, el top 10 puede estar como mucho en 10 de ellas, así que al menos 4.086 se fusionan sin aportar nada a la respuesta. Citan otros ejemplos habituales: los 100 productos con mejor puntuación, los 50 mayores clientes o los posts con más likes en las últimas 24 horas.
La primera solución, la más ingenua, mantiene un contador total por partición. Durante la fusión se compara con el valor más bajo del TopK actual: si el total de la partición es menor, ningún grupo puede entrar y se salta. Pero solo funciona con distribuciones muy extremas. Una partición con 100 artículos de 15 pedidos cada uno suma 1.500 y no se puede descartar frente a un mínimo de 1.000, aunque ningún grupo se acerque; tampoco se distingue de otra con 99 artículos de un pedido y uno de 1.401, que sí hay que fusionar.
Para afinar, proponen dar a cada partición un número fijo de «ranuras». Cada grupo se asigna a una y esta acumula el agregado combinado de sus grupos. Como ningún grupo supera el total de su ranura, se puede podar la partición si todas las ranuras están por debajo del mínimo del TopK. En el ejemplo, con ocho ranuras la partición de 100 artículos queda con unos 180-195 pedidos por ranura y se descarta entera.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.