Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · alnovis.io

Un agregado es una función, no una suma

Un ingeniero cuenta cómo su equipo calculó informes sobre un flujo de tickets de venta en ClickHouse y Kafka, y por qué fallaron cuatro enfoques. La solución que adoptaron define cada agregado como función de sus documentos, no como suma acumulada de lo insertado.

Foto: vía alnovis.io

Leer el artículo aquíArtículo original (alnovis.io) 0 comentarios en Hacker News

Escucha la noticia3 min

El sistema guarda tickets de venta de todas las cajas registradoras, que llegan por Kafka y se almacenan como documentos en ClickHouse. Sobre ellos se construyen informes: totales por turno de cajero, por hora y por día de una tienda, o ingresos agrupados por un campo personalizado. Lo difícil, explica el autor, no es el volumen sino tres propiedades del flujo: los documentos llegan duplicados (Kafka entrega al menos una vez), llegan tarde (una caja sin conexión puede enviar su atraso una semana después) y el proceso de agregación a veces se detiene y, al volver, no debe perder nada.

El primer intento usó vistas materializadas al insertar, con sumas parciales en un SummingMergeTree. Es rápido, pero un ticket reenviado se suma dos veces y el agregado no registra qué documentos han contribuido. El segundo recalculaba desde la tabla ancha, deduplicando por clave de documento; era correcto, pero la tabla estaba ordenada por caja y número de documento, no por tiempo, así que un filtro por fecha leía 46 millones de filas para usar 508.000. El tercero comprobaba antes de sumar si la clave ya se había visto, con un diccionario de ClickHouse en memoria: con 161 bytes por clave, un mes de claves no cabía en producción, el diccionario no cargaba, cada inserción escribía sus filas y luego fallaba, y los reintentos generaban más copias. El cuarto no almacenaba nada y calculaba todo al leer, con GROUP BY por clave; era correcto, pero un informe de 600 turnos leía unos 3.500 millones de filas y, con cuatro clientes, tardaba 119 s o se agotaba.

El texto repasa cómo lee ClickHouse: las tablas MergeTree se dividen en gránulos de 8.192 filas con un índice primario disperso, de modo que lo que lee una consulta depende más de la disposición de las filas que de cuántas necesita. En la tabla estrecha del cuarto intento, ordenada primero por hora, las filas de 150 cajas estaban intercaladas y un informe tocaba casi todos los gránulos del mes.

Ninguno de los fallos en producción se debió a almacenar un agregado. El diseño final parte de la unidad mínima, la celda, definida por caja, turno y hora en UTC. Cada documento pertenece a una sola celda, calculada a partir de tres columnas y no guardada. El valor de la celda es una función de sus documentos: se toma la última versión de cada documento por tiempo de escritura (así el reenvío se colapsa) y se suma cada medida; para primeros y últimos valores se usan mínimo y máximo.

En Hacker News

«An Aggregate Is a Function, Not a Sum» · puesto 18 · 6 puntos · enviado por alnovis

Lo que dicen los comentarios

El post no tiene comentarios por ahora, así que no hay conversación que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.