Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Empresas · posthog.com

Dejamos DuckDB en nuestro data warehouse

PostHog cuenta por qué, cinco meses después de reconstruir su data warehouse sobre DuckDB en lugar de ClickHouse, lo ha rediseñado otra vez sin DuckDB. Alega problemas de dimensionado en la nube, de escalado de DuckLake y de compatibilidad con Postgres. Ahora usa su propia variante de Trino y un formato propio, HogLake.

Foto: vía posthog.com

Leer el artículo aquíArtículo original (posthog.com) 107 comentarios en Hacker News

Escucha la noticia3 min

PostHog reconstruyó hace cinco meses su data warehouse sobre DuckDB y no sobre ClickHouse. El motivo era que un clúster compartido de ClickHouse no aguantaba consultas de modelado de varias horas y carecía de un optimizador de consultas basado en costes. Con DuckDB cada cliente tenía su propia instancia y herramientas como dbt podían conectarse por el protocolo de Postgres. La empresa sigue considerándose fan de DuckDB y lo describe como probablemente la mejor herramienta de un solo nodo para analizar grandes volúmenes de datos.

Los problemas llegaron en la nube. Los clientes lanzaron consultas más complejas de lo previsto y hubo que añadir instancias enormes; añadir discos habría hecho las consultas demasiado lentas y caras. Un motor de un solo nodo obliga a dimensionar el worker antes de que llegue la consulta, y PostHog no encontró una forma razonable de decir a los clientes qué recursos necesitaría cada una, ni de predecir su CPU y memoria. También se topó con cuellos de botella como la lectura de muchos datos desde S3 sin carga asíncrona, algo que DuckDB añadió hace poco.

Con DuckLake, el formato de lakehouse de los creadores de DuckDB, el catálogo debe seguir siendo portable entre bases de datos SQL, lo que limita las optimizaciones. A escala de PostHog, escribir en una sola tabla podía tardar más de tres minutos porque cada commit releía las estadísticas de todo el catálogo. Más del 99 % de las filas de estadísticas pertenecían a tablas que ya no existían; limpiarlas aceleró las escrituras entre 30 y 50 veces, pero las filas volvían a crecer. También les costó el número de conexiones que DuckLake abre a las bases de metadatos. Al abandonarlo, la instancia de PostHog guardaba unos 2 PB, cerca de un billón de filas y 15,3 millones de snapshots. Al no poder aprobar cambios con la rapidez necesaria, mantuvieron parches en un fork.

Ofrecer conexiones directas de Postgres por el puerto 5432 resultó mucho más difícil de escalar que HTTP: reconexiones, TTL y conexiones inactivas, coste de las conexiones largas y poco soporte para balancear carga de pgwire frente a HTTP. Además, cada cliente de Postgres espera comportamientos propios y los clientes pedían arreglos sin que la cobertura llegara a ser suficiente. Ahora PostHog ha reconstruido todo sobre su propia versión de Trino y un formato de tablas abierto propio, HogLake, que prueba primero a escala de petabytes en PostHog antes de entregarlo a design partners.

En Hacker News

«Moving our warehouse off DuckDB» · puesto 29 · 162 puntos · enviado por emschwartz

Lo que dicen los comentarios

Los comentarios son mayoritariamente escépticos: se ve mucho cambio de tecnología en poco tiempo, poca medición y un artículo que acaba sin decir si la nueva arquitectura resuelve los problemas. Se comparan con equipos que migran por gusto en lugar de afinar, y hay quien ve en HogLake y el fork de DuckLake más excusas que introspección. Un comentario recuerda que PostHog ya cambió de plataforma varias veces, y otro propone volver a ClickHouse sobre Iceberg. El autor interviene para aclarar que esto no es su almacén interno, que sigue en ClickHouse, sino el producto de warehouse que ofrecen a clientes, y que usan Trino para modelado de larga duración y ETL nocturnos, no para respuestas rápidas. También enlaza al fork público de DuckLake y admite que quizá debieron parar antes a reflexionar. Aparte, algunos critican el diseño web de PostHog.

  • Pasaron de ClickHouse a DuckDB hace cinco meses y ahora a su propio derivado de Trino. El artículo acaba sin decir si lo nuevo resuelve nada. Me recuerda a equipos que cambiaban de stack cada seis meses porque les gustaba migrar más que afinar.
    — Aurornis, leer el comentario
  • ¿Me falta algo, o el único detalle técnico es que un billón de filas son muchos datos y a lo mejor Trino funciona esta vez? Parece mucho cambio y poca medición o ingeniería.
    — 0c3ca83, leer el comentario
  • Me pregunto si han pensado en volver a ClickHouse. Su soporte de Iceberg ha mejorado mucho: se puede ejecutar ClickHouse sin estado sobre Iceberg, lo que resuelve la tenencia múltiple y aguanta petabytes.
    — hasyimibhar, leer el comentario
  • Soy el autor. Esto no trata de nuestro almacén interno, sino del producto de warehouse que ofrecemos a clientes. El interno sigue en nuestro ClickHouse centralizado, donde los modelados largos y la multitenencia son un reto.
    — roboben, leer el comentario
  • Ahora tienen su «propia versión» de Trino y un formato nuevo, «HogLake». Da la impresión de poner excusas con poca introspección. Estaría bien ver su fork de DuckLake, los parches y las issues para que la comunidad aprenda.
    — heliosAtwork, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.