Lunes, 16 de noviembre de 2026
Portada de las 19:35
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · paradedb.com

¿Todavía hay que desnormalizar? Tenga su esquema y búsquelo también

El equipo de ParadeDB, extensión de búsqueda para Postgres, presenta un ejecutor de «search joins» basado en Apache DataFusion. Asegura que una consulta de búsqueda sobre tres tablas en el dataset de StackOverflow pasa de unos dos minutos en Postgres a 100 ms, sin copiar los datos a Elasticsearch.

Foto: vía paradedb.com

Leer el artículo aquíArtículo original (paradedb.com) 39 comentarios en Hacker News

Escucha la noticia3 min

El artículo parte de un modelo normalizado como el de StackOverflow: users (2,3 M de filas), posts (20 M), comments (29 M) y badges (29,4 M). La consulta de ejemplo busca «ocaml» con OR en el perfil del usuario, el título del post y el texto del comentario, ordena por la suma de las puntuaciones de relevancia de las tres tablas y devuelve 20 resultados. Según ParadeDB, el enfoque habitual obliga a elegir entre desnormalizar en Elasticsearch mediante un ETL frágil, con el coste de escritura y espacio (hasta 3x tras la replicación), o quedarse en Postgres y aceptar consultas lentas.

En Postgres puro, con B-Tree y GIN y ocho workers en paralelo, esa consulta tarda unos 118.000 ms. Como un comentario sin «ocaml» puede coincidir por su post o su usuario, no se puede filtrar antes de unir: hay que unir 28,5 M de filas, sumar las puntuaciones de cada tripleta y solo entonces ordenar y quedarse con 20. Reescribirla como un UNION ALL de 84 líneas baja el tiempo a 1,2 s con un término raro, pero con uno común sube a 14 s.

ParadeDB intercepta el plan mediante los hooks del planificador de Postgres cuando reconoce una search join y entrega todo el JOIN, junto con LIMIT o GROUP BY, a un ejecutor columnar construido sobre Apache DataFusion. El índice guarda las claves de join y las columnas proyectadas junto al BM25. Por el join solo circulan identificadores internos de documento y claves, las columnas se leen al final (late materialization) y las comprobaciones de visibilidad MVCC se aplican después de que el join haya reducido las filas, consultando el Visibility Map antes de tocar el heap. El resto de consultas siguen usando el planificador y el ejecutor estándar de Postgres.

Para el Top-K, la versión 0.26.4 incorpora un operador llamado Rank Join, que lee cada entrada en orden descendente de puntuación y va construyendo conjuntos candidatos, en lugar de unir todo y ordenar al final. Con él, la consulta original tarda entre 100 y 600 ms en un solo núcleo, sea cual sea la selectividad del término. Para las agregaciones (facetas) se apoya en tuple tagging, co-particionado de índices y late materialization, sin tocar el heap. El texto enlazado se interrumpe antes de explicar el Rank Join en detalle.

En Hacker News

«Do we still have to denormalize? Have your schema and search it too» · puesto 28 · 112 puntos · enviado por philippemnoel

Lo que dicen los comentarios

La discusión gira en torno a la técnica y a si el planteamiento es el adecuado. Un comentarista relaciona el Rank Join con WAND y con el artículo de Snowflake sobre poda Top-K, y el autor matiza que se parece más al Threshold Algorithm de Fagin, porque WAND recorre por doc-id y no por puntuación. Otros ponen reparos: que el título promete más de lo que cumple (para algunos casos sigue haciendo falta desnormalizar), que un ETL separado permite enriquecer e iterar la calidad de la búsqueda, o que la consulta de ejemplo mezcla coincidencias irrelevantes y sería mejor un UNION ALL o tres consultas separadas. Aparecen también preguntas prácticas sobre la disponibilidad en CloudSQL, el filtrado por facetas sin texto y las actualizaciones frecuentes, y un pequeño debate sobre si desnormalizarlo todo es viable hoy.

  • Los motores como Tantivy usan WAND para puntuar entre términos, pero WAND no une en orden descendente de puntuación, sino por doc-id. Este algoritmo se parece más al Threshold Algorithm de Fagin, la primera versión de un rank join.
    — stuhood, leer el comentario
  • Normalmente conviene poner un ETL entre la base de datos y el índice de búsqueda para enriquecer los datos y poder probar estrategias de indexación. ParadeDB parte de saltarse todo eso, y creo que suele ser un error.
    — jillesvangurp, leer el comentario
  • No entiendo la consulta del artículo: quiero que «ocaml» case con el about_me del usuario, pero no a través de posts y comentarios irrelevantes. Ejecutaría tres consultas separadas y fusionaría los resultados yo mismo.
    — amluto, leer el comentario
  • Parece emocionante para algunas búsquedas (top k), pero el titular no encaja: sí, todavía hay que desnormalizar. Solo que no en algunos de los casos de uso a los que apunta ParadeDB.
    — dan_thinks, leer el comentario
  • No es tan sencillo, como dice el artículo: si lo desnormalizas todo, cada vez que cambias un nombre de usuario tienes que actualizar todos sus posts y comentarios, lo cual sale caro.
    — oulipo, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.