El artículo, firmado por Ming Ying, retoma la primera parte, en la que ParadeDB mejoró en órdenes de magnitud el rendimiento del Top K con BM25. Aquí se centra en COUNT, con el mismo conjunto de datos de Wikipedia y el mismo banco de pruebas que en el post original sobre TIN. Tras la parte de COUNT, pasa a consultas con filtros y ordenaciones distintas, donde afirma ser hasta 66 veces más rápido.
La primera optimización es el particionado de segmentos. Al perfilar una consulta simple (contar documentos con el término «database»), más del 80 % de los accesos a página (1.382 de unos 1.700) correspondían a la comprobación de visibilidad, porque por cada coincidencia hay que leer y decodificar su ctid. ParadeDB y TIN guardan los datos en una estructura parecida a un árbol LSM, con segmentos inmutables que se fusionan por tamaños. Con una fusión ingenua, cada segmento es en la práctica una muestra aleatoria del conjunto. La nueva estrategia de particionado y fusión, basada en el artículo de compactación Spooky LSM, permite dividir los segmentos por los valores de una o varias columnas; el equipo promete un análisis técnico más adelante. Particionando por ctid, cada segmento cubre un rango disjunto de páginas de Postgres. Como cada segmento ya guarda su ctid mínimo y máximo, se puede consultar el visibility map de antemano y, si todas las páginas del rango son all-visible, saltarse la comprobación de visibilidad de todo el segmento. En la consulta de prueba, los accesos de visibilidad bajaron de 1.382 a 30.
La segunda optimización cubre el caso en que alguna página del rango sí requiere comprobación. En lugar de guardar un ctid por documento y leerlo por cada coincidencia, ParadeDB invierte el mapa: una columna comprimida que asocia cada número de página de Postgres con el primer DocId de esa página. Como los segmentos ya están ordenados por ctid, los documentos de una misma página tienen DocIds consecutivos, y solo se consultan los ctid de los rangos de páginas que lo necesitan. Tras actualizar 1.000 filas, los accesos a buffer pasaron de más de 7.500 a menos de 400, un 95 % menos.
La tercera es usar bitmaps para términos muy comunes. Tantivy codifica las listas de postings con BP128 (bloques de 128 con delta y bitpacking), que funciona bien salvo en términos con listas densas, donde intersecar o unir arrays grandes resulta caro. Con bitmaps, las operaciones AND/OR procesan 64 documentos a la vez. ParadeDB los usa para términos que aparecen en más del 10 % de los documentos, y solo este cambio redujo a la mitad la latencia p99 en el benchmark de COUNT de Wikipedia.
En la segunda mitad, el artículo compara con TIN en consultas sobre el conjunto de datos de Hacker News. En un COUNT del término «database» con filtro score > 10, ParadeDB sostiene 777 QPS frente a 78 de TIN (10,0 veces más). En un Top 10 por relevancia BM25 con el mismo filtro, 820 QPS frente a 71 (11,6 veces). El texto presenta ParadeDB como alternativa a Elasticsearch sobre Postgres y sostiene que BM25 y los recuentos son solo la punta del iceberg de las consultas reales en producción.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.