Masurel empezó en Exalead como ingeniero de front-end y después trabajó en el motor de búsqueda de Indeed en Japón, basado en Lucene 2.4. En 2016, durante un vuelo de Tokio a París, leyó el libro de Rust y quiso probar el lenguaje en un proyecto real, con IO, gestión de errores y multihilo. Construir un motor de búsqueda le servía además para poner a prueba lo que sabía del tema. Cuenta que Rust influyó en cómo se organiza el código, pero que la inspiración arquitectónica es Lucene: Tantivy es una librería, no un servidor, y deja la distribución y la orquestación a quien la integre.
Su objetivo eran empresas para las que la búsqueda es tan central que acabarían construyendo su propio motor en lugar de usar soluciones como Elasticsearch, que suelen acabar en Lucene y, por tanto, en Java. Por eso quiso Tantivy pequeño y modular, con tokenizer y parser de consultas intercambiables. Todavía rechazan a veces PRs con funciones de nicho y prefieren los que permiten implementarlas fuera de la librería, aunque admite que ese principio pesa menos que antes. Según el artículo, usa finite state transducers para el diccionario de términos, compresión acelerada con SIMD para el índice invertido y E/S con memoria mapeada.
Jason Wolfe, su manager en Indeed, creó Search Benchmark, the Game, un banco de pruebas reproducible en el que Tantivy llegó a ser a menudo el doble de rápido que Lucene. Adrien Grand (entonces en Elastic) y Mike McCandless (Amazon) lo usaron para mejorar Lucene, y algunos parches inspirados en Tantivy entraron en Lucene. Masurel reconoce que hoy Lucene supera a Tantivy en muchos apartados y que Tantivy va con retraso en implementar las optimizaciones que Grand dejó como tickets en GitHub. Defiende que competir no tiene por qué ser una enemistad, sobre todo en open source.
Lo más difícil de mantener el proyecto, dice, es revisar contribuciones y a veces rechazarlas, algo que desde la adquisición de Quickwit por Datadog en 2024 le resulta aún más complicado por falta de tiempo y energía. El artículo añade que Tantivy es hoy la base de Quickwit, LNX, ParadeDB y Turso, entre otros, con usos tan distintos como la búsqueda de logs a gran escala o la búsqueda transaccional dentro de Postgres. El texto termina cortado en mitad de una pregunta sobre las contribuciones de ese ecosistema.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.