Lunes, 16 de noviembre de 2026
Portada de las 07:40
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Programación · github.com

Retirar pgrust de ClickBench: la entrada hace trampas (kernels por consulta y caché de resultados)

Alexey Milovidov, de ClickHouse, propone eliminar pgrust de ClickBench porque su binario v0.4-preview llevaría kernels escritos a mano para cada consulta del benchmark y una caché que repite respuestas. El creador del proyecto lo niega y presenta una versión posterior en open source.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 145 comentarios en Hacker News

Escucha la noticia1 min

La pull request, abierta por Alexey Milovidov en el repositorio de ClickBench, pide quitar pgrust, una reimplementación de PostgreSQL en Rust, de la clasificación del benchmark. Según el texto, el binario v0.4-preview incluye un kernel escrito a mano por cada consulta de ClickBench (archivos q00.rs a q36.rs en crates/gravity/backend/irprobe/src), además de detectores de planes con los nombres de las consultas del benchmark.

También describe una caché de veredictos de filtros entre consultas que haría que las ejecuciones en caliente repitieran la respuesta de la ejecución anterior sin tocar los datos. Y añade que consultas apenas modificadas, como SELECT MIN(URL) FROM hits, se rechazan con un error.

La descripción completa de la PR, con los detalles, no figura en el texto disponible, que solo recoge el mensaje del commit.

En Hacker News

«Remove pgrust: the entry is cheating (per-query kernels and result caching)» · puesto 12 · 188 puntos · enviado por f311a

Lo que dicen los comentarios

El creador de pgrust, malisper, sostiene que las acusaciones son en su mayoría falsas: dice que el código señalado no se ejecuta en el benchmark, que era código escrito a mano sobre su representación intermedia (Gravity IR) para medir el potencial del motor, y que la versión 0.4-beta, publicada un día antes, permite auditarlo todo. Otros comentaristas piden comprobar primero que el binario coincide y, ante la pregunta de por qué se publica código tarde, malisper explica que mantienen una versión interna de desarrollo por refactorizaciones que luego deshacen. Varios desconfían del proyecto, lo tachan de «vibe coded» y piden que no vuelva al benchmark; se enlaza una segunda ronda (PR 2751). Otra línea critica los resúmenes de PR tan largos, probablemente generados por LLM, y propone datos aleatorizados en los benchmarks. Un comentario técnico analiza el código de la beta: la velocidad de pgrust vendría de combinar dictionary encoding, zone maps, late materialization y vectorización, y de aplicarlas de forma más agresiva que ClickHouse.

  • Las acusaciones son en su mayoría falsas. Era una versión previa, pgrust 0.4-preview; ayer publicamos la 0.4-beta, que se puede auditar entera. El código que señala Alexey no se ejecuta durante el benchmark.
    — malisper, leer el comentario
  • Hemos mantenido una versión interna de desarrollo por delante de la pública porque hacemos refactorizaciones grandes y muchas las deshacemos. Cuando algo está listo para uso público, lo publicamos como open source.
    — malisper, leer el comentario
  • Habría que prohibirlo por precaución: o lo añadió un agente de código y nadie lo miró, o alguien lo sabía y lo aprobó, que sería malicioso. En ambos casos no muestra responsabilidad.
    — ActionHank, leer el comentario
  • Desactivar las optimizaciones de diccionario en pgrust lo hizo 5 veces más lento, de 3,8 s a 20,4 s en mi máquina, mientras ClickHouse tarda 15,0 s en total.
    — remywang, leer el comentario
  • Mi opinión: (algunos) resultados de benchmarks deberían ejecutarse con datos aleatorizados, porque un resultado fijo permite devolver respuestas en caché.
    — bmacho, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.