Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · github.com
Eliminar pgrust: la entrada hace trampas
Alexey Milovidov, de ClickHouse, pide retirar pgrust, una reimplementación de PostgreSQL en Rust, del benchmark ClickBench. Afirma que su binario incluye código escrito a mano para cada consulta del test y una caché de resultados. Las consultas ligeramente alteradas se rechazan con un error.
Foto: vía github.com
1 medio · MadridPublicada 23 oct, 12:50Actualizada 23 oct, 17:15· Ya no está en portadaEscrita por IA · cómo funciona
La pull request, abierta en el repositorio de ClickBench, sostiene que el binario v0.4-preview de pgrust incorpora un kernel escrito a mano para cada una de las consultas del benchmark, desde q00.rs hasta q36.rs, en la ruta crates/gravity/backend/irprobe/src.
Según el texto, el binario contiene además «plan matchers» con el nombre de las consultas de ClickBench y una caché de veredictos de filtros compartida entre consultas. Con ella, las ejecuciones en caliente repiten la respuesta de la ejecución anterior sin tocar los datos.
Como prueba, la descripción señala que consultas con perturbaciones triviales, como SELECT MIN(URL) FROM hits, son rechazadas con un error. El texto remite a la descripción completa de la PR para los detalles.
En los comentarios se menciona una segunda PR (la 2751) con un nuevo intento de incluir pgrust en el benchmark.
«Remove pgrust: the entry is cheating» · puesto 25 · 164 puntos · enviado por f311a
Lo que dicen los comentarios
La conversación gira en torno a la confianza en el proyecto. Varios comentaristas piden mantenerlo fuera de ClickBench hasta que madure, y se discute si el código se coló por un agente de programación sin revisar o con conocimiento de una persona. Otro hilo pregunta por la práctica de publicar solo binarios y abrir el código semanas después, que algunos atribuyen al uso intensivo de IA y otros, incluido uno que dice pertenecer al proyecto, a refactorizaciones internas. Una voz critica que el hilo se esté usando para atacar a los proyectos generados con IA y defiende que el autor ha intentado corregir el error con la segunda PR; otros responden que esa corrección llegó tras ser descubierto y que no ven un reconocimiento explícito. También hay quien duda de si «alegado» es la palabra adecuada, quien propone benchmarks con datos aleatorizados y quien se queja de lo largas que son las descripciones de las PR, que sospecha escritas por LLM.
Debería prohibirse de entrada, por precaución. O lo añadió un agente de código y nadie lo miró, o una persona lo sabía y lo aprobó, y eso sería malicioso. En ambos casos no conviene darle plataforma.
No es normal. Es una tendencia nueva de gente que usa demasiada IA, con bucles de agentes que acaban en pocos commits que tocan miles de archivos. Muchos Show HN llegan a GitHub como un único commit.
Lo hacíamos porque solemos hacer grandes refactorizaciones, muchas de las cuales hemos descartado. Por eso mantenemos una versión interna de desarrollo por delante de la pública, y la abrimos cuando lo que desarrollamos está listo.
Antes de la IA ya se publicaban benchmarks engañosos, a veces por trampa y otras por error. Lo importante es que el autor lo reconozca y lo corrija, y aquí parece que ha ocurrido. Buena parte del hilo ignora eso.
Sospecho que el autor de esa PR la envió porque lo pillaron. Perdonar a quien rectifica tras ser descubierto fomenta la conducta. Ni el proyecto ni el autor merecen confianza; lo contrario es ingenuo.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.