Gregg parte de que los benchmarks suelen ejecutarse sin entender qué prueban ni comprobar que los resultados sean válidos. Lo resume así: en el benchmarking casual, se mide A, en realidad se mide B y se concluye que se ha medido C. Los resultados influyen en elegir plataforma de servidores, stack, base de datos o proveedor, por lo que, según él, la precisión importa.
Llama benchmarking pasivo a lanzar la prueba y olvidarse hasta que termina, con el único objetivo de recoger datos. Una señal típica es que lo único que se presenta son los resultados, como un gráfico de barras sin evidencia técnica que lo respalde. Asegura que, cuando ha tenido que examinar esos casos, casi siempre eran erróneos o engañosos.
En el benchmarking activo se analiza el rendimiento mientras la prueba sigue en marcha, con herramientas como vmstat, iostat, mpstat, sar, top, tcpdump, perf, bcc+eBPF/DTrace/SystemTap o strace. Recomienda configurar la prueba para que dure horas en estado estable y guiarse por métodos como USE Method. Así se identifica el limitante real, ya sea del sistema probado o del propio benchmark.
Para juzgar el trabajo ajeno propone preguntar si se usaron otras herramientas durante la prueba y si se puede explicar por qué el resultado fue X y no 2X. Su lista de problemas habituales incluye vecinos que perturban la medición, límites impuestos por software, la red entre cliente y servidor, benchmarks de un solo hilo, versiones distintas en comparativas, medir disco en lugar de sistema de ficheros y cargas poco realistas.
Sobre el análisis estadístico, advierte de que un método sólido puede hacer que unos resultados falsos parezcan fiables. Solo es útil cuando ya se dispone de números válidos: «iostat primero, R después». La página enlaza un ejemplo detallado con Bonnie++ en SmartOS/illumos y Fedora/Linux, y una charla suya de Surge 2013, «Benchmarking Gone Wrong».
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.