Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN
Show HN: RealtimeVAD – falsos positivos a cambio de detectar el fin del habla 110 ms antes
RealtimeVAD es una librería en Python que detecta el final del habla unos 100 ms antes que Silero VAD. Añade a Silero un detector de energía cada 10 ms con umbral adaptativo al ruido. A cambio, genera muchas más pausas falsas, pensadas para pipelines de voz con generación especulativa.
Foto: vía github.com
1 medio · MadridPublicada 13 nov, 09:15· Ya no está en portadaEscrita por IA · cómo funciona
El autor se fijó, en los informes de latencia de su asistente de voz local, en que Silero tarda en marcar el fin del habla. Su solución fue un detector de energía de 10 ms con un umbral que se adapta al ruido de la sala. Reconoce que produce más falsos positivos, pero en su pipeline de generación especulativa eso importa poco: si el usuario sigue hablando, aborta el proceso. Lo midió con unos 3.200 turnos de los registros de su asistente y salió unos 110 ms más rápido; tras corregir un problema con el habla baja, la ventaja es de unos 100 ms.
RealtimeVAD mantiene Silero para decidir qué es voz y añade una segunda comprobación: cada 10 ms compara el nivel del audio con el ruido de la sala y con el nivel del propio hablante. Emite eventos start, pause y end, y permite recuperar el audio del segmento en curso. Admite audio mono a 16 kHz, funciona en un solo hilo de CPU y solo necesita numpy y onnxruntime, con el modelo de Silero incluido y sin torch. Está en alfa (0.0.5) y la API puede cambiar.
Sobre 3.279 turnos reales, el fin de voz llega una mediana de 100 ms antes de que la probabilidad de Silero caiga bajo 0,5, y 206 ms antes de que el VADIterator de Silero declare el final. El evento end llega antes que el de Silero en el 82 % de los turnos, con una mediana de 70 ms, y nunca después. El precio: pause salta unas diez veces más a menudo que Silero (1,5 veces por segundo de habla frente a 0,14), porque se dispara en respiraciones, pausas entre palabras y consonantes oclusivas. Por eso el README recomienda usarlo solo para trabajo cancelable (transcribir, llamar al LLM, preparar la voz) y esperar a end si no se puede cancelar rápido.
El autor documenta también los límites. Con hablantes muy bajos o líneas telefónicas ruidosas, cuando el ruido está a menos de unos 20 dB de la voz, la ventaja desaparece y el detector acaba donde Silero. Desde la 0.0.5 el umbral de silencio sigue el nivel del hablante para no cortar a quien habla bajo. El proyecto incluye un script de benchmark para medirlo con grabaciones propias, una demo con micrófono, un sustituto directo del VADIterator de Silero y un plugin para LiveKit Agents.
«Show HN: RealtimeVAD – trading false positives for 110ms earlier end-of-speech» · puesto 27 · 24 puntos · enviado por koljab
Lo que dicen los comentarios
Con solo tres comentarios, la conversación gira en torno a otras formas de recortar la latencia en asistentes de voz. Un usuario describe su propio sistema de «regeneración especulativa», que envía la transcripción al LLM tras cada 300 ms de silencio y cancela si el usuario vuelve a hablar. Otro propone un modelo pequeño y rapidísimo que, a partir del turno anterior y de la transcripción parcial, estime la probabilidad de que el usuario haya terminado, y que además permita esperar más cuando no ha acabado. El autor del post agradece la idea, sobre todo la parte de esperar más.
Cada 300 ms de silencio envío la transcripción al LLM y dejo que empiece a responder; si el usuario vuelve a hablar antes del token de fin de turno, cancelo la generación y espero otros 300 ms.
Ejecuta un LLM diminuto y rapidísimo, dale el turno anterior y el STT acumulado y pídele la probabilidad de que el usuario haya terminado. Úsala para acortar el tiempo de VAD; además permite esperar más si no ha acabado.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.