Lont, empresa que convierte correos corporativos en vídeos personalizados, se encontraba con trabajo manual doble en los subtítulos: corregir palabras mal entendidas y arreglar la maquetación, por ejemplo líneas que acaban en «the». Overtone nace para reducir ese trabajo. Usa varios modelos de voz a texto (gpt-transcribe, Azure STT y, opcionalmente, ElevenLabs Scribe). Cuando discrepan, reenvía pequeños fragmentos de audio a los modelos y un LLM decide qué se dijo, apoyándose en un prompt de contexto opcional y en su conocimiento del mundo. Según el autor, el WER (tasa de error de palabras) en muchos archivos de prueba es menor que con un modelo solo. Reconoce que el coste es mayor, hasta tres modelos más un LLM, y que quizá no compense en usos de volumen ultraalto.
Un cortador basado en reglas divide la transcripción en subtítulos según la forma de pantalla: 16:9 y 9:16 por defecto, o cualquier otra proporción en el formato Overtone. Las pausas se convierten en saltos, los subtítulos se agrupan por hablante y los nombres y cifras no se reparten entre varios subtítulos. El fichero .overtone.json guarda cada palabra una sola vez, con su tiempo y su hablante, y los cortes apuntan a esas palabras. Se puede exportar a WebVTT o SRT por cada corte.
El LLM nunca fija marcas de tiempo: cada palabra toma su tiempo de los motores de voz. Las correcciones de las que el modelo no está seguro van a una lista de revisión. El plugin de video.js, con cinco paquetes de estilo, permite alternar entre subtítulos con estilo, subtítulos simples y sin subtítulos, de modo que no hace falta incrustarlos en el vídeo. Con overtone burn se pueden grabar en un MP4.
Para probar solo el cortador basta ejecutar «npx overtone-captions recut sub.srt», que funciona sin conexión y sin clave de API. La transcripción con claves de API admite --dry-run, que muestra una estimación del coste antes de enviar nada, y --local, que usa whisper.cpp y Ollama. En el benchmark, pequeño y público, el 0,3 % de los saltos de línea de Overtone acaba en una palabra como «the», «of» o «and» sin pausa, frente al 28,8 % del relleno hasta el límite y el 16,1 % de la exportación SRT de ElevenLabs. En texto, en los 5 clips en que todos los motores devolvieron resultado, el WER fue del 5,3 %, frente al 6,2 % de gpt-transcribe solo y el 7,7 % de Azure Speech solo. El coste va de 0,023 a 0,025 dólares por minuto de audio (0,029 con ElevenLabs Scribe).
Entre los límites, las reglas completas de corte de líneas y de números existen solo para inglés y neerlandés; alemán, francés, español, italiano y portugués tienen detección de idioma, y el resto recibe reglas neutras. En chino, japonés y tailandés una «palabra» es una frase entera. No traduce, no etiqueta sonidos como [music], no tiene editor gráfico y admite medios de hasta 2 horas.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.