Un modelo de inglés inventó diálogo japonés y detectó el fallo
Un modelo de voz en inglés inventó el diálogo japonés de mi película. Su filtro de confianza acertó al marcar como dudosas 23 de 27 líneas.
El modelo de reconocimiento de voz en inglés marcó como dudosas 23 de las 27 líneas en japonés. Y acertó.
Ese resultado salió de una prueba de transcripción que hice mientras medía la película terminada. La transcripción no servía. El filtro de confianza, sí.
La distinción importa. Que el resultado falle no significa que todas las partes del proceso hayan fallado. En este caso, el modelo no pudo darme un diálogo fiable, pero sí pudo advertirme de que no debía fiarme de lo que había producido.
Conservé el intento fallido por una razón: no quería repetirlo más adelante y confundir una transcripción bien presentada con una prueba.
La transcripción quedó fuera del proceso de medición definitivo
Mi proceso de medición definitivo utiliza cuatro programas en un orden fijo.
El primero mide la duración, los cortes y el nivel de sonido.
El segundo crea hojas de contacto numeradas, con un fotograma de cada plano y el minuto correspondiente.
El tercero extrae los subtítulos escritos en pantalla, los recorta y los reúne en hojas legibles.
El cuarto comprueba el recuento de planos con veinte cortes y muestra el fotograma anterior y el posterior a cada uno.
Los cuatro funcionan solos. Ninguno pide que intervenga.
La prueba de transcripción era distinta. Escuchaba el audio e intentaba convertir las voces en texto. Parece otro paso de medición, pero su resultado no podía ponerse junto a los otros cuatro. Las voces estaban en japonés. El modelo de reconocimiento de voz era de inglés. Se inventó el diálogo.
Dejé escrito:
las voces están en japonés y
el modelo en inglés alucina. Su propia puerta de confianza marcó 23 de 27 líneas como
dudosas y acertó.
La idea es sencilla: las voces están en japonés, el modelo es de inglés y se inventa lo que dicen. Su propio filtro de confianza marcó correctamente 23 de las 27 líneas como dudosas.
Ese es todo el diagnóstico que permite la prueba. No tengo aquí una base para ofrecer una explicación técnica más amplia de por qué el modelo se comportó así. Solo tengo la diferencia de idioma, la transcripción inventada y el resultado de confianza.
Esos tres hechos bastaban para rechazar el resultado.
El filtro de confianza hizo lo que la transcripción no pudo
Quería que la transcripción me dijera qué se había dicho. En eso falló.
El filtro de confianza respondía a otra pregunta: ¿qué líneas había que considerar dudosas?
Marcó 23 de las 27 líneas. Su valoración coincidía con lo que escuché. Eso convirtió al filtro en la parte útil de una prueba que, por lo demás, no servía.
No usaría esas líneas marcadas como subtítulos, como registro del diálogo ni como prueba sobre la película terminada. Una línea que parece gramaticalmente completa sigue sin ser fiable cuando el sistema que la produce indica que tiene poca confianza en ella y, al escucharla, se comprueba que es incorrecta.
La tentación es salvar el resultado corrigiendo unos cuantos errores evidentes. Aquí no faltaba una palabra por un lado ni se había confundido un nombre por otro. Tenía un modelo de inglés inventándose el contenido de unas voces en japonés.
Eso cambia la decisión. No era una transcripción correcta con pequeños fallos. Era un resultado que había que rechazar.
El texto en pantalla y el diálogo hablado eran trabajos distintos
El proceso de medición que sí funcionaba ya tenía una forma de recoger los subtítulos escritos en pantalla.
Ese programa no escuchaba las voces. Tomaba los subtítulos escritos de la imagen, los recortaba y los colocaba en hojas legibles.
La prueba de transcripción escuchaba el audio.
Esas fuentes no son intercambiables. Una permite leer texto que ya está en los fotogramas terminados. La otra intenta deducir palabras a partir del habla. En esta película, el primer proceso se mantuvo en la secuencia de medición definitiva. El segundo fue una prueba que no funciona.
Esa separación evitó que la transcripción incorrecta contaminara el registro útil de los subtítulos.
También me dio un criterio de aceptación más claro. Las hojas de subtítulos procedían de texto visible en pantalla. La transcripción procedía de voces japonesas interpretadas por un modelo de inglés. Una vez que el filtro de confianza marcó 23 de las 27 líneas como dudosas, no había motivo para considerar ambos resultados igual de fiables.
La confianza sirve de filtro, no de corrección
El filtro no convirtió el diálogo inventado en un diálogo correcto.
No sustituyó las 23 líneas dudosas. Tampoco verificó las restantes. Solo sé que acertó al considerarlas dudosas.
Eso es más limitado que decir que el modelo se corrigió a sí mismo. No lo hizo.
Lo que funcionó fue la condición de parada. El sistema produjo un resultado, midió su confianza y me dio una advertencia suficiente para dejarlo fuera del proceso de medición definitivo.
Eso tiene valor porque los programas autónomos no me piden que inspeccione cada decisión intermedia. Los cuatro programas de medición que funcionan se ejecutan sin pedir nada. Si añado otro proceso autónomo, necesito una forma clara de decidir si su resultado puede formar parte de mis mediciones definitivas.
En esta prueba de transcripción, la confianza permitió tomar esa decisión. Veintitrés líneas dudosas de veintisiete no eran un resultado que hubiera que pulir. Era un resultado que había que dejar de usar.
Dejé documentado el fallo
Escribí que la prueba de transcripción no funciona para que nadie la repita.
Conservar esa advertencia forma parte del resultado.
Sin ella, podría retomar la misma idea más adelante, ver que un modelo de reconocimiento de voz produce un conjunto completo de líneas y perder tiempo probando otra vez el mismo camino. La transcripción fallida incluso podría parecer utilizable antes de contrastarla, porque llega como texto. El filtro de confianza fue lo que dejó al descubierto el problema dentro del propio proceso.
Conservé las dos partes.
El modelo de inglés se inventó el diálogo a partir de las voces japonesas.
La comprobación de confianza del propio modelo detectó el fallo al marcar 23 de las 27 líneas como dudosas.
Me fío del segundo resultado. Rechazo el primero.
No es una contradicción. Son resultados distintos que responden a preguntas distintas.
El criterio de aceptación
En esta película, una transcripción de audio producida por ese modelo de inglés queda fuera del proceso de medición definitivo.
La secuencia aceptada sigue siendo la de los cuatro programas autónomos: medir duración, cortes y nivel de sonido; crear hojas de contacto con un fotograma por plano; extraer los subtítulos escritos en pantalla; y calibrar el recuento de planos con veinte pares de fotogramas, uno anterior y otro posterior a cada corte.
El camino rechazado queda documentado junto a ellos.
Eso es lo que significa aquí «detectó el fallo». El filtro de confianza no resolvió la transcripción del japonés. Evitó que se aceptaran líneas inventadas como una medición de la película.
Hoy, toma un clip que no esté en inglés y que ya hayas verificado, pásalo por tu modelo de reconocimiento de voz y contrasta cada línea de baja confianza con el material conocido antes de usar la transcripción en tu trabajo.
Acabas de ver cómo se descompone un plano, decisión por decisión. Ninguna llegó ahí por casualidad.
