Con esta herramienta basada en inteligencia artificial los actores podrán hablar alemán y japonés en cualquier película.
La tecnología basada en inteligencia artificial parece haber encontrado la forma de cubrir todos los campos de trabajo, incluso para los actores que deben grabar una película en un idioma completamente desconocido.
Bajo esta necesidad ha surgido TrueSync, una inteligencia artificial que sincroniza los labios de los actores con el diálogo grabado para que la experiencia de ver una película en un idioma diferente sea más agradable para los espectadores.
¿Cómo funciona la IA de doblaje?
El algoritmo de TrueSyncs determina como se verían los labios de un actor si estuviera haciendo cada sonido en el diálogo traducido. Luego encuentra un punto en la película donde estaban haciendo ese sonido y extrae su apariencia.
Entreteje suavemente todos esos movimientos juntos, para que así los labios del actor simulen estar hablando el nuevo idioma.
"Es capaz de tomar un sonido 'ooh' de (Robert) De Niro 20 minutos antes y colocarlo en un momento diferente de la película", dijo Mann a Reuters.
"Mide al mismo tiempo y lo mezcla para que el rendimiento sea el mismo, pero es un movimiento de boca diferente".
En los videos de demostración, la coincidencia no es impecable, pero las bocas de los actores originales coinciden lo suficiente con el nuevo diálogo como para distraer mucho menos que los doblajes estándar.
Todavía hay momentos extraños, donde la tecnología de falsificación profunda falla, pero Mann cree que el doblaje de IA solo mejorará.
"Va a ser invisible muy pronto", le dijo a Wired. “La gente verá algo y no se dará cuenta de que se rodó originalmente en francés o lo que sea. “
Te puede interesar: Streamer usa Inteligencia Artificial para transformarse en Keanu Reeves durante transmisión de Twitch