Gadgetshowto
Com a popularidade de tantas plataformas de streaming, o conteúdo está se tornando bastante diverso e diferente. Mais e mais pessoas estão assistindo programas em língua estrangeira como “Money Heist” e “Dark”, pois são bons programas e estão disponíveis em todo o mundo. No entanto, alguns de nós gostam de assistir aos nossos programas em uma linguagem que entendemos. Às vezes, as legendas não são suficientes. Dito isso, dobrar programas estrangeiros para outro idioma pode se tornar demorado e caro para as produtoras. Esta é a principal razão pela qual muitos programas não são dublados em idiomas estrangeiros. Bem, os pesquisadores da Amazon podem ter uma solução para este problema.
Em um artigo publicado no servidor de pré-impressão Arxiv.org, pesquisadores da Amazon teorizaram e testaram uma nova tecnologia de “fala para fala”. Usa IA para converter a fala original em uma fala traduzida e refinar a fala traduzida para torná-la mais parecida com a humana. Este é apenas o primeiro passo para desenvolver uma maneira mais fácil e mais barata de dublar programas e filmes.
Como funciona
Esta tecnologia de “fala para fala” é muito mais complicada do que parece. Traduzir um discurso original para um discurso estrangeiro usando computadores é uma tarefa agitada. Não é traduzir um idioma para outro apenas a partir do recurso de áudio, mas existem várias etapas envolvidas.
O processo de dublagem automatizada inclui essencialmente 3 etapas. Primeiro, o discurso original precisa ser convertido em um formato de texto. A segunda etapa envolve a tradução do texto para o idioma desejado. Finalmente, o texto traduzido gera o novo discurso.
Agora, existem complicações de desenvolver a nova fala a partir do texto-para-fala traduzido. O discurso traduzido deve corresponder à velocidade e emoção do discurso original. Ele também deve transportar os sons de fundo e eliminar a reverberação.
Para fazer esse complicado processo funcionar, os pesquisadores da Amazon confirmaram que sua tecnologia de fala para fala foi treinada em mais de 150 milhões de pares inglês-italiano de frase para determinar a velocidade de um segmento da fala traduzida para coincidir com a velocidade da fala original. Esta etapa garante as pausas e quebras na fala traduzida para coincidir com a fala original.
Um modelo na fase de conversão de texto em fala treinou 47 horas de gravações de fala. Este modelo gera uma sequência de contexto do texto que é alimentado em um vocoder pré-treinado, que cobre a sequência em uma forma de onda de fala.
Essa tecnologia também é capaz de extrair sons de fundo do áudio original e colocá-los no áudio traduzido para torná-lo mais semelhante ao áudio original. Por último, uma etapa separada chamada etapa de re-reverberação é aplicada para adicionar a reverberação do áudio original ao traduzido.
Será útil?
O processo é certamente complicado, mas os pesquisadores escreveram que seu trabalho futuro será dedicado ao aprimoramento da dublagem automática. Isso pode eliminar a necessidade de dubladores de dublar um programa ou filme para outro idioma. Tornar-se-á menos demorado e muito mais barato copiar o conteúdo para o idioma desejado. E, sim, beneficiará as produtoras ao entregar mais programas e filmes aos espectadores, tornando a lista muito mais diversificada.
