A nova tecnologia da Microsoft permite que cópias 3D de uma pessoa real falem qualquer idioma



Parece que em um futuro próximo não será um grande problema se duas pessoas falarem idiomas diferentes. Obviamente, o conhecimento de um idioma adicional é uma grande vantagem, mas acontece que você precisa discutir uma questão urgente, no trabalho, por exemplo, e o interlocutor não fala o seu idioma.

Cerca de uma semana atrás, uma representante da corporação, Julia White, demonstrou a nova tecnologia na conferência . Ele permite não apenas formar um holograma bastante realista (na realidade virtual), mas também fornece a esse holograma o conhecimento de um determinado idioma, e a voz - tonalidade, volume, timbre e outros parâmetros são retirados do holograma original. Assim, o interlocutor vê à sua frente uma cópia virtual de outra pessoa, e esta cópia fala o idioma desejado.

A tecnologia foi possível graças à mistura de duas soluções diferentes - realidade mista e conversão de texto em fala neural. Parece que a tecnologia oferecerá uma oportunidade para remover as barreiras de comunicação que ainda existem. A Internet permitiu que as pessoas se comuniquem em tempo real, e agora existe a oportunidade de falar o mesmo idioma.


A tarefa foi resolvida pela corporação gradualmente. O primeiro estágio é a criação de um holograma branco realista em pleno crescimento. Para conseguir isso. Ela visitou um laboratório especializado da Microsoft, onde sua apresentação foi gravada em inglês. A gravação foi volumosa, a fim de criar um modelo tridimensional de uma pessoa a partir dos elementos de gravação.

Como resultado, isso foi feito - após a conclusão do estágio, qualquer detentor de pontos de vídeo do Microsoft HoloLens poderia assistir a seu desempenho. Bem, depois disso, começou o trabalho de copiar a voz de White e traduzir seu discurso para o japonês usando a tecnologia de conversão de texto em fala baseada em redes neurais. O resultado foi excelente - os parâmetros de voz foram transmitidos quase perfeitamente. É claro que, tanto quanto possível, dado que o discurso final foi em japonês, cujo som é muito diferente de qualquer outro idioma.


Naturalmente, isso é apenas uma demonstração, que levou bastante tempo para cozinhar. Mas, como qualquer tecnologia, com o tempo, ela se torna mais eficiente e fácil de usar. A Microsoft Corporation planeja melhorar e complementar ainda mais seu projeto.

No início, sua aplicação será direcionada - por exemplo, com a disseminação de óculos 3D, as performances de artistas famosos ou líderes políticos se tornarão mais populares. Eles podem ser vistos ao lado deles e falarão em seu idioma nativo para o espectador.

Você também pode imaginar palestras organizadas dessa maneira. Além disso, pode-se supor com segurança que transformar uma pessoa em um holograma que fala o mesmo idioma do espectador será uma questão de várias horas, não dias. O principal é o equipamento para gravar performances em 3D e uma rede neural, capaz de "traduzir" o discurso do orador.

Source: https://habr.com/ru/post/pt460959/


All Articles