"Microfone visual" é uma técnica que permite restaurar o áudio de uma gravação de vídeo silenciosa. Hoje falaremos não apenas sobre isso, mas também outros métodos e tecnologias que permitem ler e restaurar remotamente músicas ou discursos.
Foto m01229 CCAntecessores de tecnologia
Uma maneira de gravar som à distância
é através de lasers. Os chamados
microfones a laser são usados para ler vibrações causadas por ondas sonoras. Por exemplo, você pode "capturar" o som dessa maneira a partir da superfície de um painel de janela, se as pessoas estiverem conversando na sala ou se estiver tocando música. O interferômetro detecta o "movimento" da superfície alterando o comprimento do caminho óptico do feixe refletido. Depois disso, esses desvios são convertidos em um sinal sonoro usando algoritmos especiais.
A rede possui gravações de áudio que mostram que os "microfones a laser" permitem restaurar o som com boa qualidade. No entanto, essa abordagem tem sua desvantagem associada à complexidade da instalação do dispositivo.
Você também pode "gravar som à distância" usando
radiação de microondas de baixa intensidade, usada nas comunicações. Tecnologias semelhantes
foram usadas na NASA para capturar e reconhecer sinais de rádio fracos no espaço.
Uma antena de corneta direciona as microondas a uma frequência de 30 a 100 GHz através de uma parede do edifício. Se as pessoas falam em ambientes fechados ou tocam música, as ondas sonoras podem ser contadas pelas microvibrações como objetos e materiais leves - de uma forma "capturada", elas
adquirem modulação de amplitude. Essa informação é usada para reconstruir o som que atua no objeto. Além disso, esse objeto pode ser qualquer roupa, portanto, esse método permite "interceptar" até o som de um batimento cardíaco.
Microfone Visual - Uma Solução dos Cientistas do MIT
Os cientistas do MIT
propuseram outra maneira de ler o som à distância. Eles provaram que é possível restaurar o som com base no vídeo. Para fazer isso, você precisa gravar um vídeo do objeto usando uma câmera para fotografar em alta velocidade e analisar as vibrações microscópicas causadas pela propagação das ondas sonoras.
Com base no vídeo, é construída uma
pirâmide controlada de imagens , que
é um conjunto de filtros que “quebram” cada quadro do vídeo em sub-bandas complexas correspondentes a pontos diferentes no objeto em estudo.
Os cientistas desenvolveram um algoritmo especial (e o publicam), que calcula a intensidade das vibrações sonoras em cada um dos pontos selecionados. Os sinais locais são calculados em média, e um sinal comum é formado em sua base, que determina como as ondas sonoras agem sobre um objeto. Esse sinal passa por um filtro passa-alto Butterworth com um limite de corte de 20 a 100 Hz. Então torna-se possível restaurar a gravação de áudio.
De acordo com o líder do estudo, Abe Davis, um microfone visual permite receber gravações de áudio de qualidade inferior à dos métodos ativos (por exemplo, usando lasers), mas possui suas próprias vantagens. O sistema deles não requer equipamentos adicionais ou detectores - você só precisa de uma câmera de vídeo de alta velocidade. Ao mesmo tempo, a superfície a partir da qual o som será “lido” não precisa ser espelhada ou suave, como os
microfones a laser geralmente exigem.
A equipe de Abe tentou ler o som de um saco de papel, pacotes de batatas fritas e papel alumínio. Eles são leves, porque as vibrações sonoras nelas eram mais perceptíveis e o sinal resultante é menos barulhento. Entre os objetos de teste, havia também uma planta da casa e um tijolo, que, segundo os cientistas, “se mostravam” melhor do que eles esperavam.
A equipe fez um vídeo no qual eles mostraram como certos objetos “soam”:
Os cientistas observam que planejam continuar trabalhando nessa direção e explorar a possibilidade de reproduzir áudio de qualquer gravação de vídeo, e não apenas especialmente preparado usando uma câmera de alta velocidade.
Desenvolvimento tecnológico
Outros cientistas estão tentando melhorar a tecnologia proposta pelo grupo pelo MIT. Por exemplo, no ano passado, os pesquisadores iranianos
introduziram um algoritmo que acelera a extração do som do “vídeo de alta velocidade” e melhora sua qualidade.
O som afeta diferentes áreas de um objeto de maneiras diferentes. A intensidade da vibração depende do material a partir do qual o item é feito, sua forma, frequência do som do impacto e distância da fonte. Por exemplo, ao gravar vídeo com uma frequência de 20 kHz, as ondas sonoras viajam cerca de 17 mm entre dois quadros. Portanto, objetos mais afastados da fonte de som reagem com um atraso.
Todos esses fatores fazem com que diferentes áreas do objeto vibrem com forças diferentes. Portanto, os cientistas ao analisar as imagens das câmeras levam em consideração apenas as zonas que dão a maior contribuição para a formação do sinal resultante - os blocos menos "ruidosos". Nesse caso, as frequências que as formam têm diferentes desvios de fase para eliminar interferências atenuantes.
Pesquisadores iranianos observam que, graças a isso, eles foram capazes de melhorar a qualidade do som reproduzido e acelerar o processamento de imagens, em comparação com o algoritmo original do MIT. Eles dizem que seu sistema é capaz de processar a imagem e restaurar o som em tempo real.
O potencial dos microfones visuais
Em geral, a tecnologia ainda é experimental e não se fala em comercialização completa. Mas ela já está profetizando um uso potencial no campo da lei e da ordem - a polícia poderá obter mais informações das câmeras de CFTV.
Existem outras opções: esses sistemas permitem analisar como o som se comporta nos estúdios de gravação e nas salas de concerto para determinar suas propriedades acústicas. Outra aplicação é usar o sistema na indústria espacial para estudar sons no espaço. A propósito, os moradores do Hacker News já
sugeriram que, no futuro, "microfones visuais" resolverão de uma vez por todas o mistério do pouso na lua.
Mais interessante sobre o som - no nosso "Mundo Hi-Fi":
Nossos novos materiais no GT: