Le "microphone visuel" est une technique qui vous permet de restaurer l'audio à partir d'un enregistrement vidéo silencieux. Aujourd'hui, nous vous en parlerons non seulement, mais aussi d'autres méthodes et technologies qui vous permettent de lire et de restaurer à distance de la musique ou de la parole.
Photo m01229 CCPrédécesseurs technologiques
Une façon d'enregistrer le son à distance
est d' utiliser des lasers. Les soi-disant
microphones laser sont utilisés pour lire les vibrations causées par les ondes sonores. Par exemple, vous pouvez «capturer» le son de cette manière à partir de la surface d'une vitre si des gens parlent dans la pièce ou si de la musique joue. L'interféromètre détecte le «mouvement» de la surface en modifiant la longueur du chemin optique du faisceau réfléchi. Après cela, ces écarts sont convertis en un signal sonore à l'aide d'algorithmes spéciaux.
Le réseau a des enregistrements audio qui montrent que les «microphones laser» vous permettent de restaurer le son avec une assez bonne qualité. Cependant, cette approche a son inconvénient lié à la complexité de l'installation du dispositif.
Vous pouvez également «enregistrer du son à distance» en utilisant
un rayonnement micro -
ondes de faible intensité, utilisé dans les communications. Des technologies similaires
ont été utilisées à la NASA pour capturer et reconnaître les signaux radio faibles dans l'espace.
Une antenne cornet dirige des micro-ondes à une fréquence de 30 à 100 GHz à travers un mur de bâtiment. Si les gens parlent à l'intérieur ou jouent de la musique, les ondes sonores peuvent être comptées par les microvibrations comme des objets et des matériaux légers - sous une forme «capturée», elles
acquièrent une modulation d'amplitude. Ces informations sont ensuite utilisées pour reconstruire le son agissant sur l'objet. De plus, cet objet peut être n'importe quel vêtement, donc cette méthode vous permet "d'intercepter" même le son d'un battement de coeur.
Microphone visuel - une solution des scientifiques du MIT
Les scientifiques du MIT ont
proposé une autre façon de lire le son à distance. Ils ont prouvé qu'il était possible de restaurer le son à partir de la vidéo. Pour ce faire, vous devez enregistrer une vidéo de l'objet à l'aide d'un appareil photo pour une prise de vue à grande vitesse et analyser les vibrations microscopiques causées par la propagation des ondes sonores.
Sur la base de la vidéo, une
pyramide contrôlée d'images est construite, qui
est un ensemble de filtres qui «décomposent» chaque image de la vidéo en sous-bandes complexes correspondant à différents points de l'objet à l'étude.
Les scientifiques ont développé un algorithme spécial (et l'ont
mis dans le domaine public), qui calcule l'intensité des vibrations sonores à chacun des points sélectionnés. Les signaux locaux sont moyennés et un signal commun est formé sur leur base, ce qui détermine la façon dont les ondes sonores agissent sur un objet. Ce signal passe à travers un filtre passe-haut Butterworth avec un seuil de coupure de 20 à 100 Hz. Il devient alors possible de restaurer l'enregistrement audio.
Selon le responsable de l'étude Abe Davis, un microphone visuel vous permet de recevoir des enregistrements audio de moins bonne qualité par rapport aux méthodes actives (par exemple, en utilisant des lasers), mais il a ses propres avantages. Leur système ne nécessite aucun équipement supplémentaire ni aucun détecteur - vous n'avez besoin que d'une caméra vidéo haute vitesse. Dans le même temps, la surface à partir de laquelle le son sera "lu" n'a pas besoin d'être reflétée ou lisse, comme
les microphones laser l' exigent souvent.
L'équipe d'Abe a essayé de lire le son d'un sac en papier, de paquets de puces et de papier d'aluminium. Ils sont légers, car les vibrations sonores sur eux étaient les plus visibles et le signal résultant est moins bruyant. Parmi les objets testés, il y avait aussi une plante d'intérieur et une brique qui, selon les scientifiques, se «montraient» mieux que prévu.
L'équipe a réalisé une vidéo dans laquelle ils ont montré comment certains objets «sonnent»:
Les scientifiques notent qu'ils prévoient de continuer à travailler dans cette direction et d'explorer la possibilité de lire l'audio à partir de tous les enregistrements vidéo, et pas seulement spécialement préparés à l'aide d'une caméra à haute vitesse.
Développement technologique
D'autres scientifiques tentent d'améliorer la technologie proposée par le groupe du MIT. Par exemple, l'année dernière, des chercheurs iraniens ont
introduit un algorithme qui accélère l'extraction du son de la «vidéo haute vitesse» et améliore sa qualité.
Le son affecte différentes zones d'un objet de différentes manières. L'intensité des vibrations dépend du matériau à partir duquel l'article est fabriqué, de sa forme, de la fréquence du bruit d'impact et de la distance jusqu'à la source. Par exemple, lors de la prise de vue vidéo à une fréquence de 20 kHz, les ondes sonores se déplacent d'environ 17 mm entre deux images. Par conséquent, les objets plus éloignés de la source sonore réagissent avec un retard.
Tous ces facteurs font vibrer différentes zones de l'objet avec des forces différentes. Par conséquent, les scientifiques lors de l'analyse des images de la caméra ne prennent en compte que les zones qui contribuent le plus à la formation du signal résultant - les blocs les moins «bruyants». Dans ce cas, les fréquences qui les forment ont des déphasages différents afin d'éliminer les interférences atténuantes.
Les chercheurs iraniens notent que grâce à cela, ils ont pu améliorer la qualité du son reproduit, ainsi que d'accélérer le traitement de l'image, par rapport à l'algorithme MIT d'origine. Ils disent que leur système est capable de traiter l'image et de restaurer le son en temps réel.
Le potentiel des microphones visuels
En général, la technologie est encore expérimentale et il n'est pas question de commercialisation complète. Mais elle prophétise déjà une utilisation potentielle dans le domaine de l'ordre public - la police pourra obtenir plus d'informations à partir de caméras de vidéosurveillance.
Il existe d'autres options: de tels systèmes vous permettront d'analyser le comportement du son dans les studios d'enregistrement et les salles de concert afin de déterminer leurs propriétés acoustiques. Une autre application consiste à utiliser le système dans l'industrie spatiale pour étudier les sons dans l'espace. Soit dit en passant, les habitants de Hacker News ont déjà
suggéré qu'à l'avenir, les "microphones visuels" résoudraient une fois pour toutes le mystère de l'alunissage.
Plus intéressant sur le son - dans notre "Hi-Fi World":
Nos nouveaux matériaux sur GT: