Mit der neuen Technologie von Microsoft können 3D-Kopien einer realen Person jede Sprache sprechen



Es scheint, dass es in naher Zukunft kein großes Problem sein wird, wenn zwei Menschen unterschiedliche Sprachen sprechen. Natürlich ist die Kenntnis einer zusätzlichen Sprache ein großes Plus, aber es kommt vor, dass Sie ein dringendes Problem besprechen müssen, beispielsweise für die Arbeit, und der Gesprächspartner Ihre Sprache nicht spricht.

Vor etwa einer Woche demonstrierte eine Vertreterin des Unternehmens, Julia White, die neue Technologie auf der Konferenz . Es ermöglicht nicht nur die Bildung eines ziemlich realistischen Hologramms (in der virtuellen Realität), sondern vermittelt diesem Hologramm auch Kenntnisse einer bestimmten Sprache, und die Stimmtonalität, Lautstärke, Klangfarbe und andere Parameter werden dem ursprünglichen Hologramm entnommen. So sieht der Gesprächspartner vor sich eine virtuelle Kopie einer anderen Person, und diese Kopie spricht die gewünschte Sprache.

Die Technologie wurde durch das Mischen von zwei verschiedenen Lösungen ermöglicht - Mixed Reality und Neural Text-to-Speech. Es scheint, dass die Technologie die Möglichkeit bietet, die noch bestehenden Kommunikationsbarrieren zu beseitigen. Das Internet hat es den Menschen ermöglicht, in Echtzeit zu kommunizieren, und jetzt besteht die Möglichkeit, dieselbe Sprache zu sprechen.


Die Aufgabe wurde vom Unternehmen schrittweise gelöst. Die erste Stufe ist die Erstellung eines realistischen weißen Hologramms in vollem Wachstum. Um dies zu erreichen. Sie besuchte ein Microsoft-Speziallabor, in dem ihre Präsentation auf Englisch aufgezeichnet wurde. Die Aufzeichnung war umfangreich, um aus den Aufzeichnungselementen ein dreidimensionales Modell einer Person zu erstellen.

Infolgedessen wurde dies getan - nach Abschluss der Phase konnte jeder Inhaber von Microsoft HoloLens-Videopunkten ihre Leistung verfolgen. Nun, danach begannen die Arbeiten, die Stimme von White zu kopieren und ihre Sprache mithilfe der auf neuronalen Netzen basierenden Text-zu-Sprache-Technologie ins Japanische zu übersetzen. Das Ergebnis war ausgezeichnet - die Sprachparameter wurden nahezu perfekt übertragen. Natürlich so weit wie möglich, da die letzte Rede auf Japanisch war, dessen Klang sich sehr von allen anderen Sprachen unterscheidet.


Dies ist natürlich nur eine Demonstration, deren Kochen eine ganze Weile gedauert hat. Aber wie jede Technologie wird sie im Laufe der Zeit effizienter und benutzerfreundlicher. Die Microsoft Corporation plant, ihr Projekt weiter zu verbessern und zu ergänzen.

Zunächst wird der Einsatz gezielt - mit der Verbreitung von 3D-Brillen werden beispielsweise Auftritte berühmter Künstler oder politischer Führer immer beliebter. Sie sind neben ihnen zu sehen und sprechen für den Betrachter in ihrer Muttersprache.

Sie können sich auch Vorlesungen vorstellen, die auf diese Weise organisiert wurden. Darüber hinaus kann davon ausgegangen werden, dass die Umwandlung einer Person in ein Hologramm, das dieselbe Sprache wie der Betrachter spricht, mehrere Stunden und nicht Tage in Anspruch nimmt. Die Hauptsache ist die Ausrüstung für die Aufzeichnung von Performances in 3D und ein neuronales Netzwerk, das die Sprache des Sprechers „übersetzen“ kann.

Source: https://habr.com/ru/post/de460959/


All Articles