Das MIT hat eine neue Art von Schnittstelle entwickelt, mit der Sie „Gedanken“ in Sprache verwandeln können

Arnav Kapoor, einer der Entwickler eines neuen Schnittstellentyps, demonstriert die Funktionsweise des Geräts

MIT-Ingenieure haben ein System entwickelt , das selbst gesprochene Wörter und Sätze in Text umwandelt. Damit das System erfolgreich funktioniert, muss sein Träger Wörter und Phrasen für sich selbst klar aussprechen. In diesem Fall beginnen die Muskeln von Gesicht, Hals und Zunge, die für das Sprechen verantwortlich sind, zu arbeiten. Sie arbeiten nicht mit voller Kraft, sondern aktivieren nur, was für das neue System völlig ausreicht, um "zu lesen".

Von außen sieht es so aus - eine Person schweigt einfach und das System „spricht“ oder druckt vielmehr. Die Entwicklung besteht aus zwei Teilen: einem Gerät, das im Gesicht getragen werden muss, und einem speziell „trainierten“ neuronalen Netzwerk, das die empfangenen Informationen analysiert und mit Buchstaben und Wörtern verknüpft. Darüber hinaus können Sie über die Benutzeroberfläche Gadgets steuern - Kanäle im Fernsehen wechseln, Kosten verfolgen und ganz normale Aktivitäten beibehalten.

Das Gerät, das am Ohr getragen werden soll, enthält einen „Knochenkopfhörer“, dh einen Kopfhörer, der Schall entlang des Knochens zum Innenohr leitet. Der externe Kanal bleibt offen und eine Person hört alles, was um sie herum passiert.

Ein solches System ist sehr tragbar und kann sowohl auf der Straße als auch zu Hause getragen werden. Einige Verwendungsmöglichkeiten sind ungewöhnlich. Sie können beispielsweise Schach spielen, mit sich selbst über die Bewegungen des Feindes sprechen und Hilfe vom Computer erhalten.

Sie können die Entwicklung nicht nur für Menschen mit körperlichen Problemen verwenden, sondern auch für normale Benutzer in einer Vielzahl von Situationen. Die Entwickler hatten die Aufgabe, ein System zu schaffen, das die Fähigkeiten eines Menschen verbessern, seinen Intellekt und in gewisser Weise seine Sinne ergänzen kann.

„Ohne Smartphones und andere digitale Geräte können wir nicht mehr leben“, sagt Petty Maes, einer der Projektteilnehmer. „Aber die Verwendung dieser Geräte verhindert, dass wir unterbrechen müssen, um mit ihnen arbeiten zu können. Zum Beispiel gibt es ein Gespräch, und plötzlich muss das Telefon benutzt werden. Sie müssen es finden, abholen, das Passwort eingeben und die Anwendung öffnen. Deshalb haben meine Schüler und ich lange Zeit mit neuen Systemtypen und ihren Formfaktoren experimentiert, die es den Menschen ermöglichen, moderne Technologien und Dienste zu nutzen, ohne von Geräten abgelenkt zu werden. “

Die Ergebnisse wurden auf der Konferenz ACM Intelligent User Interface der Association for Computing Machinery veröffentlicht.

Grundsätzlich ist die von Wissenschaftlern vorgeschlagene Idee nicht neu. Es erschien irgendwo im 19. Jahrhundert und mit dem Aufkommen neuer Technologien begannen sie ernsthaft an seiner Implementierung zu arbeiten. In den 60er Jahren wurde das Sprechen der Phrasen und Wörter während des Lesens als externer Faktor angesehen, der das schnelle Lesen behindert (tatsächlich ist dies der Fall). Das Sprechen hat jedoch seine Vorteile, es kann bei der Entwicklung von Computerschnittstellen verwendet werden. Ein Beispiel wurde oben gegeben.


Bei der Erstellung des Systems mussten die Wissenschaftler zunächst verstehen, welche Muskeln im Gesicht der Person am aktivsten am Sprechprozess beteiligt sind. Danach begann die Entwicklung eines Prototyps zur Umwandlung von „Gedanken in Text“. Das Hauptsignalerfassungselement des Systems waren 16 Elektroden.

Sie nahmen Zeugnisse und überprüften, was der Mann zu sich selbst sagte. Basierend auf dem empfangenen Datenarray begannen die Entwickler dann, das neuronale Netzwerk zu trainieren. Das Gerät bedeckte übrigens zunächst beide Seiten des Gesichts. Aber dann stellte sich heraus, dass das neuronale Netzwerk die Signale problemlos in Text umwandelt, selbst wenn sich die Elektroden nur auf einer Seite des Gesichts befinden. Um die Größe des Systems zu verringern, wurde es daher halbiert.

Das neuronale Netzwerktraining begann klein - mit nur 20 Wörtern. Im Laufe der Zeit wurde das Wörterbuch erweitert und das neuronale Netzwerk „intelligenter“. Laut Wissenschaftlern kann es für jede Person personalisiert werden, was die Genauigkeit der Erkennung von "Gedanken" erhöht. Je mehr Training Sie haben, desto besser funktioniert das System.

Die Entwickler hatten keine Pläne, es zur Perfektion zu bringen, dies ist nur ein Proof-of-Concept. Die Technologie kann in vielen Bereichen eingesetzt werden, einschließlich der Fertigung. Sie können sich ein Industrieunternehmen vorstellen, dessen Geräuschpegel die normale Kommunikation der Mitarbeiter in Arbeitsfragen stört. In diesem Fall können Sie ein solches System verwenden. Eine ähnliche Situation ist bei Feuerwehrleuten oder Tauchern. Sie müssen nicht sprechen, das System spricht „Gedanken“ aus.

Bisher geht es nicht um die Kommerzialisierung von Technologie, aber eine solche Entwicklung ist auch nicht ausgeschlossen.