Wie neue Schnittstellen die Tastatur ersetzen

Dieser Artikel befasst sich mit Schnittstellen sowie Technologien, die nach Touchscreens und Spracherkennungsgeräten entwickelt werden.


Die Apple Watch, die übrigens weit davon entfernt ist, der derzeit leistungsstärkste Computer zu sein, kann jede Sekunde Gigabyte an Daten verarbeiten. Unser Gehirn hat zig Milliarden Neuronen und mehr als vier Billiarden Verbindungen, während die Menge an Informationen, die es jede Sekunde verarbeiten kann, so groß ist, dass wir sie nicht einmal annähernd abschätzen können. Dennoch ist die Brücke zwischen dem unglaublich leistungsfähigen menschlichen Gehirn und der ebenso schnellen Welt der hochtechnologischen Nullen und Einsen nichts anderes als bescheidene Geräte wie Computertastatur und -maus, die seit langem alltäglich sind.



Die Apple Watch ist 250-mal leistungsstärker als der Computer, mit dem das Apollo-Mondmodul auf der Mondoberfläche landen konnte. Mit der Entwicklung der Computer wurde ihr Anwendungsbereich immer weiter verbreitet: von der Computerisierung ganzer Gebäude bis hin zu gewöhnlichen Computernanometern. Die Tastatur bleibt jedoch das zuverlässigste und am weitesten verbreitete Mittel zur Interaktion zwischen einer Person und einem Computer.

Die Entwicklung der ersten Computertastatur begann vor mehr als 50 Jahren .

Was ersetzt Tastatur und Maus?

Bereits heute können wir die weit verbreitete Verbreitung von Computern in allen Arten von Objekten beobachten, die uns umgeben. Da es jedoch nicht immer bequem ist, eine Tastatur und eine Maus mit solchen computergestützten Objekten zu verbinden, müssen andere Wege gefunden werden, um die Interaktion sicherzustellen. Derzeit ist die Interaktion mit intelligenten Objekten oder IoT-Spracherkennungsgeräten die relevanteste Lösung. Schauen wir uns die Interaktionsmethoden genauer an, an denen Entwickler und Forschungsunternehmen heute arbeiten.

Berühren Sie Interaktion

Fortschritte in der Multisensor-Technologie und der Interaktion durch Multisensor-Gesten haben den Touchscreen zu einem Favoriten unter den Schnittstellen gemacht. Forscher und Startup-Besitzer führen Forschungen durch, um die Interaktion mithilfe von Berührungen zu verbessern: Beispielsweise können Geräte bestimmen, wie viel Sie auf den Bildschirm tippen, welchen Teil Ihres Fingers Sie dies tun und wer genau das Gerät berührt.


Mit dem 3D Touch des iPhones kann die Kraft bestimmt werden, mit der Sie den Bildschirm berühren.


Qeexo kann verstehen, welchen Teil Ihres Fingers Sie auf dem Bildschirm berühren.


Einer meiner Favoriten ist die von Professor Chris Harrison von der Carnegie Mellon University entwickelte Interaktionsmethode Swept Frequency Capacitive Sensing (SFCS).

Sprachinteraktion

DARPA finanzierte die Forschung in diesem Bereich bereits in den 70er Jahren (!). Bis vor kurzem wurde diese Forschung jedoch nicht im Leben angewendet. Dank der Deep-Learning-Technologie sind moderne Spracherkennungsgeräte jedoch weit verbreitet. Im Moment besteht das größte Problem bei der Spracherkennung nicht darin, sie zu dekodieren, sondern darin, dass die Geräte die Bedeutung der an sie übertragenen Nachricht wahrnehmen und verstehen.


Hound macht einen großartigen Job mit kontextbezogener Spracherkennung.

Augeninteraktion

Eye-Tracking-Systeme messen entweder die Richtung des Auges oder die Bewegung des Auges relativ zum Kopf. Aufgrund der geringeren Kosten für Kameras und Sensoren und der zunehmenden Beliebtheit von Virtual-Reality-Brillen wird die Interaktion von Benutzern und Computern mit Eye-Tracking-Systemen relevanter als je zuvor.


Mit der Eyefluence-Technologie von Google können Sie mit Ihren Augenbewegungen mit der virtuellen Realität interagieren.


Tobii, der 2015 seinen Börsengang (Initial Public Offering, IPO) startete, und Hersteller von Unterhaltungselektronik forschen gemeinsam an Eye-Tracking-Systemen.

Gesteninteraktion

Meiner Meinung nach sind Gestenverfolgungssysteme die coolsten unter Mensch-Computer-Interaktionssystemen. Ich habe persönlich verschiedene Methoden zur Verfolgung von Gesten untersucht. Hier sind einige der heute verwendeten Technologien:

Inertial Measurement Unit (IIU)

Daten von Beschleunigungsmesser, Gyroskop und Kompass (alle zusammen oder nur einige von ihnen) werden verwendet, um Gesten zu verfolgen. Die Notwendigkeit einer Neukalibrierung und ein relativ niedriger Korrespondenzkoeffizient zwischen eingehenden und empfangenden Informationen sind einige der Probleme, die diesem Verfahren inhärent sind.


Das Ergebnis einer von der CMU Future Interfaces Group durchgeführten Studie war eine anschauliche Klassifizierung unter Verwendung von Daten mit einer hohen Abtastrate.

Infrarotstrahler + Kameras (Tiefensensor)

Viele der oben vorgestellten coolen Gestenverfolgungssysteme verwenden eine Kombination aus hochauflösenden Kameras, Infrarotlichtern und Infrarotkameras. Solche Systeme funktionieren wie folgt: Ein solches System projiziert Tausende kleiner Punkte auf ein Objekt, und die Verzerrung hängt davon ab, wie weit sich ein solches Objekt befindet (es gibt viele andere ähnliche Methoden, zum Beispiel ToF, aber ich gehe nicht auf das Prinzip ihrer Arbeit ein Ich werde). Verschiedene Versionen dieser Technologie werden auf den folgenden Plattformen verwendet: Kinect, RealSense von Intel, Leap Motion, Tango von Google.


Leap Motion ist ein Gestenverfolgungsgerät.


Apple hat einen Schritt zur Einführung eines ähnlichen Systems in der Frontkamera iPhone X für FaceID unternommen.

Elektromagnetisches Feld

Bei diesem Verfahren sind der Finger oder andere Körperteile ein leitendes Objekt, das das elektromagnetische Feld verzerrt, das erzeugt wird, wenn die Senderantennen das Objekt berühren.


AuraSense Smartwatches verwenden 1 Sender und 4 Antennen, um Gesten zu verfolgen.

Radar

Radargeräte werden seit langem verwendet, um die Bewegungen verschiedener Objekte zu verfolgen - von Flugzeugen über Schiffe bis hin zu Autos. Google ATAP hat buchstäblich Schmuckarbeiten durchgeführt und ein Radar in Form eines 8 x 10 mm großen Mikrochips erstellt. Dieser vielseitige Chipsatz kann in Smartwatches, Fernseher und andere Geräte integriert werden, um Bewegungen zu verfolgen.


Google-Projekt ATAP-Projekt Soli.


Muskel-Maschine-Schnittstelle von Thalmic Labs.

Biosignale

Wenn diese modernen Technologien Sie immer noch nicht in leichte Betäubung gestürzt haben, dann lassen Sie uns hier nicht aufhören. Alle oben genannten Methoden messen und erkennen ein Nebenprodukt unserer Gesten.

Die Verarbeitung von Signalen direkt von den Muskelnerven ist ein weiterer Schritt zur Verbesserung der Interaktion zwischen Person und Computer.
Die Verarbeitung von elektromyografischen Oberflächensignalen (sEMG) erfolgt durch die Installation von Sensoren auf der Haut des Bizeps / Trizeps oder Unterarms, während Signale von verschiedenen Muskelgruppen an das Tracking-Gerät gesendet werden. Aufgrund der Tatsache, dass das sEMG-Signal ziemlich verrauscht ist, ist es möglich, bestimmte Bewegungen zu bestimmen.


Thalmic Labs war eines der ersten Unternehmen, das ein auf sEMG basierendes kundenspezifisches Gerät entwickelte - das Myo-Armband.

Wenn Sie ein solches Gerät gekauft haben, möchten Sie es natürlich am Handgelenk tragen. Die Muskeln des Handgelenks sind jedoch tief genug, sodass es für das Gerät schwierig ist, ein genaues Signal für die Verfolgung von Gesten zu erhalten.

CTRL Labs, das schon so lange auf dem Markt ist, hat ein sEMG-Gestenverfolgungsgerät entwickelt, das Sie am Handgelenk tragen können. Ein solches Gerät von CTRL Labs misst das sEMG-Signal und erkennt einen neuronalen Antrieb, der nach der Bewegung in das Gehirn gelangt. Diese Methode ist der nächste Schritt zur effektiven Interaktion zwischen Computer und menschlichem Gehirn. Dank der Technologie dieses Unternehmens können Sie eine Nachricht mit den Händen in den Taschen auf Ihrem Telefon eingeben.

Neurocomputer-Schnittstelle

Im vergangenen Jahr ist viel passiert: DARPA hat 65 Millionen US-Dollar in die Entwicklung neuronaler Schnittstellen investiert; Elon Musk sammelte 27 Millionen Dollar für Neuralink; Kernel-Gründer Brian Johnson investierte 100 Millionen US-Dollar in sein Projekt. und Facebook hat mit der Entwicklung einer Neurocomputer-Schnittstelle (NCI) begonnen. Es gibt zwei Arten von NCI:

Nicht-invasives NCI

Ein Elektroenzephalographiegerät (ElectroEncephaloGraphy) empfängt Signale von Sensoren, die auf der Kopfhaut angebracht sind.

Stellen Sie sich ein Mikrofon vor, das über einem Fußballstadion montiert ist. Sie werden nicht wissen, wovon jede anwesende Person spricht, aber durch laute Grüße und Pony können Sie verstehen, ob das Ziel erreicht wurde.

Schnittstellen, die auf ElectroEncephaloGraphy (EEG) basieren, können Ihre Gedanken nicht buchstäblich lesen. Das am häufigsten verwendete NQI-Paradigma ist der P300 Speller. Sie möchten beispielsweise den Buchstaben "R" eingeben. Der Computer zeigt zufällig verschiedene Zeichen an. Sobald Sie das „R“ auf dem Bildschirm sehen, ist Ihr Gehirn überrascht und gibt ein spezielles Signal. Dies ist ein ziemlich einfallsreicher Weg, aber ich würde nicht sagen, dass der Computer "Ihre Gedanken liest", da Sie nicht bestimmen können, was eine Person über den Buchstaben "R" denkt, sondern es wie ein Zaubertrick aussieht, der dennoch funktioniert.

Unternehmen wie Emotiv, NeuroSky, Neurable und mehrere andere haben EEG-Headsets für einen breiten Verbrauchermarkt entwickelt. Facebooks Gebäude 8 kündigte ein Brain Typing-Projekt an, das eine weitere Methode zur Bestimmung von Signalen aus dem Gehirn verwendet, die funktionale Nahinfrarotspektroskopie (fNIRS), mit der 100 Wörter pro Minute verfolgt werden sollen.


Neuro-Schnittstelle Neurable.

Invasives NCI

Derzeit ist dies der höchste Schritt auf dem Gebiet der Mensch-Maschine-Schnittstelle. Die Interaktion zwischen einer Person und einem Computer mithilfe eines invasiven NCI wird sichergestellt, indem Elektroden direkt am menschlichen Gehirn angebracht werden. Es ist jedoch anzumerken, dass die Befürworter dieses Ansatzes mit einer Reihe ungelöster Probleme konfrontiert sind, die sie in Zukunft noch lösen müssen.

Zu lösende Herausforderungen

Vielleicht kam Ihnen beim Lesen dieses Artikels die Idee in den Sinn: Wenn alle oben genannten Technologien bereits vorhanden sind, warum verwenden wir dann immer noch Tastatur und Maus? Damit jedoch eine neue Technologie, die die Interaktion zwischen Mensch und Computer ermöglicht, zu einem Verbraucherprodukt werden kann, muss sie einige Funktionen aufweisen.

Genauigkeit

Würden Sie den Touchscreen als Hauptschnittstelle verwenden, wenn er nur auf 7 von 10 Ihrer Berührungen reagiert? Es ist sehr wichtig, dass die Schnittstelle, die für die Interaktion zwischen dem Gerät und dem Benutzer voll verantwortlich ist, die höchstmögliche Genauigkeit aufweist.

Wartezeit

Stellen Sie sich vor: Sie geben eine Nachricht auf der Tastatur ein, während die Wörter auf dem Bildschirm nur 2 Sekunden nach dem Drücken der Tasten angezeigt werden. Selbst eine Verzögerung von einer Sekunde wirkt sich negativ auf die Benutzererfahrung aus. Eine Mensch-Maschine-Schnittstelle mit einer verzögerten Reaktion von sogar einigen hundert Millisekunden ist einfach nutzlos.

Schulung

Die neue Mensch-Maschine-Oberfläche sollte nicht bedeuten, dass Benutzer viele spezielle Gesten lernen. Stellen Sie sich zum Beispiel vor, Sie müssten für jeden Buchstaben des Alphabets eine eigene Geste lernen!

Rückkopplung

Das Klicken eines Tastaturklicks, das Vibrieren des Telefons, ein kleines Tonsignal des Sprachassistenten - all dies dient dem Benutzer als eine Art Warnung vor dem Abschluss des Rückkopplungszyklus (oder der von ihm aufgerufenen Aktion). Die Rückkopplungsschleife ist einer der wichtigsten Aspekte einer Benutzeroberfläche, auf die Benutzer häufig nicht einmal achten. Unser Gehirn ist so angeordnet, dass es auf die Bestätigung wartet, dass eine Aktion abgeschlossen ist und wir ein Ergebnis erzielt haben.

Einer der Gründe, warum es sehr schwierig ist, die Tastatur durch ein anderes Gestenverfolgungsgerät zu ersetzen, ist die mangelnde Fähigkeit solcher Geräte, den Benutzer explizit über die abgeschlossene Aktion zu informieren.


Derzeit arbeiten die Forscher bereits intensiv an der Erstellung von Touchscreens, die taktiles Feedback im 3D-Format liefern können, sodass die Interaktion mit Touchscreens ein neues Niveau erreichen sollte. Darüber hinaus hat Apple in dieser Richtung wirklich hervorragende Arbeit geleistet.

Was erwartet uns in der Zukunft?

Aus all diesen Gründen scheint es Ihnen, dass wir zumindest in naher Zukunft nicht sehen werden, wie etwas Neues die Tastatur verändern wird. Daher möchte ich Ihnen meine Gedanken darüber mitteilen, welche Funktionen die zukünftige Benutzeroberfläche haben sollte:

• Multimodalität. Wir werden in verschiedenen Fällen unterschiedliche Schnittstellen verwenden. Um Text einzugeben, verwenden wir weiterhin die Tastatur. Touchscreens - zum Zeichnen und Entwerfen; Spracherkennungsgeräte - zur Interaktion mit unseren digitalen persönlichen Assistenten; Systeme zur Verfolgung von Gesten mit dem Radar - während der Fahrt; Muskel-Maschine-Schnittstellensysteme - für Spiele und virtuelle Realität; und die Neurocomputer-Schnittstelle - um die Musik auszuwählen, die für unsere Stimmung am besten geeignet ist.
• Erkennen des Kontextes. Sie lesen beispielsweise auf Ihrem Laptop einen Artikel über Waldbrände in Nordkalifornien und stellen dann mithilfe der intelligenten Kopfhörer einem virtuellen Sprachassistenten eine Frage: „Wie stark ist der Wind in diesem Bereich derzeit?“ Der virtuelle Assistent sollte also verstehen, dass Sie genau nach dem Bereich fragen, in dem es gerade zu Bränden kommt.
• Automatismus . Angesichts der Entwicklung der KI kann der Computer besser vorhersagen, was Sie vorhaben, und Sie müssen ihm nicht einmal Befehle erteilen. Er weiß, welche Musik Sie beim Aufwachen einschalten müssen, sodass Sie keine Benutzeroberfläche benötigen, um Ihren Lieblingstitel zu suchen und abzuspielen.

- Erster Reddit Promotion Service: Kaufen Sie Reddit Upvotes