Cet article est consacré aux interfaces, ainsi qu'aux technologies qui viennent après les écrans tactiles et les appareils de reconnaissance vocale.
L'Apple Watch, qui est d'ailleurs loin d'être l'ordinateur le plus puissant aujourd'hui, est capable de traiter des gigaoctets de données chaque seconde. Notre cerveau possède des dizaines de milliards de neurones et plus de quatre quadrillions de composés, tandis que la quantité d'informations qu'il est capable de traiter chaque seconde est si grande que nous ne pouvons même pas l'estimer approximativement. Néanmoins, le pont entre le cerveau humain incroyablement puissant et le monde tout aussi rapide des 0 et 1 de haute technologie n'est rien de plus que des appareils modestes, tels qu'un clavier et une souris d'ordinateur, qui sont depuis longtemps monnaie courante.
L'Apple Watch est 250 fois plus puissante que l'ordinateur avec lequel le module lunaire Apollo a pu atterrir à la surface de la lune. Au fur et à mesure de l'évolution des ordinateurs, leur champ d'application est devenu de plus en plus répandu: de l'informatisation de bâtiments entiers aux nanomètres informatiques ordinaires. Cependant, le clavier reste le moyen d'interaction le plus fiable et le plus utilisé entre une personne et un ordinateur.
Le développement du premier clavier d'ordinateur a commencé il y a plus de
50 ans .
Qu'est-ce qui remplacera le clavier et la souris?
Déjà aujourd'hui, nous pouvons observer l'adoption généralisée des ordinateurs dans toutes sortes d'objets qui nous entourent, cependant, comme la connexion d'un clavier et d'une souris à de tels objets informatisés n'est pas toujours pratique, d'autres moyens doivent être trouvés pour assurer l'interaction. À l'heure actuelle, la solution la plus pertinente est l'interaction à l'aide d'objets intelligents ou de dispositifs de reconnaissance vocale IoT. Eh bien, regardons de plus près les méthodes d'interaction sur lesquelles les développeurs et les sociétés de recherche travaillent aujourd'hui.
Interaction tactile
Les progrès de la technologie multi-capteurs et l'interaction via des gestes multi-capteurs ont fait de l'écran tactile un favori parmi les interfaces. Les chercheurs et les propriétaires de startups mènent des recherches visant à améliorer l'interaction à l'aide de touches: par exemple, les appareils pourront déterminer combien vous appuyez sur l'écran, quelle partie de votre doigt vous faites cela, et aussi qui touche exactement l'appareil.
Le 3D Touch de l'iPhone peut déterminer la force avec laquelle vous touchez l'écran.Qeexo est capable de comprendre quelle partie de votre doigt vous touchez l'écran.L'une de mes préférées est la méthode d'interaction de détection capacitive à fréquence balayée (SFCS) développée par le professeur Chris Harrison de l'Université Carnegie Mellon.Interaction vocale
La DARPA a financé des recherches dans ce domaine dès les années 70 (!), Mais jusqu'à récemment, de telles recherches n'avaient pas été appliquées dans la vie. Néanmoins, grâce à la technologie d'apprentissage en profondeur, les appareils modernes de reconnaissance vocale ont été largement utilisés. Pour le moment, le plus gros problème avec la reconnaissance vocale n'est pas de les décoder, mais plutôt avec la perception et la compréhension par les appareils de la signification du message qui leur est transmis.
Hound fait un excellent travail avec la reconnaissance vocale contextuelle.Interaction avec les yeux
Les systèmes de suivi oculaire mesurent la direction de l'œil ou le mouvement de l'œil par rapport à la tête. En raison du coût réduit des caméras et des capteurs, et compte tenu également de la popularité croissante des lunettes de réalité virtuelle, l'interaction des utilisateurs et des ordinateurs utilisant des systèmes de suivi oculaire devient plus pertinente que jamais.
La technologie Eyefluence de Google vous permet d'interagir avec la réalité virtuelle avec vos mouvements oculaires.Tobii, qui a lancé son premier appel public à l'épargne (IPO) en 2015, et les fabricants d'électronique grand public mènent des recherches conjointes sur les systèmes de suivi oculaire.Interaction gestuelle
À mon avis, les systèmes de suivi des gestes sont les plus cool parmi les systèmes d'interaction homme-machine. J'ai personnellement mené des recherches sur différentes méthodes de suivi des gestes, et voici quelques-unes des technologies utilisées aujourd'hui:
Unité de mesure inertielle (IIU)
Les données de l'accéléromètre, du gyroscope et de la boussole (toutes ensemble ou seulement certaines d'entre elles) sont utilisées pour suivre les gestes. Le besoin de recalibrage et un coefficient de correspondance assez faible entre les informations entrantes et reçues sont quelques-uns des problèmes inhérents à cette méthode.
Le résultat d'une étude menée par le CMU Future Interfaces Group, était une classification vivante utilisant des données avec un taux d'échantillonnage élevé.Illuminateurs infrarouges + caméras (capteur de profondeur)
De nombreux systèmes de suivi des gestes présentés ci-dessus utilisent une combinaison de caméras haute résolution, d'illuminateurs infrarouges et de caméras infrarouges. De tels systèmes fonctionnent comme suit: un tel système projette des milliers de petits points sur n'importe quel objet, tandis que la distorsion varie en fonction de la distance à laquelle un tel objet est situé (il existe de nombreuses autres méthodes similaires, par exemple ToF, mais je n'entre pas dans le principe de leur travail Je le ferai). Différentes versions de cette technologie sont utilisées dans les plates-formes suivantes: Kinect, RealSense d'Intel, Leap Motion, Tango de Google.
Leap Motion est un appareil de suivi des gestes.Apple a franchi une étape vers l'introduction d'un système similaire dans la caméra frontale iPhone X pour FaceID.Champ électromagnétique
Dans cette méthode, le doigt ou d'autres parties du corps sont un objet conducteur qui déforme le champ électromagnétique créé lorsque les antennes de l'émetteur touchent l'objet.
Les montres intelligentes AuraSense utilisent 1 émetteur et 4 antennes pour suivre les gestes.Radar
Les radars sont utilisés depuis longtemps pour suivre les mouvements de divers objets - des avions aux navires et aux voitures. Google ATAP a littéralement réalisé des travaux de bijouterie, créant un radar sous la forme d'une micropuce mesurant 8 sur 10 mm. Ce chipset polyvalent peut être intégré dans des montres intelligentes, des téléviseurs et d'autres appareils afin de suivre les mouvements.
Google Project ATAP Project Soli.Interface musculo-machine de Thalmic Labs.Biosignaux
Si ces technologies modernes ne vous ont toujours pas plongés dans une stupeur légère, alors ne nous arrêtons pas là. Toutes les méthodes ci-dessus mesurent et détectent un sous-produit de nos gestes.
Le traitement direct des signaux provenant des nerfs musculaires est une autre étape vers l'amélioration de l'interaction entre la personne et l'ordinateur.
Le traitement du signal électromyographique de surface (sEMG) est fourni en installant des capteurs sur la peau des biceps / triceps ou de l'avant-bras, tandis que les signaux de divers groupes musculaires sont envoyés au dispositif de suivi. Du fait que le signal sEMG est assez bruyant, il est possible de déterminer certains mouvements.
Thalmic Labs a été l'une des premières sociétés à développer un appareil personnalisé basé sur sEMG - le bracelet Myo.Après avoir acheté un tel appareil, vous voudrez bien sûr le porter à votre poignet, cependant, les muscles du poignet sont suffisamment profonds, il sera donc difficile pour l'appareil d'obtenir un signal précis pour suivre les gestes.
CTRL Labs, qui est sur le marché depuis si longtemps, a créé un dispositif de suivi des gestes sEMG que vous pouvez porter au poignet. Un tel appareil de CTRL Labs mesure le signal sEMG et détecte un entraînement neuronal qui pénètre dans le cerveau après un mouvement. Cette méthode est la prochaine étape vers une interaction efficace entre l'ordinateur et le cerveau humain. Grâce à la technologie de cette entreprise, vous pouvez taper un message sur votre téléphone avec vos mains dans vos poches.
Interface de neuro-ordinateur
Il s'est passé beaucoup de choses au cours de la dernière année: la DARPA a investi 65 millions de dollars dans le développement d'interfaces neuronales; Elon Musk a levé 27 millions de dollars pour Neuralink; Le fondateur de Kernel, Brian Johnson, a investi 100 millions de dollars dans son projet; et Facebook a commencé à travailler sur le développement d'une interface de neuro-ordinateur (NCI). Il existe deux types de NCI:
NCI non invasif
Un appareil d'électroencéphalographie (ElectroEncephaloGraphy) reçoit les signaux des capteurs montés sur le cuir chevelu.
Imaginez un microphone monté au-dessus d'un stade de football. Vous ne saurez pas de quoi parle chaque personne présente, mais par des salutations et des détonations fortes, vous pouvez comprendre si l'objectif a été atteint.
Les interfaces basées sur ElectroEncephaloGraphy (EEG) ne peuvent réellement pas lire littéralement votre esprit. Le paradigme NQI le plus couramment utilisé est le P300 Speller. Par exemple, vous souhaitez taper la lettre "R"; l'ordinateur affiche au hasard différents caractères; dès que vous voyez le «R» sur l'écran, votre cerveau est surpris et donne un signal spécial. C'est une façon plutôt ingénieuse, mais je ne dirais pas que l'ordinateur "lit vos pensées", car vous ne pouvez pas déterminer ce qu'une personne pense de la lettre "R", mais cela ressemble plutôt à un tour de magie qui fonctionne, néanmoins, sur le sujet.
Des entreprises comme Emotiv, NeuroSky, Neurable et plusieurs autres ont développé des casques EEG pour un large marché de consommation. Le bâtiment 8 de Facebook a annoncé un projet de typage cérébral qui utilise une autre méthode pour déterminer les signaux du cerveau appelée spectroscopie infrarouge fonctionnelle (fNIRS), qui vise à suivre 100 mots par minute.
Interface Neuro Neurable.NCI invasif
À l'heure actuelle, il s'agit de la plus haute étape dans le domaine de l'interface homme-machine. L'interaction entre une personne et un ordinateur à l'aide d'un NCI invasif est assurée par la fixation d'électrodes directement au cerveau humain. Cependant, il convient de noter que les partisans de cette approche sont confrontés à un certain nombre de problèmes non résolus qu'ils doivent encore résoudre à l'avenir.
Défis à résoudre
Peut-être, en lisant cet article, l'idée vous est venue à l'esprit: ils disent que si toutes les technologies ci-dessus existent déjà, alors pourquoi utilisons-nous toujours le clavier et la souris. Cependant, pour qu'une nouvelle technologie permettant à l'homme et à l'ordinateur d'interagir puisse devenir un produit de consommation, elle doit avoir certaines fonctionnalités.
Précision
Utiliseriez-vous l'écran tactile comme interface principale s'il ne répondait qu'à 7 contacts sur 10? Il est très important que l'interface, qui sera entièrement responsable de l'interaction entre l'appareil et l'utilisateur, ait la plus grande précision possible.
Temps d'attente
Imaginez: vous tapez un message sur le clavier, tandis que les mots à l'écran n'apparaissent que 2 secondes après avoir appuyé sur les touches. Même un délai d'une seconde affectera négativement l'expérience de l'utilisateur. Une interface homme-machine avec une réponse retardée de quelques centaines de millisecondes est tout simplement inutile.
La formation
La nouvelle interface homme-machine ne doit pas impliquer que les utilisateurs apprennent beaucoup de gestes spéciaux. Par exemple, imaginez que vous auriez à apprendre un geste distinct pour chaque lettre de l'alphabet!
Rétroaction
Le son d'un clic sur le clavier, les vibrations du téléphone, un petit signal sonore de l'assistant vocal - tout cela sert comme une sorte d'avertissement à l'utilisateur de l'achèvement du cycle de rétroaction (ou de l'action qu'il appelle). La boucle de rétroaction est l'un des aspects les plus importants de toute interface auquel les utilisateurs ne font souvent même pas attention. Notre cerveau est tellement arrangé qu'il attend la confirmation qu'une action est terminée et nous avons obtenu un résultat.
L'une des raisons pour lesquelles il est très difficile de remplacer le clavier par un autre dispositif de suivi des gestes est le manque de capacité de ces dispositifs à informer explicitement l'utilisateur de l'action terminée.À l'heure actuelle, les chercheurs travaillent déjà dur pour créer des écrans tactiles qui peuvent fournir une rétroaction tactile au format 3D, de sorte que l'interaction avec les écrans tactiles devrait atteindre un nouveau niveau. De plus, Apple a fait un travail vraiment formidable dans cette direction.Ce qui nous attend dans le futur
En raison de tout ce qui précède, il peut vous sembler que nous ne verrons pas comment quelque chose de nouveau changera le clavier, du moins dans un avenir proche. Donc, je veux partager avec vous mes réflexions sur les fonctionnalités que la future interface devrait avoir:
- Multimodalité. Nous utiliserons différentes interfaces dans différents cas. Pour saisir du texte, nous utiliserons toujours le clavier; écrans tactiles - pour dessiner et concevoir; dispositifs de reconnaissance vocale - pour l'interaction avec nos assistants personnels numériques; systèmes de suivi des gestes à l'aide du radar - pendant la conduite; systèmes d'interface machine-musculaire - pour les jeux et la réalité virtuelle; et l'interface du neuro-ordinateur - pour sélectionner la musique qui convient le mieux à notre humeur.
- Reconnaissance du contexte. Par exemple, vous lisez un article sur votre ordinateur portable sur les incendies de forêt dans le nord de la Californie, puis utilisez les écouteurs intelligents pour poser une question à partir d'un assistant vocal virtuel: "Quelle est la force du vent dans cette région en ce moment?" Ainsi, l'assistant virtuel doit comprendre que vous posez exactement des questions sur la zone où il y a des incendies en ce moment.
- Automatisme . Compte tenu du développement de l'IA, l'ordinateur sera en mesure de mieux prévoir ce que vous prévoyez de faire, et vous n'avez donc même pas besoin de lui donner de commandes. Il saura quelle musique activer lorsque vous vous réveillerez, vous n'avez donc pas besoin d'interface pour rechercher et lire votre morceau préféré.
- Premier service de
promotion Reddit :
achetez des votes positifs Reddit