Este artigo é dedicado às interfaces, bem como às tecnologias que vêm depois das telas sensíveis ao toque e dos dispositivos de reconhecimento de voz.
O Apple Watch, que, a propósito, está longe de ser o computador mais poderoso hoje em dia, é capaz de processar gigabytes de dados a cada segundo. Nosso cérebro possui dezenas de bilhões de neurônios e mais de quatro quadrilhões de compostos, enquanto a quantidade de informações que ele é capaz de processar a cada segundo é tão grande que não podemos estimar aproximadamente. No entanto, a ponte entre o cérebro humano incrivelmente poderoso e o mundo igualmente rápido dos 0s e 1s de alta tecnologia nada mais é do que dispositivos modestos, como teclado e mouse de computador, que há muito se tornam comuns.
O Apple Watch é 250 vezes mais poderoso que o computador com o qual o módulo lunar Apollo foi capaz de pousar na superfície da lua. À medida que os computadores evoluíram, seu campo de aplicação se tornou cada vez mais amplo: da informatização de edifícios inteiros aos nanômetros comuns de computadores. No entanto, o teclado continua sendo o meio de interação mais confiável e amplamente utilizado entre uma pessoa e um computador.
O desenvolvimento do primeiro teclado de computador começou há mais de
50 anos .
O que substituirá o teclado e o mouse?
Atualmente, já podemos observar a ampla adoção de computadores em todos os tipos de objetos que nos cercam, no entanto, como conectar um teclado e mouse a esses objetos computadorizados nem sempre é conveniente, outras formas devem ser encontradas para garantir a interação. No momento, a solução mais relevante é a interação usando objetos inteligentes ou IoT - dispositivos de reconhecimento de voz. Bem, vamos dar uma olhada nos métodos de interação em que desenvolvedores e empresas de pesquisa estão trabalhando hoje.
Interação por toque
Os avanços na tecnologia multisensor e a interação através de gestos multisensores tornaram a tela de toque a favorita entre as interfaces. Pesquisadores e proprietários de startups estão realizando pesquisas com o objetivo de melhorar a interação com a ajuda de toques: por exemplo, os dispositivos podem determinar o quanto você pressiona a tela, qual parte do seu dedo está fazendo e também quem exatamente toca o dispositivo.
O toque 3D do iPhone pode determinar a força com a qual você toca na tela.O Qeexo é capaz de entender em qual parte do seu dedo você está tocando na tela.Um dos meus favoritos é o método de interação Swept Frequency Capacitive Sensing (SFCS) desenvolvido pelo professor Chris Harrison da Universidade Carnegie Mellon.Interação por voz
A DARPA financiou pesquisas nessa área já nos anos 70 (!), Mas até recentemente, essas pesquisas não eram aplicadas na vida. No entanto, graças à tecnologia de aprendizado profundo, os modernos dispositivos de reconhecimento de voz foram amplamente utilizados. No momento, o maior problema com o reconhecimento de voz não está em decodificá-las, mas com a percepção e compreensão dos dispositivos do significado da mensagem transmitida a eles.
Hound faz um ótimo trabalho com reconhecimento de fala contextual.Interação ocular
Os sistemas de rastreamento ocular medem a direção do olho ou o movimento do olho em relação à cabeça. Devido ao custo reduzido de câmeras e sensores, e também levando em consideração a crescente popularidade dos óculos de realidade virtual, a interação de usuários e computadores usando sistemas de rastreamento ocular está se tornando mais relevante do que nunca.
A tecnologia Eyefluence do Google permite que você interaja com a realidade virtual com seus movimentos oculares.A Tobii, que lançou sua Oferta Pública Inicial (IPO) em 2015, e os fabricantes de eletrônicos estão realizando pesquisas conjuntas sobre sistemas de rastreamento ocular.Interação com gestos
Na minha opinião, os sistemas de rastreamento por gestos são os mais legais entre os sistemas de interação homem-computador. Eu conduzi pessoalmente pesquisas sobre vários métodos de rastreamento de gestos, e aqui estão algumas das tecnologias usadas hoje:
Unidade de Medição Inercial (IIU)
Os dados do acelerômetro, giroscópio e bússola (todos juntos ou apenas alguns deles) são usados para rastrear gestos. A necessidade de recalibração e um coeficiente de correspondência bastante baixo entre as informações recebidas e recebidas são alguns dos problemas inerentes a este método.
O resultado de um estudo realizado pelo CMU Future Interfaces Group, foi uma classificação vívida usando dados com alta taxa de amostragem.Iluminadores infravermelhos + câmeras (sensor de profundidade)
Muitos dos sistemas legais de rastreamento de gestos apresentados acima usam uma combinação de câmeras de alta resolução, iluminadores infravermelhos e câmeras infravermelhas. Esses sistemas funcionam da seguinte maneira: esse sistema projeta milhares de pequenos pontos em qualquer objeto, enquanto a distorção varia dependendo da distância em que esse objeto está localizado (existem muitos outros métodos semelhantes, por exemplo, ToF, mas não entendo o princípio do trabalho deles). Eu vou). Várias versões dessa tecnologia são usadas nas seguintes plataformas: Kinect, RealSense da Intel, Leap Motion, Tango do Google.
O Leap Motion é um dispositivo de rastreamento de gestos.A Apple deu um passo no sentido de introduzir um sistema semelhante na câmera frontal do iPhone X para o FaceID.Campo eletromagnético
Nesse método, o dedo ou outras partes do corpo são um objeto condutor que distorce o campo eletromagnético criado quando as antenas do transmissor tocam o objeto.
Os relógios inteligentes AuraSense usam 1 transmissor e 4 antenas para rastrear gestos.Radar
Os radares são usados há muito tempo para rastrear os movimentos de vários objetos - de aviões a navios e carros. O Google ATAP literalmente realizou trabalhos de joalheria, criando um radar na forma de um microchip medindo 8 por 10 mm. Este chipset versátil pode ser integrado a relógios inteligentes, televisões e outros dispositivos para rastrear movimentos.
Projeto Google Projeto ATAP Soli.Interface máquina-músculo da Thalmic Labs.Biosignals
Se essas tecnologias modernas ainda não o levaram ao estupor, então não vamos parar por aí. Todos os métodos acima medem e detectam um subproduto de nossos gestos.
Processar sinais diretamente dos nervos musculares é outro passo à frente no sentido de melhorar a interação entre a pessoa e o computador.
O processamento do sinal eletromiográfico de superfície (sEMG) é fornecido pela instalação de sensores na pele do bíceps / tríceps ou antebraço, enquanto os sinais de vários grupos musculares são enviados ao dispositivo de rastreamento. Devido ao fato de o sinal sEMG ser bastante barulhento, é possível determinar certos movimentos.
A Thalmic Labs foi uma das primeiras empresas a desenvolver um dispositivo personalizado baseado na sEMG - a pulseira Myo.Ao adquirir esse dispositivo, é claro que você deseja usá-lo no pulso, no entanto, os músculos do pulso são suficientemente profundos, por isso será difícil para o dispositivo obter um sinal preciso para rastrear gestos.
O CTRL Labs, que está no mercado há tanto tempo, criou um dispositivo de rastreamento por gestos sEMG que você pode usar no pulso. Esse dispositivo do CTRL Labs mede o sinal sEMG e detecta uma unidade neural que entra no cérebro após o movimento. Este método é o próximo passo para uma interação eficaz entre o computador e o cérebro humano. Graças à tecnologia desta empresa, você pode digitar uma mensagem no seu telefone com as mãos nos bolsos.
Interface de neurocomputador
Muita coisa aconteceu no ano passado: a DARPA investiu US $ 65 milhões no desenvolvimento de interfaces neurais; Elon Musk levantou US $ 27 milhões para o Neuralink; O fundador da Kernel, Brian Johnson, investiu US $ 100 milhões em seu projeto; e o Facebook começou a trabalhar no desenvolvimento de uma interface de neurocomputador (NCI). Existem dois tipos de NCI:
ICN não invasivo
Um dispositivo de eletroencefalografia (ElectroEncephaloGraphy) recebe sinais de sensores montados no couro cabeludo.
Imagine um microfone montado acima de um estádio de futebol. Você não saberá do que estão falando todas as pessoas presentes, mas, com cumprimentos e estrondos, poderá entender se o objetivo foi alcançado.
Interfaces baseadas na eletroencefalografia (EEG) na verdade não podem literalmente ler sua mente. O paradigma NQI mais usado é o P300 Speller. Por exemplo, você deseja digitar a letra "R"; o computador exibe aleatoriamente caracteres diferentes; Assim que você vê o "R" na tela, seu cérebro fica surpreso e emite um sinal especial. Essa é uma maneira bastante engenhosa, mas eu não diria que o computador "lê seus pensamentos", porque você não pode determinar o que uma pessoa pensa sobre a letra "R", mas parece um truque de mágica que, no entanto, funciona.
Empresas como Emotiv, NeuroSky, Neurable e várias outras desenvolveram fones de ouvido EEG para um amplo mercado consumidor. O Edifício 8 do Facebook anunciou um projeto de Digitação Cerebral que usa outro método para determinar sinais do cérebro chamado Espectroscopia por Infravermelho Próximo Funcional (fNIRS), que visa rastrear 100 palavras por minuto.
Neuro Interface Neurable.NCI invasivo
No momento, este é o passo mais alto no campo da interface homem-máquina. A interação entre uma pessoa e um computador usando um NCI invasivo é garantida pela conexão de eletrodos diretamente no cérebro humano. No entanto, vale a pena notar que os proponentes dessa abordagem enfrentam uma série de problemas não resolvidos que ainda precisam resolver no futuro.
Desafios a serem resolvidos
Talvez, ao ler este artigo, tenha surgido a idéia: eles dizem que, se todas as tecnologias acima já existem, por que ainda usamos o teclado e o mouse? No entanto, para que uma nova tecnologia que permita a interação entre humanos e computadores possa se tornar um produto de consumo, ela deve ter alguns recursos.
Precisão
Você usaria a tela sensível ao toque como interface principal se ela respondesse apenas a 7 dos 10 toques? É muito importante que a interface, que será totalmente responsável pela interação entre o dispositivo e o usuário, tenha a maior precisão possível.
Tempo de espera
Imagine: você digita uma mensagem no teclado, enquanto as palavras na tela aparecem apenas 2 segundos depois de pressionar as teclas. Mesmo um atraso de um segundo afetará negativamente a experiência do usuário. Uma interface homem-máquina com uma resposta atrasada de algumas centenas de milissegundos é simplesmente inútil.
Treinamento
A nova interface homem-máquina não deve implicar que os usuários aprendam muitos gestos especiais. Por exemplo, imagine que você precisaria aprender um gesto separado para cada letra do alfabeto!
Comentários
O som de um clique no teclado, a vibração do telefone, um pequeno sinal sonoro do assistente de voz - tudo isso serve como uma espécie de aviso ao usuário sobre a conclusão do ciclo de feedback (ou a ação que ele chama). O ciclo de feedback é um dos aspectos mais importantes de qualquer interface em que os usuários nem prestam atenção. Nosso cérebro está tão organizado que aguarda confirmação de que alguma ação foi concluída e obtivemos algum resultado.
Uma das razões pelas quais é muito difícil substituir o teclado por qualquer outro dispositivo de rastreamento de gestos é a falta de capacidade desses dispositivos para notificar explicitamente o usuário sobre a ação concluída.No momento, os pesquisadores já estão trabalhando duro para criar telas sensíveis ao toque que possam fornecer feedback tátil no formato 3D, para que a interação com as telas sensíveis ao toque atinja um novo nível. Além disso, a Apple fez um trabalho realmente tremendo nessa direção.O que nos espera no futuro
Por causa de tudo o que foi exposto acima, pode parecer que não veremos como algo novo mudará o teclado, pelo menos no futuro próximo. Então, quero compartilhar com vocês meus pensamentos sobre quais recursos a interface futura deve ter:
- Multimodalidade. Usaremos interfaces diferentes em casos diferentes. Para inserir texto, ainda usaremos o teclado; telas sensíveis ao toque - para desenhar e projetar; dispositivos de reconhecimento de voz - para interação com nossos assistentes pessoais digitais; sistemas para rastrear gestos usando o radar - enquanto dirige; sistemas de interface máquina-músculo - para jogos e realidade virtual; e a interface do neurocomputador - para selecionar a música mais adequada ao nosso humor.
- Reconhecimento do contexto. Por exemplo, você lê um artigo em seu laptop sobre incêndios florestais no norte da Califórnia e, em seguida, usa os fones de ouvido inteligentes para fazer uma pergunta a um assistente de voz virtual: “Qual é a força do vento nesta área agora?” Portanto, o assistente virtual deve entender que você está perguntando exatamente sobre a área em que há incêndios no momento.
- Automatismo . Tendo em vista o desenvolvimento da IA, o computador poderá prever melhor o que você planeja fazer e, portanto, você nem precisa dar comandos. Ele saberá qual música ativar quando você acordar, para que você não precise de nenhuma interface para pesquisar e reproduzir sua faixa favorita.
- Primeiro serviço de
promoção do Reddit :
compre upvotes do Reddit