Uma das aplicações mais engraçadas dos algoritmos de visão de máquina é a capacidade de determinar a taxa de reação do sistema nervoso de uma pessoa pela reação do aluno à luz.
Isso pode ser usado para avaliar a adequação de uma pessoa, sua prontidão para trabalhos complexos, perigosos e responsáveis (piloto de avião, operador de NPP, despachante de metrô etc.).
Anteriormente, "ping" era uma simples reação do aluno à luz de uma lanterna. Por exemplo, uma ambulância faz isso. Mas você também pode avaliar a taxa de reação, que fornece muito mais informações. Encontramos uma maneira de automatizar isso, detectando alunos na câmera a 40 qps. A complexidade computacional não é alta, 3-5 mil comparações por quadro - em tempo real:
Dados pupilométricos de uma pessoa saudávelPela taxa de reação da pupila à luz (estreitamento e restauração do diâmetro da pupila após o surto), é possível estimar a velocidade de passagem de um impulso nervoso, bem como a velocidade de seu subsequente processamento no sistema nervoso.
Isto é, sim, este é um tipo de ping do seu sistema nervoso central. Essa coisa parece com óculos 3D.
Aqui está o nosso protótipo. Normalmente, o incorporamos nos
terminais de diagnóstico (ou seja, esses óculos ficam fora do dispositivo), mas acontece - nós o usamos separadamente. Você pode torná-lo mais bonito, mas não há significado especial, esta é uma amostra de pré-produção:
O que isso dá?
No final do século XVII, os médicos começaram a notar que pacientes em diferentes condições reagem de maneira diferente à luz. Após quase 300 anos de pesquisa, o mestre, Eckhard Hess, chegou à conclusão de que a taxa de reação do aluno é afetada pela fadiga e tipos de estresse mental antes da avaliação. Em geral, a taxa de expansão da pupila após um flash de luz (adaptação à escuridão) pode servir como uma medida do grau de excitação do sistema nervoso. Em 1982, Hess provou que os alunos se abrem mais quando você olha para um objeto que lhe interessa. Ele mostrou aos homens, é claro, uma foto das meninas. Então eles gradualmente passaram a assuntos mais sutis - comida favorita, um candidato de seu partido, e assim por diante. Então eles mediram a carga mental. Quanto mais intensa a pessoa pensa, mais lentamente as pupilas se expandem. Então o cérebro foi "carregado" com aritmética. Hoje diríamos que os processos são paralelos e, quando o poder computacional do cérebro está ocupado com alguma coisa, a avaliação do ambiente pela iluminação é mais lenta. A suposição de que as pupilas dilatadas servem como um dos atratores da comunicação não-verbal permaneceu não comprovada.
Mais tarde, os estudos começaram a aparecer numericamente relacionados ao efeito no reflexo da pupila de vários tipos de tensão mental (exame cuidadoso dos objetos, realização de cálculos na mente) e distúrbios nervosos (depressão, aumento da irritabilidade etc.).
Como o dispositivo funciona
Estes são grandes óculos ou binóculos. Você precisa olhar por alguns segundos, há LEDs infravermelhos e câmeras de vídeo.
Para ser mais preciso, são utilizados os seguintes: LEDs de espectro infravermelho - para iluminar os olhos, eles são invisíveis à visão humana; LEDs de espectro visível - com luz branca, para flash; uma câmera digital para a faixa de infravermelho com uma lente e uma pequena marca de diodo para focar os olhos durante o exame. Nos "binóculos" também cabe a placa de controle, conectores e outro kit de carroceria.
Primeiro, ele reconhece você pela íris para que você não atraia os olhos de outras pessoas. O exame em si após a autenticação dura de 6 a 8 segundos. O examinador aplica firmemente a máscara do dispositivo nos olhos, a fim de excluir a iluminação externa. Nos primeiros 1-2 segundos, a adaptação ao escuro ocorre. Nesse momento, as pupilas se expandem para cerca de 5-6-7 milímetros, tentando dar o máximo de luz à retina, para que pelo menos algo possa ser reconhecido. Destacamos os olhos com um LED infravermelho - para uma pessoa essa faixa não é visível e a pupila não responde a ela. Olha, as pupilas são grandes e bonitas:
Depois de atingir o diâmetro máximo da pupila por 200 ms, os diodos de luz branca (estímulo da luz) acendem. O início do estímulo luminoso é considerado zero na escala de tempo ao construir o pupilograma - um gráfico da dependência da mudança no diâmetro da pupila no tempo. Estamos interessados nos próximos 5 segundos após o flash. O ponto Dmin (compressão máxima do esfíncter das pupilas) é assim:
Uma câmera digital grava imagens de dois olhos com uma frequência de pelo menos 40 quadros por segundo. O software de controle (software) encontra uma pupila em cada quadro e determina seu diâmetro.
Além disso, o aluno se expande gradualmente.
A principal tarefa: precisamos obter um pupilograma, ou seja, um gráfico da reação do aluno à luz. Reconhecemos o vídeo, removemos o ruído dos dados (temos muitos quadros de referência) e obtemos um gráfico (este é um exemplo do meu colega, uma pessoa condicionalmente saudável):
O pupilograma contém três áreas importantes: a área latente, a área de estreitamento da pupila e a área de recuperação. Os principais parâmetros da região latente são o diâmetro inicial da pupila (DN) e o tempo de atraso da reação da pupila desde o início da exposição à luz (TL). A segunda região do gráfico é caracterizada por um diâmetro mínimo (Dmin) e um tempo de estreitamento (CT), a terceira região - pontos de restauração do diâmetro da pupila em 50, 66 e 75% da amplitude de estreitamento. Um pupilograma pode ser considerado inadequado para avaliação se uma pessoa fechar os olhos durante a exposição à luz, piscar com muita frequência ou mover os olhos especialmente de um lado para o outro. Resultados incorretos podem ser obtidos para o sujeito em lentes coloridas.
Em seguida, o software analisa esses parâmetros, dos quais os mais importantes são a taxa de estreitamento e a taxa de expansão do aluno. Depois disso, é tirada uma conclusão sobre a adequação de uma pessoa e sua prontidão para trabalhos complexos e perigosos.
Os horários das pessoas que estão muito cansadas, após grave falta de sono ou quando intoxicados, alcoólatra ou narcótico - diferem dos horários das pessoas em um estado adequado. Particularmente bem, a diferença será notável se primeiro obtivermos o padrão - examinamos a pessoa quando ela está em um estado normal e mais tarde em um estado anormal.
Testes
Testamos o dispositivo em aproximadamente 760 funcionários da empresa em diferentes condições (incluindo festas corporativas e os dias seguintes). Um total de 3496 medições antes da publicação (novas são adicionadas todos os dias). O mais difícil não é tanto o reconhecimento como a avaliação do gráfico resultante. Como parte do teste, viajamos para várias clínicas interessantes, onde pacientes com um diagnóstico conhecido (por exemplo, alcoolismo crônico) foram convidados a participar voluntariamente do estudo. É mais difícil encontrar indivíduos intoxicados por drogas para uma amostra representativa. Como parte do estudo, colaboramos com várias clínicas de tratamento medicamentoso, onde pacientes com dependência de drogas e transtornos mentais são tratados. Para fins médicos, eles tomam classes de medicamentos como tranqüilizantes, antidepressivos, antipsicóticos, anticonvulsivantes e sedativos, de modo que a base se acumulou bastante grande.
Era necessário depurar o algoritmo, coletar mais dados sobre o paciente e assim por diante. Cada pessoa pode ter características individuais da reação do aluno à luz. As primeiras versões do algoritmo às vezes produziam coisas geralmente engraçadas por causa das dificuldades de reconhecimento. Então, uma vez que quase hospitalizamos o próprio médico.
No decorrer do desenvolvimento do projeto e da conexão de nossos beta testers, construímos um sistema no qual o paciente não pode enganar conscientemente o dispositivo para o lado "melhor". Na pior das hipóteses, pode, com a ajuda de várias medidas, mas o aplicativo deve eliminar inadequadamente (por exemplo, motoristas de ônibus antes do voo) de especialistas totalmente prontos para o combate.
Podemos realizar uma avaliação comparando com o padrão após um exame físico ou com o padrão universal para esse tipo de pessoa. Portanto, no momento, coletamos os dados necessários do dossiê pessoal do paciente ou coletamos uma anamnese como essa em um dispositivo de campo (essa é a interface do médico):
Se o dispositivo estiver embutido no terminal de diagnóstico, os cartões do paciente e os dados atuais de medição são suficientes para criar uma hipótese muito precisa.
Supõe-se que o terminal de diagnóstico não exclua pessoalmente um exame médico de um especialista, mas às vezes o acelera. E desde que todos os principais indicadores (pupilômetro, bafômetro, manômetro) sejam medidos no dispositivo, é possível enviar para um exame físico pessoal apenas aqueles referentes aos quais o terminal de diagnóstico tem pelo menos uma dúvida mínima, e isso já pode ser de 20 em cada 100 pessoas.
De onde vem o cartão? Lembre-se de que desde que incorporamos as câmeras nos "binóculos" e como ainda reconhecemos algo delas, é estúpido não usar as bibliotecas comuns para reconhecer pessoas pela íris, pois esse é um problema resolvido há muito tempo. Portanto, obtemos a identificação do paciente e podemos obter os dados anteriores.
Aqui estão os testadores beta que se sacrificaram abnegadamente:
Tendo problemas com as lentes:
Mesmo as lentes transparentes de um dia levam a uma diminuição da gravidade do reflexo da pupila, que é muito semelhante à fadiga e intoxicação. Sugerimos que isso se deva a uma diminuição na quantidade total de luz que entra nos olhos ao usar lentes. Esse efeito deve ser levado em consideração ao analisar esses gráficos; portanto, nossa interface contém uma pergunta obrigatória sobre as lentes antes de iniciar o exame.
Agora continuamos a refinar os algoritmos e a metodologia. Você precisa coletar mais estatísticas para melhorar a precisão. O dispositivo já funciona como um bom testador de drogas, mas queremos mais. Agora, as estatísticas não permitem tirar conclusões diagnósticas confiáveis. Além disso, para um bom diagnóstico da condição de uma pessoa em particular, é necessário primeiro realizar várias medições normais da reação de sua pupila, para que mais tarde, com alta probabilidade, após qualquer impacto, ele possa detectar desvios da norma - isso é uma questão do manual de instruções para o pessoal da NPP. Nós nos esforçamos para melhorar o algoritmo, reduzir erros do primeiro e do segundo tipo. Guardas de segurança e especialistas em conformidade com TB concordam com gratidão com este trabalho.
Tiro dos olhos
Aqui está o vídeo:
Também é necessário reconhecer erros (quando uma pessoa pisca deliberadamente, tenta acomodar-se conscientemente e geralmente interfere na operação do dispositivo) - embora esses casos sejam visíveis no gráfico e registrados pelas mãos, haverá uma marca sobre a falta de confiabilidade do resultado posteriormente.
Referências