Foto: Lisa Alert .Se uma pessoa desapareceu na floresta, a melhor maneira de encontrá-la é enviar mecanismos de busca treinados para pentear. Nenhuma tecnologia de pesquisa pode substituir as pessoas ainda. No início do verão,
escrevemos sobre várias equipes que, como parte do concurso Odyssey, desenvolveram soluções para a vida selvagem. Muitos engenheiros confiavam em drones com câmeras e visão computacional, mas não enfrentavam problemas óbvios - falta de comunicação, baixo processamento e transmissão de grandes dados, copas densas de árvores e muito mais.
Como resultado, nenhuma solução com visão computacional chegou à final da competição. Mas especialistas técnicos disseram que - se as equipes unissem forças, montassem um conjunto de dados e treinassem algoritmos, a visão por computador poderia ter uma chance.
Na semana passada, em 9 de agosto, a equipe de busca Lisa Alert, juntamente com a Beeline, anunciou o lançamento de uma ferramenta que procurará pessoas em fotos de drones. Fomos a uma conferência de imprensa dedicada ao lançamento e descobrimos como ele funciona.
Dezenas de milhares de fotos
A apresentação ocorreu no dia seguinte ao anúncio escandaloso do Ministério de Emergências sobre o furacão, que ficou no ar pelos principais canais de televisão por dez minutos. O furacão não ocorreu, mas o tempo ainda estava terrível. Para o destacamento do Alerta Liza, isso às vezes está próximo - o número de pedidos de pessoas desaparecidas na floresta cai acentuadamente, porque com o mau tempo eles simplesmente não vão para lá. Isso libera forças para pesquisas mais complexas. Por outro lado, durante uma onda de frio, as pessoas desaparecidas correm um perigo ainda maior.
Por exemplo, em julho, o Lisa Alert recebeu 1.083 solicitações para a floresta. Cerca de 700 deles estão nos subúrbios. Muitas pessoas perdidas ainda têm telefone e estão na área de cobertura da rede. Da floresta, eles são liderados pelo grupo “Floresta em contato”, que explica como sair pelo sol ou por marcos naturais. Às vezes, eles enviam um grupo que monta uma sirene ou leva uma pessoa para fora.
Mas as pesquisas mais difíceis são aquelas em que não há conexão com os desaparecidos. Por exemplo, na época da conferência de imprensa por vários dias, houve uma busca por uma mulher de 73 anos na área de Shchelkovo. Os grupos de mecanismos de pesquisa percorreram um total de 2.300 quilômetros e tiraram 8.400 fotos do drone sobre a floresta.
“Agora nossa tecnologia funciona assim”, diz Grigory Sergeyev, “Tiramos fotos, carregamos no serviço, que foi escrito por nossos voluntários, e grupos especiais visualizam fotos. Um grande número de pessoas fora da equipe também pode ajudar com isso. Nesses quadros, procuramos algo diferente da floresta. Grupos de caminhada imediatamente saem para ver o que é. Agora, nas pesquisas em Shchelkovo, temos mais de cem marcas que precisam ser verificadas. Para contornar todos eles, é preciso andar mais de trezentos quilômetros. ”
Quando conversamos com os participantes do concurso Odyssey, eles estavam céticos em tirar fotos da floresta do ar. Mas este ano, "Lisa Alert" encontra pelo menos uma pessoa por semana com a ajuda de helicópteros. Segundo Gregory, há dois anos, eles encontraram apenas duas pessoas durante toda a temporada. No ano passado - seis.
Os drones voam sobre territórios onde é muito difícil para uma pessoa ir - quebra-ventos, pântanos. Alexander Lomonosov, chefe do veículo aéreo não tripulado Lisa Alert, mostrou gravações de rastreadores de grupos de busca. Pentear com unidades deixou muitas manchas brancas. Drones cobriram completamente este território.
“Se o grupo ficasse tempestuoso, eles passariam pelo menos três horas. O drone trabalhou nesta área em 15 minutos. Foi lá que um homem foi encontrado - do ar. Ele podia entrar no quebra-vento, e não havia mais força suficiente para sair dali. Várias pessoas treinadas o evacuaram por mais de quatro horas. E durante esse tempo, apenas 370 metros passaram. Um drone, campos abertos e pântanos, o drone funcionará muitas vezes mais rápido que um grupo de caminhada regular. Se o campo estiver coberto de grama em 15 cm, um grupo de motores de busca treinados o penteará por 6 a 8 horas e o drone por uma hora. Ele trará fotografias de toda a área e as zonas mortas serão completamente excluídas.
Em média, uma pesquisa traz 250 fotos. Por seis meses, eles acumulam 33 mil. Mas agora existem poucos helicópteros e pilotos no esquadrão. Se o número aumentar e os drones forem usados nas 20 regiões onde o Lisa Alert opera, serão coletadas 33 mil imagens em um dia. E o destacamento passou 240 horas apenas olhando fotos de uma pesquisa em Shchelkovo.
Conjuntos de dados de mecanismos de pesquisa e energia de telecomunicações
Há dois meses, Lisa Alert e Beeline começaram a testar o algoritmo Beeline AI - People Search, que analisa fotos de drones.
O projeto começou com a idéia de aprender a filtrar automaticamente as fotografias vazias, para que apenas as fotografias suspeitas da presença de uma pessoa fossem enviadas ao grupo que estava assistindo.
“Houve uma época em que tentei encontrar conjuntos de dados especiais, mas eles não existiam no mundo, embora alguns tentassem coletá-los”, diz Alexander Lomonosov, “portanto, nós mesmos passamos às fotos dos desenvolvedores onde as pessoas estavam: transeuntes comuns que entravam no quadro, catadores de cogumelos , os próprios mecanismos de pesquisa no trabalho. Tudo isso lançou as bases para o conjunto de dados no qual a visão de máquina funciona. ”
Montar esse conjunto de dados também é uma tarefa com muitas sutilezas sutis. As pessoas podem entrar no quadro em qualquer posição: sentado, deitado, em pé. Eles podem ser tão cobertos com galhos que apenas uma pequena parte é visível. O fundo ao redor é muito diferente, dependendo da paisagem, região e estação do ano.
“Em muitas regiões, pedimos especificamente às pessoas que fizessem poses típicas para as vítimas e as fotografassem. Em seguida, as imagens foram propagadas artificialmente. Por exemplo, eles tiraram uma pessoa fotografada em Rostov e a colocaram em substratos de outras regiões ”, diz Grigory Sergeev.
Nas fotografias recebidas, os cientistas de dados da Beeline começaram a aprender algoritmos.
“Nós, como operadoras, estamos acostumados a trabalhar com uma enorme quantidade de dados. Temos cinco grandes centros de dados. Somente o data center de Yaroslavl, que usamos para trabalhar com o Lisa Alert, processa 15 petabytes de dados. Graças a isso, aprendemos a construir modelos muito modernos ”, afirma George Held, vice-presidente de desenvolvimento de negócios digitais da Beeline.
“As fotos chegam ao nosso sistema e precisamos determinar se há uma pessoa nelas ou não. Veja um chapéu, bota, mão, orelha, o que for. Portanto, cortamos cada imagem em 30 a 35 camadas. Um trabalho gigantesco foi feito para encontrar a arquitetura adequada para isso e criar um algoritmo, porque qualquer erro levará ao fato de que sentiremos falta das pessoas nas fotos. São necessários enormes recursos de computação para processar rapidamente cada camada. Usamos os mesmos modelos que usamos para segmentação. Pegamos seus componentes e reutilizamos neste projeto. ”
O modelo é capaz de procurar não apenas a pessoa como um todo, mas observa nas figuras todos os artefatos pequenos e suspeitos da floresta. Agora chega a primeira etapa do teste, quando o algoritmo descarta todas as fotos em que há uma probabilidade de 98% de que não há pessoa.
As imagens restantes são enviadas imediatamente para os voluntários que estão procurando pessoas e, se necessário, são enviadas aos motores de busca ou drones para filmagens adicionais. Enquanto o sistema está sendo testado, as pessoas que descartaram as imagens também são verificadas - mas em segundo lugar.
A próxima etapa, os desenvolvedores planejam ensinar o algoritmo a determinar com mais precisão as imagens das pessoas e a construir modelos preditivos de seus movimentos na floresta.
Por que 5G aqui
Agora o sistema tem duas opções. O primeiro é um programa offline para processar imagens em laptops em condições em que não há conexão. Seu poder é limitado, além disso, deve ser atualizado sempre que você se conectar à rede, porque o algoritmo está constantemente aprendendo. O serviço online funciona em todo o seu potencial - nele as fotos são carregadas nos servidores Beeline. Já 15 milhões de imagens passaram pelos data centers.
Lisa Alert usa drones DJI na pesquisa, porque ela usa seus programas para voos autônomos. Uma foto do modelo Mavic 2 Pro pesa cerca de 20 MB e, após cada vôo, é necessário fazer o upload e transferir uma média de 20 GB de fotos para o serviço. Isso é muito mesmo para locais com boa cobertura de rede.
George Held acredita que o trabalho dos algoritmos de busca é um argumento a favor da
construção de redes 5G .
“É muito importante que as informações sejam transmitidas por uma grande rede de alta qualidade; portanto, agora estamos investindo muito dinheiro na melhoria de estações base, uma rede 5G está sendo construída. Muitos operadores dizem isso com orgulho. Mas a maior questão é - para que serve? Para assistir a um vídeo no YouTube? Também funcionará exatamente bem em 4G. O 5G precisa de razões reais. Trabalhar com o Lisa Alert é um exemplo muito bom, porque uma enorme quantidade de informações deve ser transmitida rapidamente. ”
Não são necessários termovisores
No início do verão, em uma competição de tecnologia de busca, apenas uma equipe que dependia da visão computacional se qualificou para as finais. Mas ela usou um termovisor para filmar. Grigory Sergeev se refere a isso com ceticismo.
“Por 9 anos, não encontramos uma única pessoa com a ajuda de um termovisor. Todo mundo quer acreditar que isso é uma coisa legal. Sim, podemos usá-lo para não parar de pesquisar, por exemplo, à noite em espaços abertos. Mas para todo o resto, não é adequado. A grama não é transparente, todas as coroas são opacas. Uma pessoa está na floresta em roupas, e as roupas têm uma temperatura ambiente. O termovisor é uma fantasia legal, mas é ineficaz para pesquisas. Tentamos todos os nossos dispositivos de defesa, tentamos modelos estrangeiros. "Eles são adequados para duplicação, mas, considerando o custo e a eficácia, eu diria não aos termovisores".
Quando perguntado por que ninguém naquela competição era capaz de usar efetivamente a visão computacional, Georgy responde simplesmente: "eles não tinham o poder de desenvolvimento que temos agora".