Muitos tipos de plantas e culturas ainda são coletados apenas à mão.
Engenheiros da Universidade de Cambridge (Grã-Bretanha) criaram um protótipo funcional de uma colheitadeira robótica que pode reconhecer independentemente cabeças de alface intactas prontas para serem cortadas, além de processá-las e coletá-las com precisão.
Para coletar uma boa colheita no modo automático, você precisa resolver vários problemas tecnológicos complexos, como:
- posicionamento preciso e correto no local de coleta, sincronização de ações com outros coletores;
- análise e seleção dos algoritmos corretos para uso em diferentes culturas;
- reconhecimento de frutos amadurecidos (folhas, bagas);
- descarte de elementos danificados ou não germinados;
- Captura e corte precisos de culturas prontas para a colheita sem danos;
- triagem e empilhamento da colheita;
- registro de ações e capacidade de autoaprendizagem;
- verificar a correção das ações atuais e minimizar os danos ao local de coleta.
Além disso, é necessário executar todas essas tarefas com alta velocidade e em condições reais de constante mudança do mundo circundante (vento, chuva, insetos, animais e assim por diante).
Um grupo de engenheiros da Universidade de Cambridge resolveu com sucesso alguns desses problemas e publicou suas pesquisas neste trabalho:
Link para um artigo científico no
Journal of Field Robotics .
Eles criaram um pequeno e até agora pouco protótipo autônomo de uma colheitadeira de robôs independente, capaz de analisar e escolher os elementos certos para a colheita.
Este robô-montador é um manipulador em uma plataforma com rodas, com a largura de uma cama. O manipulador está equipado com uma alça, uma faca para cortar e uma câmera de vídeo; uma câmera de vídeo adicional está localizada na parte superior de sua plataforma.
Como esse é apenas um protótipo, que para uso em massa será significativamente aprimorado tanto em termos elementares quanto funcionais, os engenheiros simplesmente instalaram todos os componentes do robô necessários para realizar testes de campo em uma plataforma passiva de rodas, movida manualmente pelo operador.
Sua tarefa era ensinar o robô a entender o processo de colheita e automatizar suas ações usando o aprendizado de máquina.
Depois que o robô passa por cima das novas cabeças de alface, o processo de reconhecimento e classificação das cabeças de alface é ativado usando câmeras de vídeo e redes neurais.
As imagens das câmeras de vídeo no manipulador e na plataforma foram usadas para:
- localização de cabeças de alface em frente à câmera de vídeo - usando a rede neural convolucional YOLO versão 3, para o treinamento do qual foram usadas 1.500 fotografias;
- classificação das cabeças de alface de acordo com quatro tipos (elemento amadurecido, elemento verde, elemento infectado / danificado, falta de elemento), utilizando a rede neural convolucional da Rede de Classificação de Objetos Darknet, para a qual foram utilizadas 665 fotografias.
Os testes de campo do robô de montagem mostraram que ele é capaz de:
- identifique os chefes de salada à sua frente com uma precisão de 91%;
- classifique corretamente as cabeças de alface com uma precisão de 85%.
- o tempo de um ciclo de trabalho (a transição de uma cabeça de alface para outra) é de 32 segundos, o que é muito, mas esse momento ainda será finalizado.
Acontece que as próprias camas estão muito cobertas e a germinação de cabeças de alface é muito difícil de localizar e classificar:
Portanto, a salada é removida manualmente rapidamente, mas todas seguidas sem uma seleção especial e cuidadosa:
E é difícil criar uma pequena plataforma com um robô de limpeza, porque o dispositivo deve ser móvel, permanecer estável o suficiente na superfície em terreno solto e não destruir as camas com seus componentes.
Aqui estão as restrições de tamanho para os elementos e os parâmetros do robô de montagem de protótipo:
O que aconteceu como resultado de testes de campo após sua montagem:
A propósito, a plataforma com o robô foi chamada
Vegebot .
Diagrama em bloco da interconexão dos componentes da plataforma Vegebot:
Além disso, ambas as câmeras nesta solução são as webcams USB mais simples e baratas.
Parte do software Vegebot (arquitetura e interface da web), usada pelo Robot Operating System (ROS):
Diagramas de ciclo de trabalho do Vegebot (treinamento, ciclos de coleta):
Preparação para ensaios de campo, estudo de leitos e análise de cabeças de alface de diferentes alturas da câmera:
Mas que correia de cordão para um laptop! Engenharia mais experiente nos negócios!
Uma tabela com diferentes tipos de fotografias para a localização de cabeças de alface em frente à câmera de vídeo (para treinamento da rede neural convolucional YOLO versão 3):
Uma tabela com diferentes tipos de fotos para classificar as cabeças de alface de acordo com quatro tipos (elemento amadurecido, elemento verde, elemento infectado, falta de elemento) para treinar a rede neural convolucional Rede de Classificação de Objetos Darknet:
Mecanismos e elementos intermediários de opções Vegebot:
Cabeça dupla para coletar cabeças de salada (garra e faca):
Motor rotativo CC (esquerda), acionamento linear com mecanismo de faca (direita):
Cortador pneumático:
A versão final do mecanismo de captura e colheita com acionamento por correia e sistema de acionamento pneumático duplo:
Características e dimensões da pinça Vegebot:
O princípio de funcionamento do mecanismo de captura Vegebot (limiar de força T, FR - forças de reação do solo):
Posicionando o mecanismo de captura Vegebot usando duas câmeras a bordo:
Compensação de fatores de iluminação externos e parâmetros de imagem de câmeras de vídeo para localização ideal de cabeças de alface:
Exemplos de localização (reconhecimento) de cabeças de alface em imagens de câmeras de vídeo em diferentes alturas e ângulos:
Obteve dados de campo sobre a localização (reconhecimento) de cabeças de alface usando o Vegebot (com base em 60 tentativas do Vegebot de reconhecer uma cabeça de alface):
Parâmetros de imagem e uma matriz para a classificação de cabeças de alface:
Tempo de operação e trajetórias do mecanismo de captura do Vegebot:
Houve um problema no processo de realização de testes de campo com a determinação do número de folhas desnecessárias (de fora) em uma cabeça de alface após a coleta, que deve ser removida.
Aqui estão algumas opções: uma salada de alface perfeitamente cortada sem folhas coladas, uma salada de alface com uma folha colada, uma salada de alface com duas folhas colantes, uma salada de alface com folhas danificadas.
Dependendo da quantidade de excesso de folhas na cabeça da alface e da necessidade de reconhecê-las e removê-las, o ciclo de trabalho do Vegebot também muda:
Resumo dos totais dos campos do protótipo do robô de colheita Vegebot:
Obviamente, esse protótipo ainda está longe do uso agrícola industrial, mas este é apenas o começo da pesquisa.