Muchos tipos de plantas y cultivos todavía se recolectan solo a mano.
Los ingenieros de la Universidad de Cambridge (Gran Bretaña) crearon un prototipo funcional de una cosechadora robótica que puede reconocer independientemente cabezas de lechuga intactas listas para cortar, así como procesarlas y recolectarlas con precisión.
Para recolectar un buen cultivo en modo automático, debe resolver varios problemas tecnológicos complejos, como:
- posicionamiento preciso y correcto en el lugar de reunión, sincronización de acciones con otros coleccionistas;
- análisis y selección de los algoritmos correctos para usar con diferentes culturas;
- reconocimiento de frutos maduros (hojas, bayas);
- eliminación de elementos dañados o no germinados;
- Captura y corte precisos de cultivos listos para la cosecha sin daños;
- clasificación y apilamiento del cultivo cosechado;
- registro de acciones y capacidad de autoaprendizaje;
- Verificar la corrección de las acciones actuales y minimizar el daño al sitio de recolección.
Además, es necesario realizar todas estas tareas con alta velocidad y en condiciones reales y constantemente cambiantes del mundo circundante (viento, lluvia, insectos, animales, etc.).
Un grupo de ingenieros de la Universidad de Cambridge resolvió con éxito algunos de estos problemas y publicó su investigación en este trabajo:
Enlace a un artículo científico en el
Journal of Field Robotics .
Crearon un pequeño y hasta ahora pequeño prototipo autónomo de un robot cosechador independiente, capaz de analizar y elegir los elementos correctos para la cosecha.
Este robot ensamblador es un manipulador en una plataforma con ruedas con un ancho de una cama. El manipulador está equipado con una empuñadura, un cuchillo para cortar y una cámara de video, una cámara de video adicional se encuentra en la parte superior de su plataforma.
Dado que este es solo un prototipo, que para el uso en masa se mejorará significativamente tanto de manera elemental como funcional, los ingenieros simplemente instalaron todos los componentes del robot que necesitaban para realizar pruebas de campo en una plataforma de ruedas pasiva, movida manualmente por el operador.
Su tarea era enseñar al robot a comprender el proceso de cosecha y automatizar sus acciones mediante el aprendizaje automático.
Una vez que el robot supera las nuevas cabezas de lechuga, el proceso de reconocimiento y clasificación de las cabezas de lechuga se activa mediante cámaras de video y redes neuronales.
Se utilizaron imágenes de cámaras de video en el manipulador y la plataforma para:
- localización de cabezas de lechuga frente a la cámara de video utilizando la red neuronal convolucional YOLO versión 3, para el entrenamiento de las cuales se utilizaron 1,500 fotografías;
- clasificación de las cabezas de lechuga de acuerdo con cuatro tipos (elemento maduro, elemento no maduro, elemento infectado / dañado, falta de elemento) utilizando la red neuronal convolucional de la Red de Clasificación de Objetos Darknet, para el entrenamiento del cual se utilizaron 665 fotografías.
Las pruebas de campo del robot ensamblador han demostrado que es capaz de:
- Identifique las cabezas de ensalada frente a usted con una precisión del 91%;
- clasifica correctamente las cabezas de lechuga con una precisión del 85%.
- el tiempo de un ciclo de trabajo (la transición de una cabeza de lechuga a otra) es de 32 segundos, que es mucho, pero este momento aún estará finalizado.
Resulta que las camas mismas están muy cubiertas y la germinación de las cabezas de lechuga es muy difícil de localizar y clasificar:
Por lo tanto, la ensalada se elimina manualmente rápidamente, pero todo en una fila sin una selección especial y cuidadosa:
Y es difícil crear una pequeña plataforma con un robot de limpieza, ya que el dispositivo debe ser móvil, mantenerse lo suficientemente estable en la superficie en terreno suelto y no destruir las camas con sus componentes.
Aquí están las restricciones de tamaño para los elementos y los parámetros del prototipo de robot de ensamblaje:
Lo que sucedió como resultado de las pruebas de campo después de su montaje:
Por cierto, la plataforma con el robot se llamaba
Vegebot .
Diagrama de bloques de la interconexión de los componentes de la plataforma Vegebot:
Además, ambas cámaras en esta solución son las cámaras web USB más simples y baratas.
Parte del software Vegebot (arquitectura e interfaz web), utilizada por Robot Operating System (ROS):
Diagramas de ciclo de trabajo de Vegebot (capacitación, ciclos de recolección):
Preparación para ensayos de campo, estudio de camas y análisis de cabezas de lechuga desde diferentes alturas de la cámara:
¡Pero qué correa de cordón para una computadora portátil! ¡Ingeniero experto en negocios!
Una tabla con diferentes tipos de fotografías para la localización de cabezas de lechuga frente a la cámara de video (para entrenar la red neuronal convolucional YOLO versión 3):
Una tabla con diferentes tipos de fotos para clasificar las cabezas de lechuga de acuerdo con cuatro tipos (elemento maduro, elemento inmaduro, elemento infectado, falta de elemento) para entrenar la red neuronal convolucional Red de clasificación de objetos Darknet:
Opciones intermedias mecanismos y elementos Vegebot:
Cabezal doble para recoger cabezas de ensalada (agarre y cuchillo):
Motor rotativo de CC (izquierda), accionamiento lineal con mecanismo de cuchilla (derecha):
Cortador neumático:
La versión final del mecanismo de captura y recolección con una transmisión por correa y un sistema de doble accionamiento neumático:
Características y dimensiones de la pinza Vegebot:
El principio de funcionamiento del mecanismo de captura Vegebot (T - umbral de fuerza, FR - fuerzas de reacción en tierra):
Posicionar el mecanismo de captura de Vegebot con dos cámaras integradas:
Compensación de factores de iluminación externa y parámetros de imagen de cámaras de video para la localización óptima de cabezas de lechuga:
Ejemplos de localización (reconocimiento) de cabezas de lechuga en imágenes de cámaras de video a diferentes alturas y en diferentes ángulos:
Datos de campo obtenidos sobre la localización (reconocimiento) de cabezas de lechuga usando Vegebot (basado en 60 intentos de Vegebot para reconocer una cabeza de lechuga):
Parámetros de imagen y una matriz para la clasificación de cabezas de lechuga:
Tiempo de funcionamiento y trayectorias del mecanismo de captura de Vegebot:
Hubo un problema en el proceso de realizar pruebas de campo con la determinación del número de hojas innecesarias (sobresalientes) en una cabeza de lechuga después de la recolección, que deben eliminarse.
Aquí hay algunas opciones: una ensalada de lechuga perfectamente cortada sin hojas pegadas, una ensalada de lechuga con una hoja pegada, una ensalada de lechuga con dos hojas pegadas, una ensalada de lechuga con hojas dañadas.
Dependiendo de la cantidad de exceso de hojas en la cabeza de lechuga y la necesidad de reconocerlas y eliminarlas, el ciclo de trabajo de Vegebot también cambia:
Resumen de totales de campo del prototipo del robot de cosecha Vegebot:
Por supuesto, este prototipo aún está lejos del uso agrícola industrial, pero esto es solo el comienzo de la investigación.