
许多类型的植物和农作物仍然只能通过手工收集。
剑桥大学(英国)的工程师创造了一个机器人收割机的工作原型,该收割机可以独立识别准备切好的完整生菜头,并能准确地加工和收集它们。
要以自动模式收集好作物,您需要解决一些复杂的技术问题,例如:
-在收集地点的准确和正确的定位,与其他收集者的行动同步;
-分析和选择适合不同文化的正确算法;
-识别成熟的水果(叶子,浆果);
-处理损坏或未发芽的元素;
-准确地收割和切割可收割的农作物,而不会造成破坏;
-对收获的农作物进行分类和堆放;
-动作记录和自学能力;
-检查当前措施的正确性,并最大程度地减少对收集地点的损害。
另外,有必要在周围世界(风,雨,昆虫,动物等)的实际不断变化的条件下高速执行所有这些任务。
剑桥大学的一组工程师成功解决了其中一些问题,并发表了他们在这项工作中的研究成果:
链接到
《现场机器人学杂志》上的科学文章。
他们创建了一个迄今为止几乎没有的,独立的自动机器人收割机的自主原型,能够分析并选择合适的收获要素。
该机器人组装机是带轮平台的机械手,其宽度为一张床。 该机械手配备了一个手柄,一个用于切割的刀和一个摄像机,另外一个摄像机位于其平台的顶部。
由于这只是一个原型,对于大规模使用将在元素和功能上都得到显着改善,因此工程师只需在操作员手动移动的被动轮式平台上安装进行现场测试所需的所有机器人组件即可。
他们的任务是教机器人了解收割过程并使用机器学习自动执行其动作。
在机器人经过新的生菜头之后,使用摄像机和神经网络激活生菜头的识别和分类过程。
机械手和平台上摄像机的图像用于:
-在摄像机前对生菜的头部进行定位-使用卷积神经网络YOLO版本3,用于训练1,500张照片;
-使用Darknet对象分类网络卷积神经网络根据四种类型(成熟元素,未成熟元素,受感染/损坏的元素,缺少元素)对生菜头进行分类,训练了665张照片。

组装机器人的现场试验表明,它能够:
-以91%的精度识别您面前的沙拉头;
-正确分类生菜头,准确度为85%。
-一个工作周期(从一个生菜的头到另一个生菜的过渡)的时间为32秒,这是非常多的时间,但是这一时刻仍将最终确定。
事实证明,床本身非常杂草丛生,仅对本地生菜进行分类非常困难:

因此,可以快速手动除去色拉,但是连续进行却没有特殊和仔细的选择:

而且,使用机器人清洁器创建一个小型平台非常困难,因为该设备必须是可移动的,必须在松散的地面上保持足够的稳定性,并且不会破坏带有其组件的床。
这是原型组装机器人的元素和参数的尺寸限制:

组装后经过现场试验发生了什么:

顺便说一下,带有机器人的平台称为
Vegebot 。
Vegebot平台各组件互连的框图:

此外,此解决方案中的两个摄像头都是最简单,最便宜的USB网络摄像头。
Vegebot软件部分(体系结构和Web界面),由Robot Operating System(ROS)使用:


Vegebot工作周期图(培训,收集周期):

准备从不同高度的相机进行田间试验,研究病床和分析生菜的头部:

但是,笔记本电脑的束带非常好! 精通业务!

一张带有不同类型照片的表格,用于在摄像机前面定位生菜的头部(用于训练卷积神经网络YOLO版本3):

一张带有不同类型照片的表格,用于根据四种类型(成熟元素,未成熟元素,受感染元素,缺少元素)对生菜头进行分类,以训练卷积神经网络Darknet对象分类网络:


中级期权机制和要素Vegebot:

双头收集沙拉(抓斗和刀):

直流旋转电机(左),带刀机构的线性驱动器(右):

气动切纸机:

带有皮带驱动器和双气动驱动系统的捕获和收获机制的最终版本:

Vegebot抓手的特征和尺寸:

捕获机构Vegebot的工作原理(T-力阈值,FR-地面反作用力):

使用两个车载摄像头定位Vegebot捕获机制:

补偿摄像机的外部照明因素和图像参数,以实现生菜头的最佳定位:


在不同高度和不同角度的摄像机图像上生菜头的定位(识别)示例:



使用Vegebot获得的关于生菜头的定位(识别)的现场数据(基于Vegebot进行的60次尝试来识别生菜头的尝试):

图像参数和生菜头分类矩阵:

Vegebot捕获机制的运行时间和轨迹:

在进行田间试验的过程中存在一个问题,即确定收集后必须清除的生菜头上不必要(伸出)的叶子数量。
这里有一些选择:一个完美切出的生菜头(不粘叶),一个生菜头(一个生叶),一个生菜头(两个生叶),一个生菜头(叶子受损)。

根据生菜头上多余叶子的数量以及识别和去除它们的需要,Vegebot的工作周期也会发生变化:

Vegebot收获机器人原型字段总计:

当然,这个原型仍然离工业农业用途还很远,但这仅仅是研究的开始。