采摘机器人全果园视觉感知及自主作业综述（《智慧农业（中英文）2024年第5期》）

来源：市场资讯

（来源：智慧农业期刊）

引用格式：

陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39.

Citation:CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39.

采摘机器人全果园视觉感知及自主作业综述

陈明猷， 罗陆锋*， 刘威， 韦慧玲， 王金海， 卢清华， 骆少明

（佛山大学机电工程与自动化学院，广东佛山 528231，中国）

摘要：

［目的/意义］采摘机器人是智慧农业的重要组成部分，其感知、规划、控制相关基础方法理论目前已有系统化研究。然而，构建具备全果园“感知-移动-采摘”一体化作业能力的实用型采摘系统仍面临诸多挑战。针对该问题，本文调研并报道了本领域近期案例，将全果园自主作业的关键技术划分为局部目标感知、全局地图构建和自主作业行为规划三个子问题并进行综述。

［进展］首先回顾了近距离、局部范围内水果目标的精细视觉感知方法，包括基于低级特征融合、高级特征学习、RGB-D信息融合，以及多视角信息融合的4种方法；介绍与分析了全局尺度下的果园地图构建与大规模场景视觉感知案例；在感知的基础上，调研分析采摘机器人自主作业行为规划方法，包括底盘移动路径规划、机械臂视点规划与避障路径规划等方面的最新研究；最后对采摘机器人自主作业系统构建案例进行报道与分析。

［结论/展望］感知、移动、采摘模块的高效协同是实现采摘机器人从基础功能样机进一步迈向实用型机器的关键，已有的视觉感知、规划与控制算法的鲁棒性与稳定性均需增强，协同程度需进一步提高。此外，提及了采摘机器人应用的几个开放性研究问题，并描述了其未来发展趋势。

关键词： 采摘机器人；自主作业；局部感知；全局建图；行为规划

图1　采摘机器人自主作业系统及其关键技术内容组织框架图

Fig. 1 Organizational framework of autonomous operation systems and key technologies for fruit picking robot

图2　基于低级特征融合方法的局部目标视觉感知效果示意图

Fig. 2 Schematic diagram of the effects of local target visual perception based on low-level feature fusion method

图3　基于高级特征学习方法的局部目标视觉感知效果示意图

Fig. 3 Schematic diagram of the effects of local target visual perception based on high-level feature learning method

图4　基于RGB-D信息融合方法的局部目标视觉感知效果示意图

Fig. 4 Schematic diagram of the effects of local target visual perception based on RGB-D information fusion method

图5　基于多视角信息融合方法的局部目标视觉感知效果示意图

Fig. 5 Schematic diagram of the effects of local target visual perception based on multi-view information fusion method

图6　基于视觉方法的果园建图效果示意图

Fig. 6 Schematic diagram of the effects of orchard mapping based on vision method

图7　基于多传感融合方法的果园建图效果示意图

Fig. 7 Schematic diagram of the effects of multi-sensor-based orchard mapping method

图8　全果园自主移动行为规划效果示意图

Fig. 8 Schematic diagram of the effects of autonomous movement behavior planning in an entire orchard

图9　局部场景下自主采摘行为规划效果示意图

Fig. 9 Schematic diagram of the effects of autonomous picking behavior planning in local scenes

图10　代表性采摘机器人系统示意图

Fig. 10 Schematic diagram of representative picking robot systems

作者简介

罗陆锋 博士

通讯作者：罗陆锋，工学博士，佛山大学教授，博士生导师，佛山市教育系统优秀教师，《智能化农业装备学报》青年编委、中国农业机械学会基础技术分会委员、全国高等学校制造自动化研究会理事。主要从事农业机器人智能感知与控制、智能工厂关键技术研究，主持国家自然科学基金项目2项(面上项目、青年基金)，主持广东省基础与应用基础研究基金-区域联合重点项目1项，主持佛山市重点领域科技攻关项目子课题、广东省教育厅项目等7项，参与国家重点研发计划项目、广东省重点研发计划项目等国家级和省部级重大项目10余项。获广东省科技进步二等奖、广东省教育教学成果一等奖、广东省机械工程学会科技进步一等奖、中国仪器仪表学会科学技术三等奖等；在《IEEE Robotics and Automation Letters》《Computers in Industry》《Computers and Electronics in Agriculture》《Biosystems Engineering》等权威期刊发表SCI或EI论文70余篇，获授权国家发明专利25件，软件著作权7件。

陈明猷 博士

第一作者：陈明猷，工学博士，硕士生导师，主要从事机器人智能感知与控制研究，主持国家自然科学基金项目1项（青年基金）、广东省自然科学基金项目1项（面上项目），参与国家重点研发计划、国家自然科学基金项目、广东省科技计划项目等5项。发表SCI/EI高水平论文十余篇，以第一作者发表ESI高被引论文2篇，中科院一区Top期刊年度优秀论文2篇。获授权国家发明专利十余件。获广东省科技进步二等奖。担任《Computers and Electronics in Agriculture》《系统仿真学报》等期刊审稿专家。

来源：《智慧农业（中英文）》2024年第5期