1.本实用新型属于水果采摘机械领域，具体涉及一种视觉感知的菠萝采摘机器人。


背景技术：

2.菠萝在我国南方广泛种植，菠萝植株形态及种植方式有以下特点：植株间隔小，果叶茂密，菠萝为多年生长植物，菠萝果实处于莲座状叶丛中，叶边伴有锯齿，菠萝的果叶很容易遮挡果实，而且菠萝的果皮多刺，有些菠萝的茎部比较柔软，这些都给采摘带来了很大的不便。专利cn11180266a公开了一种基于机器视觉的菠萝采摘机及采摘方法，其采摘机构采用抱扭式采摘方式，难以有效掰断菠萝。专利cn110972693a公开了一种自走式菠萝采收机械，但是该机械采收不同高度的菠萝时，需要人工调节采摘机构的高度，而且该机械是采用挡板推动菠萝而实现掰断的，对掰断点的识别要求较高，也容易损坏菠萝。此外，由于菠萝果叶对菠萝的遮挡作用，导致现有的菠萝自动化采摘设备的实际工作效果不佳。


技术实现要素：

3.本实用新型的目的在于克服现有技术中存在的缺点，提供一种采摘效果高、识别准确的视觉感知的菠萝采摘机器人。
4.本实用新型的目的通过下述技术方案实现：
5.一种视觉感知的菠萝采摘机器人，包括运动小车1、运输机构2、切割机构3、采摘机构4、传动机构和控制系统5；所述采摘机构4为一套或一套以上，所述采摘机构4包括六自由度机械臂、末端机械手、双目摄像机；所述六自由度机械臂安装在运动小车1上，用于控制末端机械手的空间位置，使得末端机械手能够抓取菠萝；所述六自由度机械臂的末端连接有末端机械手，所述末端机械手上安装有双目摄像机，用于向控制系统5输入视觉信息。
6.所述末端机械手包括底板13、轨道式机械爪19和挡板23，用于抓取和掰断菠萝6；底板13固定在六自由度机械臂的末端；轨道式机械爪19安装在底板13上，用于对菠萝6进行抓紧、掰断和放在传送带上；挡板23安装在底板13上且位于轨道式机械爪19的下方，挡板23包括弧形半圆环，其中间外圆连接一根t形杆，通过t形杆连接底板13。
7.轨道式机械爪19包括多环形机械爪部件和弧形轨道运动部件；多环形机械爪部件安装在弧形轨道运动部件上，用于夹紧菠萝6；弧形轨道运动部件安装在底板13上，为多环形机械爪部件运动提供动力同时使得多环形机械爪部件按规定的弧形轨道进行运动，从而实现菠萝6的掰断功能。
8.弧形轨道运动部件包括大电机15、电机架14、侧轨道板16、滑块22、三条连杆和机械爪安装板21；大电机15安装在电机架14上，电机架14安装在底板13上，从而固定大电机15的位置；三条连杆之间通过螺栓与螺母连接，第一连杆与大电机主轴连接，为整个弧形轨道运动部件的运动提供动力同时也为多环形机械爪部件的掰断运动提供动力，第二连杆与滑块22连接，从而组成曲柄摇杆滑块部件，第三连杆与机械爪安装板21连接，进而带动多环形机械爪部件运动；机械爪安装板21用于安装多环形机械爪部件，其一侧有一小凸台，用于连
接连杆及侧轨道板16，工作时通过机械爪安装板21的运动轨迹来决定多环形机械爪部件的运动轨迹；机械爪安装板21与上述的曲柄摇杆滑块部件相连接，再通过侧轨道板16上的轨道来固定与稳定整个机械爪的运动轨迹；机械爪安装板21的另一侧固定有两个以上平行的柱体，每个柱体上安装有机械爪；侧轨道板16包括相互垂直的两个夹板，横夹板固定在底板13上，竖夹板开有两个轨道孔，后面的轨道孔是用于控制滑块22进行直线运动的通孔，前面的轨道孔为弧形轨道孔，用于控制机械爪安装板21进行弧形的运动，从而带动多环形机械爪部件进行弧形运动而实现掰断功能。
9.多环形机械爪部件包括小电机18、小电机架、两个或两个以上的机械爪、两根连杆17和两根长销20，小电机18安装在小电机架上，小电机架安装在机械爪安装板21上；两根连杆17中一根与小电机18主轴连接，另一根与机械爪连接，组合成曲柄摇杆机构，使得电机主轴转动一圈带动机械爪实现夹紧与松开两个动作；机械爪通过过盈配合安装在机械爪安装板21的柱体的通孔中；两根长销20用于连接多个机械爪，使得各个机械爪之间串联运动，即机械爪的抓紧和松开同步。
10.机械爪包括长杆24、两个弧形半圆环27、两个连接杆26和推动器25；长杆24的一段通过过盈配合与机械爪安装板21相连接，另一端开有圆形孔通孔通过螺栓连接两个弧形半圆环27，而每个机械爪的弧形半圆环27的直径都不同，从下往上递增，因此夹持菠萝时呈现出一个类v字形，以保证能提供足够的菠萝夹持力，两个连接杆26的一端分别连接两个弧形半圆环27，另一端连接推动器25；推动器25为一个圆柱体，其中间开有一个圆形通孔与长杆24连接，对称地在直径上开矩形槽并且在圆周面上开有通过矩形槽的圆形通孔，两根长销20通过该孔连接连接杆26的一端并且串联起另外的机械爪，使得各个机械爪同时运动。
11.所述视觉感知的菠萝采摘机器人还包括切割机构3，用于切割菠萝叶以避免菠萝叶遮挡住菠萝6而降低了视觉检测的准确度；所述切割机构3包括三角架7、距离传感器、刀片8和仿生牛角导向挡板28；所述三角架7安装在运动小车1的前端，用于固定整个切割机构3的位置；所述三角架7的前端安装有刀片8，所述刀片8的形状为圆形锯齿状，用于切割菠萝叶；所述距离传感器安装在三脚架7上，用于测量周围是否有人靠近，若有人靠近则整个机器人停止运动；所述仿生牛角导向挡板28固定在三角架上，且位于两边刀片的外侧。
12.所述仿生牛角导向挡板28的外形为仿牛角型，牛角的弧线由最前端自内向外弯曲；仿生牛角导向挡板的最前端到最外端之间的水平距离为2～6cm，为了不让果树有过大的形变而产生断裂，该结构与菠萝果树的轴相接触，而并非与果叶相接触，其安装的位置低于刀片旋转的最低位置，此设计也是为了不让刀片旋转切割到菠萝树茎。工作时，在采摘机器人的前进过程中通过仿生牛角导向挡板28将菠萝树茎往外推，有效避免刀片旋转切割到菠萝树茎，进而消除菠萝树的位置误差。
13.所述运输机构2包括果篮、两条传送带、两个支撑架、两个电机和四个传动轮；所述两个支撑架分别安装在运动小车1的左右两侧，所述两个支撑架的上面安装有传送带；运动小车1的左右各安装有两个传动轮，两个传动轮都与传送带相接触，其中一个传动轮与电机轴相连接，另一个传动轮与支撑架相连接；两个电机分别安装在左右两条传送带的下面且固定在支撑架上，通过电机带动传动轮转动进而带动传送带运动；果篮挂在运动小车的后端上，用于收集传送带运输过来的菠萝6。
14.所述传动机构包括两个齿轮9和传动链10，一个齿轮9安装在车轮的传动轴12上，
另一个齿轮9安装在三角架7上，传动链10用于连接两个齿轮9，实现动力传输。传动机构用于将车轮11的动力传到刀片8，车轮11运动的同时带动刀片8转动。
15.所述控制系统5包括工控机、相机支撑架和双目摄像机；工控机安装在运动小车的内部，用于处理双目摄像机输入的视觉信息和控制电机的转动；相机支撑架安装在运动小车的中间，其上端连接有双目摄像机，双目摄像机用于运动小车的导航，规划运动小车的行驶路径，避免刀片切割到菠萝6。
16.本实用新型与现有技术相比具有如下优点和效果：
17.(1)本实用新型设计了切割机构，用于对菠萝叶进行切割后再进行视觉检测，避免了菠萝叶对菠萝的遮挡，从而提高了视觉检测的准确性，同时使得机械手的采摘动作完成得更顺利，提高菠萝采摘的成功率。
18.(2)本实用新型的末端机械手采用了轨道式的设计，保证了掰断的幅度，从而保证菠萝能够被掰断。
19.(3)本实用新型中挡板的设计借鉴了人工采摘过程中部分菠萝的茎部会比较柔软，直接掰的话可能会连茎一起掰倒也无法使菠萝分离，工人师傅会用腿部支撑一些菠萝的茎部再采摘，因此本实用新型设计的挡板使得这些茎部柔软的菠萝也能被机械手顺利采摘下来。
20.(4)本实用新型可以实现自动化的菠萝采摘，减少了人力投入，提高了采摘效率。
附图说明
21.图1为菠萝采摘机器人的工作流程图
22.图2为菠萝采摘机器人的工作状态示意图
23.图3为切割机构的结构示意图
24.图4为末端机械手的结构示意图
25.图5为机械爪的结构示意图
26.图6为菠萝识别的流程图
27.图7为仿生牛角导向挡板的外形示意图
28.图8为菠萝采摘机器人的正面结构示意图
29.1、运动小车；2、运输机构；3、切割机构；4、采摘机构；5、控制系统；6、菠萝；7、三角架；8、圆形锯齿状刀片；9、齿轮；10、传动链；11、车轮；12、车轮的传动轴；13、底板；14、电机架；15、大电机；16、侧轨道板；17、连杆；18、小电机；19、轨道式机械爪；20、长销；21、机械爪安装板；22、滑块；23、挡板；24、长杆；25、推动器；26、连接杆；27、弧形半圆环；28、仿生牛角导向挡板。
具体实施方式
30.为了便于理解本实用新型，下面将结合具体实施例对本实用新型进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本实用新型，但是，不以任何形式限制本实用新型。应该指出的是，对本领域的技术人员来说，在不脱离本实用新型构思的前提下，本实用新型还可以做出若干变形和改进，这些都属于本实用新型的保护范围。
31.除非另有定义，本文中使用的所有技术和科学术语属于本实用新型的技术领域常
用的专业术语，与属于本实用新型的技术领域的技术人员通常理解的含义相同。本文中在说明书中所使用的术语只是为了描述具体的实施例，不是旨在限制本实用新型。
32.实施例1
33.一种视觉感知的菠萝采摘机器人，如图2、图8所示，包括运动小车1、运输机构2、切割机构3、采摘机构4、传动机构和控制系统5；所述采摘机构4为两套，包括两个六自由度机械臂、两个末端机械手、两个双目摄像机；两个六自由度机械臂左右对称分别安装在相运动小车1上的相机支撑架与果篮之间，用于控制末端机械手的空间位置，使得末端机械手能够抓取菠萝；所述六自由度机械臂的末端连接有末端机械手，双目摄像机安装于末端机械手上面，用于向控制系统5输入视觉信息。所述末端机械手包括底板13、轨道式机械爪19和挡板23，用于抓取和掰断菠萝6；底板13固定在六自由度机械臂的末端；轨道式机械爪19安装在底板13上，用于对菠萝6进行抓紧、掰断和放在传送带上；挡板23安装在底板13上且位于轨道式机械爪19的下方，挡板23的形状为一个直径(为5～8cm)稍大于菠萝树茎的弧形半圆环，其中间外圆连接一根t形杆，通过t形杆连接底板13，挡板23与轨道式机械爪19的距离固定(距离为10～13cm)，该距离通过统计数据确定，其数值一般选取为菠萝6掰断点到菠萝6中心部位的距离，其作用为在轨道式机械爪掰断菠萝6的过程中能减少菠萝树茎向掰断方向的位移，防止因轨道式机械爪运动的幅度较小而不能把菠萝6顺利掰断，从而确保掰断菠萝6的可行性和有效性。
34.如图4所示，轨道式机械爪19包括多环形机械爪部件和弧形轨道运动部件；多环形机械爪部件安装在弧形轨道运动部件上，用于夹紧菠萝6；弧形轨道运动部件安装在底板13上，为多环形机械爪部件运动提供动力同时使得多环形机械爪部件按规定的弧形轨道进行运动，从而实现菠萝6的掰断功能。弧形轨道运动部件包括大电机15、电机架14、侧轨道板16、滑块22、三条连杆和机械爪安装板21；大电机15安装在电机架14上，电机架14安装在底板13上，从而固定大电机15的位置；三条连杆之间通过螺栓与螺母连接，第一连杆与大电机主轴连接，为整个弧形轨道运动部件的运动提供动力同时也为多环形机械爪部件的掰断运动提供动力，第二连杆与滑块22连接，从而组成曲柄摇杆滑块部件，第三连杆与机械爪安装板21连接，进而带动多环形机械爪部件运动；机械爪安装板21用于安装多环形机械爪部件，其一侧有一小凸台，用于连接连杆及侧轨道板16，工作时通过机械爪安装板21的运动轨迹来决定多环形机械爪部件的运动轨迹；机械爪安装板21与上述的曲柄摇杆滑块部件相连接，再通过侧轨道板16上的轨道来固定与稳定整个机械爪的运动轨迹；机械爪安装板21的另一侧固定有两个以上平行的柱，每个柱体上安装有机械爪；侧轨道板16包括相互垂直的两个夹板，横夹板固定在底板13上，竖夹板开有两个轨道孔，后面的轨道孔是用于控制滑块22进行直线运动的通孔，前面的轨道孔为弧形轨道孔，用于控制机械爪安装板21进行弧形的运动，从而带动多环形机械爪部件进行弧形运动而实现掰断功能。多环形机械爪部件包括小电机18、小电机架、三个机械爪、两根连杆17和两根长销20，小电机18安装在小电机架上，小电机架安装在机械爪安装板21上；两根连杆17中一根与小电机18主轴连接，另一根与机械爪连接，组合成曲柄摇杆机构，使得电机主轴转动一圈带动机械爪实现夹紧与松开两个动作；机械爪通过过盈配合安装在机械爪安装板21的柱体的通孔中；两根长销20用于连接多个机械爪，使得各个机械爪之间串联运动，即机械爪的抓紧和松开同步。如图5所示，机械爪包括长杆24、两个弧形半圆环27、两个连接杆26和推动器25；长杆24的的一段通过过盈
配合与机械爪安装板21相连接，另一端开有圆形孔通孔通过螺栓连接两个弧形半圆环27，而每个机械爪的弧形半圆环27的直径都不同，从下往上递增，因此夹持菠萝时呈现出一个类v字形，以保证能提供足够的菠萝夹持力，两个连接杆26的一端分别连接两个弧形半圆环27，另一端连接推动器25；推动器25为一个圆柱体，其中间开有一个圆形通孔与长杆24连接，对称地在直径上开矩形槽并且在圆周面上开有通过矩形槽的圆形通孔，两根长销20通过该孔连接连接杆26的一端并且串联起另外的机械爪，使得各个机械爪同时运动。
35.所述切割机构3用于切割菠萝叶以避免菠萝叶遮挡住菠萝6而降低了视觉检测的准确度；所述切割机构3包括三角架7、距离传感器、刀片8和仿生牛角导向挡板28；所述三角架7安装在运动小车1的前端，用于固定整个切割机构3的位置；所述三角架7的前端安装有刀片8，所述刀片8的形状为圆形锯齿状，用于切割菠萝叶；所述距离传感器安装在三脚架7上，用于测量周围是否有人靠近，若有人靠近则整个机器人停止运动；如图7所示，所述仿生牛角导向挡板28固定在三角架上，且位于两边刀片的外侧。所述仿生牛角导向挡板28的外形为仿牛角型，牛角的弧线由最前端自内向外弯曲；仿生牛角导向挡板的最前端到最外端之间的水平距离为2～6cm，为了不让果树有过大的形变而产生断裂，该结构与菠萝果树的轴相接触，而并非与果叶相接触，其安装的位置低于刀片旋转的最低位置，此设计也是为了不让刀片旋转切割到菠萝树茎。工作时，在采摘机器人的前进过程中通过仿生牛角导向挡板28将菠萝树茎往外推，有效避免刀片旋转切割到菠萝树茎，进而消除菠萝树的位置误差。
36.所述运动小车1包括小车主体和车轮11，所述运动小车1位于菠萝采摘机器人的最下部，用于承载机器人，并为切割机构3提供动力。
37.所述运输机构2包括果篮、两条传送带、两个支撑架、两个电机和四个传动轮；所述两个支撑架分别安装在运动小车1的左右两侧，所述两个支撑架的上面安装有传送带；运动小车1的左右各安装有两个传动轮，两个传动轮都与传送带相接触，其中一个传动轮与电机轴相连接，另一个传动轮与支撑架相连接；两个电机分别安装在左右两条传送带的下面且固定在支撑架上，通过电机带动传动轮转动进而带动传送带运动；果篮挂在运动小车的后端上，用于收集传送带运输过来的菠萝6。
38.如图3所示，所述传动机构包括两个齿轮9和传动链10，一个齿轮9安装在车轮的传动轴12上，另一个齿轮9安装在三角架7上，传动链10用于连接两个齿轮9，实现动力传输。传动机构用于将车轮11的动力传到刀片8，车轮11运动的同时带动刀片8转动。
39.所述控制系统5包括工控机、相机支撑架和双目摄像机；工控机安装在运动小车的内部，用于处理双目摄像机输入的视觉信息和控制电机的转动；相机支撑架安装在运动小车的中间，其上端连接有双目摄像机，双目摄像机用于运动小车的导航，规划运动小车的行驶路径，避免刀片切割到菠萝6。
40.所述视觉感知的菠萝采摘机器人，如图1所示，工作步骤如下：
41.(1)规划路径：控制系统5的双目摄像机用于获取运动小车的位置信息，并将获取的信息传输到工控机，工控机规划运动小车的路径，控制运动小车的移动；
42.(2)切断果叶：运动小车前进时，通过齿轮9的传动作用带动刀片8运动，达到切断菠萝6一侧果叶的目的；
43.(3)菠萝识别：运动小车继续前进，直到六自由度机械臂上的双目摄像机拍摄到含有菠萝6的图像；然后工控机对图像进行预处理、对图像进行目标检测并分割出目标图像，
再对分割出的目标图像进行立体匹配、获取图像三维点云，获取图像中菠萝的点云信息；然后对菠萝点云进行曲面拟合，并计算菠萝点云的质心，得到菠萝的位置信息和姿态，如图6所示；
44.(4)菠萝采摘：六自由度机械臂运动，带动末端机械爪到工控机确定的位置，挡板23接触菠萝树茎的掰断点；起始状态的机械爪是处于张开的状态，然后小电机18转动半圈，通过曲柄摇杆机构带动机械爪闭合，从而抓紧菠萝6；由于末端机械手包含两个以上平行的机械爪，且机械爪的闭合半径由由上至下依次减少，使得抓紧后的两个以上的机械爪形成一个类v字型，从而产生一个抓紧力和一个向上的支撑力，确保能夹紧菠萝6。大电机主轴正向转动一圈，通过曲柄摇杆滑块机构带动三个机械爪沿着弧形轨道运动，进而形成一个掰断的动作；由于挡板23的作用，菠萝树茎不会向掰断的方向偏移太多，从而使得菠萝6能够被掰断；然后大电机15反向转动，使得机械爪回到原来的位置，菠萝6也回到原来的位置，保证菠萝6能被充分夹紧，这是因为菠萝掰断时由于大电机带动曲柄摇杆机构使得机械爪带着菠萝往后倾斜，这会导致菠萝在运送到传送带的过程中往后掉落，因此大电机转动使得机械爪处于水平位置，进而菠萝处于垂直位置；
45.(5)菠萝运输：六自由度机械臂转动而带动末端机械手到传送带的上部，然后小电机18再转动半圈使得机械爪松开对菠萝6的夹持，使得菠萝6掉落到传送带中；
46.(6)六自由度机械臂再转回到原来的位置等待下一次菠萝6采摘工作，进而重复上述步骤(1)。
47.步骤(3)中，所述对图像进行预处理包括图像滤波、形态学处理、灰度变换；所述对图像进行目标检测是基于yolov4算法实现，需提前完成下列步骤：(1)数据收集与划分：用双目相机采集大量的菠萝图像；(2)标签制作：使用标注工具框出图像中菠萝的最小外接矩形并标注，得到数据集；(3)目标检测：将所制作的数据集进行训练，训练完成后，输入菠萝图像即可得到框出了最小菠萝外接矩形的图像。
48.以上所述仅为本实用新型的实施例，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本实用新型的保护范围之内。