基于深度相机的机器人自主识别智能抓取方法与流程

1.本发明涉及机器人技术领域，特别涉及基于深度相机的机器人自主识别智能抓取方法。

背景技术：

2.目前，如图1所示，在机械电子装配行业中，工件夹取工作时往往依靠流水线上的工人人工进行。人工夹取主要是依靠人眼和经验，在长时间的工作后无法保证生产效率，也不能维持每件产品的同等质量，因此把自动化技术引入到电子装配业迫在眉睫。深度相机的机器人作为智慧抓取的重要组成部分，顺应了时代的发展需求，成为物流行业在解决高度依赖人工、业务高峰期能力有限等瓶颈问题的突破口。
3.但是，现有的技术仅能通过深度相机获取工件的位置，从而进行抓取，在抓取过程中容易出现脱离机器人或抓取力度不适，对工件造成伤害等弊端，且由于人不能持续工作夹取，工作效率低，在流水工作不易形成连续的工作进度。

技术实现要素：

4.本发明提供基于深度相机的机器人自主识别智能抓取方法，用以利用深度相机获取工件的位置，同时根据工件的特点，生成抓取力度以及抓取点，再进行抓取，降低了成本，与双目相机相比，节省了计算资源，可保证系统的实时性。
5.本发明提供基于深度相机的机器人自主识别智能抓取方法包括：
6.步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓；
7.步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3d工件轮廓并分别标记每一3d工件轮廓上各轮廓点的坐标；
8.步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取。
9.优选的，在所述步骤1中，所述识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，包括：
10.对所述深度图像进行图像二值化处理，获得二值化图像；
11.基于图像识别技术，识别所述二值化图像上所述工件对应的深度工件轮廓；
12.对所述彩色图像进行色彩增强处理，获得色彩增强图像；
13.基于图像识别技术，识别所述色彩增强图像上所述工件对应的彩色工件轮廓。
14.优选的，在所述步骤2中，基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3d工件轮廓并分别标记每一3d工件轮廓对应的坐标，包括：
15.根据所述深度图像建立深度模型，获取所述深度模型的第一图像起点；
16.根据所述彩色图像建立彩色模型，获取所述彩色模型的第二图像起点；
17.在所述深度模型上随机选取一个第一检验点；
18.获取所述第一检验点和所述第一图像起点之间的位置关系；
19.在所述彩色模型上选取与所述第二图像起点具有相同所述位置关系的第二检验点；
20.将所述第一检验点和所述第二检验点进行对应，构建第一对应关系；
21.随机选取完毕后，汇总所述第一对应关系，建立对应关系表；
22.基于所述对应关系表，确定所述深度模型上每一第一目标点与所述彩色模型上每一第二目标点之间的第二对应关系；
23.基于所述第二对应关系、所述深度工件轮廓在所述深度模型上的第一位置和所述彩色工件轮廓在所述彩色模型上的第二位置，将所述深度工件轮廓和彩色工件轮廓进行配对，建立轮廓对应列表；
24.将所述轮廓对应列表输入到预设的坐标系中；
25.基于所述深度工件轮廓和彩色工件轮廓的配对关系，在所述坐标系中建立对应的3d工件轮廓；
26.标记所述3d工件轮廓上各轮廓点在所述坐标系中的位置坐标，并作为所述轮廓点的坐标。
27.优选的，在所述步骤3中，根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取，包括：
28.接收操作人员输入的抓取指令；
29.解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存放位置；
30.以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之间的第二向量；
31.以每一所述第一向量为抓取元素，建立抓取距离列表；
32.以每一所述第二向量为放置元素，建立放置距离列表；
33.以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表中的放置元素一一配对；
34.根据每一配对结果，建立对应的最短抓-放路径；
35.汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；
36.基于所述抓取指令，控制所述机器人进行抓取工作。
37.优选的，还包括：
38.根据所述抓取路径，构建所述机器人的活动范围；
39.监测所述活动范围内是否存在无关机器人；
40.若是，获取所述无关机器人的位置，并对所述抓取路径进行修正，获得工作路径，基于所述工作路径，接力控制所述机器人进行抓取工作；
41.若不是，将所述抓取路径视为工作路径，控制所述机器人进行抓取工作。
42.优选的，在获取所述无关机器人的位置，并对所述抓取路径进行修正，获取工作路径，包括：
43.采集所述机器人周围的全景图像；
44.获取所述机器人的型号规格；
45.获取预设的虚拟空间，在所述虚拟空间中根据所述机器人的型号规格构建对应的虚拟机器人；
46.将所述全景图像与预设的初始全景图像进行对比，判断所述全景图像中是否存在新来物；
47.若是，在所述虚拟空间中基于所述机器人的当前位置、所述抓取路径和全景图像，构建机器人工作空间模型；
48.控制所述虚拟机器人在所述机器人工作空间模型中进行模拟工作；
49.实时采集所述虚拟机器人在所述机器人工作空间模型中的第一虚拟位置；
50.基于所述第一虚拟位置，根据时间顺序建立所述虚拟机器人在所述全景模型中进行移动的第一位置序列；
51.在所述全景模型中获取与所述第一位置序列有关的第一图像集；
52.利用预设的机器人图像遍历所述第一图像集，判断所述第一图像集中是否存在出现无关机器人的目标图像；
53.若是，获取所述无关机器人在所述机器人工作空间模型中的第二虚拟位置；
54.利用边缘检测提取技术，在所述第一图像集中提取所述目标图像；
55.根据所述目标图像的背景，在所述全景模型中获取所述无关机器人的位置，建立所述无关机器人的活动位置列表；
56.基于所述活动位置列表，构建所述无关机器人的运动轨迹；
57.在所述机器人工作空间模型中同时对所述虚拟机器人和所述无关机器人进行模拟工作，判断所述虚拟机器人与所述无关机器人是否会碰撞；
58.若是，获取所述虚拟机器人和所述无关机器人在同一时刻下发生碰撞的第一位置；
59.以所述第一位置为中心，以预设躲避距离为半径，提取所述运动轨迹中与所述机器人工作空间模型重合的第一区域；
60.基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径。
61.优选的，控制所述机器人进行抓取工作，包括：
62.增强所述3d工件轮廓的像素对比度，获取3d深度轮廓；
63.增强所述3d工件轮廓的色彩对比度，获取3d彩色轮廓；
64.获取所述3d深度轮廓上每一深度像素点的第一像素值与对应的八邻域范围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度像素点并依次连接，标记为深度工件材料分割线；
65.同时，将所述第一像素值相同的深度像素点视为一类；
66.统计每一类深度像素点对应的数量，构建深度统计列表；
67.获取所述3d彩色轮廓上每一深度像素点的第二像素值与对应的八邻域范围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色像素点并依次连接，标记为彩色工件材料分割线；
68.同时，将所述第二像素值相同的彩色像素点视为一类；
69.统计每一类彩色像素点对应的数量，构建彩色统计列表；
70.基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述 3d深度轮廓的材料组成，获取所述3d深度轮廓的第一重心点；
71.同时，基于所述深度统计列表预测所述3d深度轮廓的各个部分的质量，获取所述3d深度轮廓的第一体积；
72.基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述 3d彩色轮廓的材料组成，获取所述3d彩色轮廓的第二重心点；
73.同时，基于所述彩色统计列表预测所述3d彩色轮廓的各个部分的质量，获取所述3d彩色轮廓第二体积；
74.判断所述第一体积与所述第二体积是否一致；
75.若不是，建立所述3d深度轮廓与所述3d彩色轮廓的映射集；
76.基于所述映射集调整所述3d深度轮廓的深度像素点对应的第一像素值，以及调整所述3d彩色轮廓的彩色像素点对应的第二像素值；
77.将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训练结果，将所述3d工件轮廓分割为若干子部分；
78.基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相应的材料，再结合每一部分材料的重量，预测所述3d工件轮廓的重心；
79.基于所述3d工件轮廓的重心调节所述机器人的抓取施力点；
80.对所述3d工件轮廓进行二值化处理；
81.将处理后的所述3d工件轮廓分割为若干副子图像；
82.分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图像匹配对应的工件材料，并为所述3d工件轮廓填充对应的工件材料；
83.判断填充后3d工件轮廓是否包含易碎材料；
84.若是，获取所述易碎材料在所述填充后3d工件轮廓上的材料位置，将所述材料位置作为所述机器人的抓取避让点；
85.根据材料-重量列表，计算所述填充后3d工件轮廓的重量，调节所述机器人的抓取力度；
86.基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机器人进行抓取工作。
87.优选的，判断所述第一重心点与第二重心点是否属于同一点，包括：
88.在所述3d深度轮廓上标记第一重心点；
89.在所述3d彩色轮廓上标记第二重心点；
90.将标记后的3d深度轮廓和3d彩色轮廓放置在同一预设坐标系中，分别获取所述第一重心点和第二重心点的坐标；
91.当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第二重心点属于同一点。
92.优选的，当所述第一重心点和所述第二重心点属于同一点时，包括：
93.当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视为所
述3d工件轮廓的重心点。
94.优选的，基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径，包括：
95.获取所述第一区域与所述工作空间模型的重合区域；
96.获取所述无关机器人到达所述重合区域的第一时刻，以及在所述重合区域第一停留时长；
97.基于所述第一时刻下所述虚拟机器人所在的位置，调整所述虚拟机器人的前进速度；
98.基于所述第一停留时长调整所述虚拟机器人的前进方向；
99.基于所述前进速度和前进方向，生成对应的工作路径。
100.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
101.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
102.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
103.图1为本发明实施例的基于深度相机的机器人自主识别智能抓取方法现有技术装置图；
104.图2为本发明实施例的基于深度相机的机器人自主识别智能抓取方法的流程图；
105.图3为本发明实施例的又一基于深度相机的机器人自主识别智能抓取方法的程图。
具体实施方式
106.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
107.实施例1
108.本发明实施例提供基于深度相机的机器人自主识别智能抓取方法，如图2 所示，包括：
109.步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓；
110.步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3d工件轮廓并分别标记每一3d工件轮廓上各轮廓点的坐标；
111.步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取。
112.该实例中，深度工件轮廓表示工件在深度图像上的轮廓；
113.该实例中，彩色工件轮廓表示工件在彩色图像上的轮廓。
114.上述技术方案的工作原理及有益效果：通过获取工件放置区上工件对应的深度工件轮廓和彩色工件轮廓，进而基于深度工件轮廓和彩色工件轮廓来建立 3d工件轮廓，这样一来可以基于3d工件轮廓确定工件在工件放置区上的分布情况，根据该分布情况和工件的位置，建立抓取路径，根据工件的特点，生成抓取力度以及抓取点，再进行抓取，可以由机器人将工件夹送到工人面前，减少了人工拿取的繁琐步骤，同时也加快了流水线生产的速度，由于机器人抓取时更加精确，由于实现了智能抓取工作，可以避免损坏工件，在一定程度上节约了成本。
115.实施例2
116.如图2所示，在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，所述步骤1中，所述识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，包括：
117.步骤101：对所述深度图像进行图像二值化处理，获得二值化图像；
118.步骤102：基于图像识别技术，识别所述二值化图像上所述工件对应的深度工件轮廓；
119.步骤103：对所述彩色图像进行色彩增强处理，获得色彩增强图像；
120.步骤104：基于图像识别技术，识别所述色彩增强图像上所述工件对应的彩色工件轮廓。
121.上述技术方案的工作原理及有益效果：将深度图像转换为二值图像可以获取到清晰的工件轮廓，基于图像处理技术在二值图像上可以获取深度工件轮廓，将彩色图像进行色彩加强，再基于图像处理技术可以获取彩色工件轮廓，省去了大量的图像扣取工作，提升了工件轮廓的质量。
122.实施例3
123.在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，所述步骤2中，基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3d工件轮廓并分别标记每一3d工件轮廓对应的坐标，包括：
124.根据所述深度图像建立深度模型，获取所述深度模型的第一图像起点；
125.根据所述彩色图像建立彩色模型，获取所述彩色模型的第二图像起点；
126.在所述深度模型上随机选取一个第一检验点；
127.获取所述第一检验点和所述第一图像起点之间的位置关系；
128.在所述彩色模型上选取与所述第二图像起点具有相同所述位置关系的第二检验点；
129.将所述第一检验点和所述第二检验点进行对应，构建第一对应关系；
130.随机选取完毕后，汇总所述第一对应关系，建立对应关系表；
131.基于所述对应关系表，确定所述深度模型上每一第一目标点与所述彩色模型上每一第二目标点之间的第二对应关系；
132.基于所述第二对应关系、所述深度工件轮廓在所述深度模型上的第一位置和所述彩色工件轮廓在所述彩色模型上的第二位置，将所述深度工件轮廓和彩色工件轮廓进行配对，建立轮廓对应列表；
133.将所述轮廓对应列表输入到预设的坐标系中；
134.基于所述深度工件轮廓和彩色工件轮廓的配对关系，在所述坐标系中建立对应的3d工件轮廓；
135.标记所述3d工件轮廓上各轮廓点在所述坐标系中的位置坐标，并作为所述轮廓点的坐标。
136.该实例中，第一图像起点为深度模型在建立时的参考坐标原点；
137.该实例中，第二图像起点为彩色模型在建立时的参考坐标原点；
138.该实例中，由于在选取第一检验点时遵循随机法则，故第一检验点在在深度模型上的位置不确定；
139.该实例中，第一检验点和第二检验点表示实际空间中的同一点；
140.该实例中，第一目标点表示深度模型上深度工件轮廓所在的点；
141.该实例中，第一对应关系表示第一检验点与第二检验点之间的对应关系，建立第一对应关系的目的为：为了避免外界光照环境对深度图像和彩色图像造成干扰，影响图像像素点之间的对应关系，故利用第一检验点和第二检验点的配对关系对两图像之间的对应关系进行补偿修正，确保后续获取标准的3d工件轮廓；
142.该实例中，第二对应关系表示第一目标点与第二目标点的对应，即，深度工件轮廓与彩色工件轮廓的对应关系；
143.该实例中，轮廓对应列表表示深度工件轮廓和彩色工件轮廓对应关系的列表。
144.上述技术方案的工作原理及有益效果：通过将工件轮廓和彩色工件轮廓一一配对，可以从多方面获得工件的位置信息，然后在预设坐标系中建立3d工件轮廓，根据坐标系的性质，可以在坐标系上获取每一3d工件轮廓对应的坐标，为后续建立抓取路径做基础。
145.实施例4
146.在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，步所述步骤3中，根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取，包括：
147.接收操作人员输入的抓取指令；
148.解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存放位置；
149.以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之间的第二向量；
150.以每一所述第一向量为抓取元素，建立抓取距离列表；
151.以每一所述第二向量为放置元素，建立放置距离列表；
152.以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表中的放置元素一一配对；
153.根据每一配对结果，建立对应的最短抓-放路径；
154.汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；
155.基于所述抓取指令，控制所述机器人进行抓取工作。
156.该实例中，工件的存放位置表示工件在工件放置区的位置；
157.该实例中，工件的目标存放位置表示机器人抓取工件后进行放置的位置；
158.该实例中，原点的位置随着机器人的位置变化而产生变化，从而，第一向量和第二向量也在发生变化；
159.该实例中，第一向量表示由原点(机器人的当前位置)指向工件放置区上的一个待抓取工件的有方向，有长度的线段；
160.该实例中，第二向量表示由工件放置区指向标存放位置的一个位置的有方向，有长度的线段；
161.该实例中，最短抓-放路径表示机器人从当前位置出发，到达工件放置区，抓取一个待抓取工件，再到达标存放位置的最短的路径；
162.该实例中，抓取距离列表表示机器人与存放位置每一工件的距离所构成的列表；
163.该实例中，放置距离列表表示机器人与工件的距离和放置位置所构成的列表。
164.上述技术方案的工作原理及有益效果：通过获取待抓取工件的存放位置和目标放置位置，建立对应的抓取距离列表和放置距离列表阵，这样一来可以直观的看出机器人与每一工件之间的距离，然后建立抓-放列表，机器人根据抓
‑ꢀ
放列表进行抓取工作可以提高工作效率，提高抓取准确率，避免空抓。
165.实施例5
166.在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，还包括：
167.根据所述抓取路径，构建所述机器人的活动范围；
168.监测所述活动范围内是否存在无关机器人；
169.若是，获取所述无关机器人的位置，并对所述抓取路径进行修正，获得工作路径，基于所述工作路径，接力控制所述机器人进行抓取工作；
170.若不是，将所述抓取路径视为工作路径，控制所述机器人进行抓取工作。
171.该实例中，无关机器人表示除进行抓取工作机器人以外的其他机器人。
172.上述技术方案的工作原理及有益效果：通过判断机器人的活动范围内是否有无关机器人，根据无关机器人的位置调节机器人的抓取路径，避免机器人在进行抓取工作的过程中发生碰撞，所以在建立工作路径时判断前方是否有无关机器人，绕过无关机器人的位置，构建工作路径，保证机器人在工作时的安全，提高了机器人的智能性。
173.实施例6
174.在实施例5的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，获取所述无关机器人的位置，并对所述抓取路径进行修正，获取工作路径，如图3所示，包括：
175.采集所述机器人周围的全景图像；
176.获取所述机器人的型号规格；
177.获取预设的虚拟空间，在所述虚拟空间中根据所述机器人的型号规格构建对应的虚拟机器人；
178.将所述全景图像与预设的初始全景图像进行对比，判断所述全景图像中是否存在新来物；
179.若是，在所述虚拟空间中基于所述机器人的当前位置、所述抓取路径和全景图像，构建机器人工作空间模型；
180.控制所述虚拟机器人在所述机器人工作空间模型中进行模拟工作；
181.实时采集所述虚拟机器人在所述机器人工作空间模型中的第一虚拟位置；
182.基于所述第一虚拟位置，根据时间顺序建立所述虚拟机器人在所述全景模型中进行移动的第一位置序列；
183.在所述全景模型中获取与所述第一位置序列有关的第一图像集；
184.利用预设的机器人图像遍历所述第一图像集，判断所述第一图像集中是否存在出现无关机器人的目标图像；
185.若是，获取所述无关机器人在所述机器人工作空间模型中的第二虚拟位置；
186.利用边缘检测提取技术，在所述第一图像集中提取所述目标图像；
187.根据所述目标图像的背景，在所述全景模型中获取所述无关机器人的位置，建立所述无关机器人的活动位置列表；
188.基于所述活动位置列表，构建所述无关机器人的运动轨迹；
189.在所述机器人工作空间模型中同时对所述虚拟机器人和所述无关机器人进行模拟工作，判断所述虚拟机器人与所述无关机器人是否会碰撞；
190.若是，获取所述虚拟机器人和所述无关机器人在同一时刻下发生碰撞的第一位置；
191.以所述第一位置为中心，以预设躲避距离为半径，提取所述运动轨迹中与所述机器人工作空间模型重合的第一区域；
192.基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径。
193.该实例中，全景图像表示机器人所在环境的全景图像；
194.该实例中，机器人的型号规格仅与机器人自身的性质有关；
195.该实例中，预设的虚拟空间表示预设的三维空间；
196.该实例中，初始全景图像表示除了机器人本身与工件以外无其他物体的全景图像；
197.该实例中，新来物可以为：无关机器人、操作人员；
198.该实例中，虚拟机器人表示与机器人有相同性质的可以再预设虚拟空间进行活动的虚拟物；
199.该实例中，机器人工作空间模型表示在预设虚拟空间中建立的与机器人现处的外界环境条件相同的虚拟空间；
200.该实例中，模拟工作表示由虚拟机器人在机器人工作空间模型中模拟抓取工作；
201.该实例中，第一虚拟位置表示虚拟机器人在机器人工作空间模型中模拟机器人在现处外界环境中的位置；
202.该实例中，在全景模型中获取与第一位置序列有关的第一图像集的过程包括：在全景模型中标记第一位置序列，根据第一位置序列在全景模型中的具体位置以及该位置上所包含的物体，获取包含该位置上物体的图像；
203.该实例中，第一位置序列表示多个第一虚拟位置；
204.该实例中，第一图像集表示包含第一虚拟位置的图像；
205.该实例中，预设的机器人图像表示无关机器人图像；
206.该实例中，目标图像表示包含无关机器人的图像；
207.该实例中，无关机器人的活动位置列表表示无关机器人的活动轨迹组成的列表；
208.该实例中，修正工作空间模型生成工作路径的过程(可参考实施例10)包括：根据无关机器人到达重合区域的第一时刻，以及在重合区域第一停留时长，以及第一区域与工作空间模型的重合区域，分析虚拟机器人在第一时刻时在工作空间模型的位置，根据虚拟机器人与无关机器人的位置关系，调整虚拟机器人的前进速度，再根据第一停留时长调整虚拟机器人的前进方向，最后综合来看，调节虚拟机器人的前进速度和前进方向，生成对应的工作路径；
209.该实例中，全景模型表示机器人所在空间的模型。
210.上述技术方案的工作原理及有益效果：通过采集机器人周围的全景图像，从而判断机器人周围是否有新物体，通过建立对应的机器人工作模型和虚拟机器人，让机器人在工作模型中执行模拟工作，通过判断机器人与无关机器人的位置关系，从而确定机器人是否存在碰撞风险，为了提高机器人抓取工件的效率，根据工件放置区上工件的摆放位置，以及工件的目标移动位置，获取最短的抓取和放置路径，同时为了避免机器人与其他无关机器人碰撞造成损失，在机器人进行抓取工作时持续采集周围情况，根据周围情况调节机器人的工作路径。
211.实施例7
212.在实施例4的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，控制所述机器人进行抓取工作，包括：
213.增强所述3d工件轮廓的像素对比度，获取3d深度轮廓；
214.增强所述3d工件轮廓的色彩对比度，获取3d彩色轮廓；
215.获取所述3d深度轮廓上每一深度像素点的第一像素值与对应的八邻域范围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度像素点并依次连接，标记为深度工件材料分割线；
216.同时，将所述第一像素值相同的深度像素点视为一类；
217.统计每一类深度像素点对应的数量，构建深度统计列表；
218.获取所述3d彩色轮廓上每一深度像素点的第二像素值与对应的八邻域范围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色像素点并依次连接，标记为彩色工件材料分割线；
219.同时，将所述第二像素值相同的彩色像素点视为一类；
220.统计每一类彩色像素点对应的数量，构建彩色统计列表；
221.基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述 3d深度轮廓的材料组成，获取所述3d深度轮廓的第一重心点；
222.同时，基于所述深度统计列表预测所述3d深度轮廓的各个部分的质量，获取所述3d深度轮廓的第一体积；
223.基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述 3d彩色轮廓的材料组成，获取所述3d彩色轮廓的第二重心点；
224.同时，基于所述彩色统计列表预测所述3d彩色轮廓的各个部分的质量，获取所述3d彩色轮廓第二体积；
225.判断所述第一体积与所述第二体积是否一致；
226.若不是，建立所述3d深度轮廓与所述3d彩色轮廓的映射集；
227.基于所述映射集调整所述3d深度轮廓的深度像素点对应的第一像素值，以及调整所述3d彩色轮廓的彩色像素点对应的第二像素值；
228.将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训练结果，将所述3d工件轮廓分割为若干子部分；
229.基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相应的材料，再结合每一部分材料的重量，预测所述3d工件轮廓的重心；
230.基于所述3d工件轮廓的重心调节所述机器人的抓取施力点；
231.对所述3d工件轮廓进行二值化处理；
232.将处理后的所述3d工件轮廓分割为若干副子图像；
233.分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图像匹配对应的工件材料，并为所述3d工件轮廓填充对应的工件材料；
234.判断填充后3d工件轮廓是否包含易碎材料；
235.若是，获取所述易碎材料在所述填充后3d工件轮廓上的材料位置，将所述材料位置作为所述机器人的抓取避让点；
236.根据材料-重量列表，计算所述填充后3d工件轮廓的重量，调节所述机器人的抓取力度；
237.基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机器人进行抓取工作。
238.该实例中，深度像素点(或彩色像素点)的八领域范围表示以深度像素点 (或彩色像素点)为中心，与其相邻的八个像素点，若某一像素点八领域范围存在缺陷时(例如，图像边缘的像素点)，将剩余领域范围的像素点的平均像素值填充缺陷位置；
239.该实例中，深度邻域像素点表示以深度像素点为中心，其八领域范围内的像素点；
240.该实例中，深度工件材料分割线表示工件不同材料在深度图像上的分界线；
241.该实例中，深度统计列表表示深度图像上每一像素对应的总数；
242.该实例中，预设深度-材料对应关系表示预设的不同深度像素点对应的材料；
243.该实例中，第一重心点表示利用深度图像预测的工件的重心点；
244.该实例中，映射集表示3d深度轮廓与3d彩色轮廓的对应关系；
245.该实例中，第一体积表示通过对深度图像进行处理后预测的工件的体积；
246.该实例中，彩色工件材料分割线表示工件不同材料在彩色图像上的分界线；
247.该实例中，基于映射集调整深度像素点和彩色像素点的过程包括：根据映射集提取配对率低于预设配对率的深度像素点和彩色像素点，分别将对应的第一像素值第二像素值转换为二值像素值，获取两个二值像素值之间的像素差，根据分别调节第一像素值和第二像素值；
248.该实例中，彩色统计列表表示彩色图像上每一像素对应的总数；
249.该实例中，预设彩色-材料对应关系表示预设的不同彩色像素点对应的材料；
250.该实例中，第二重心点表示利用彩色图像预测的工件的重心点；
251.该实例中，第二体积表示通过对彩色图像进行处理后预测的工件的体积；
252.该实例中，重心点表示3d工件轮廓处于任何方位时所有各组成支点的重力的合力都通过的那一点；
253.该实例中，腐蚀处理表示对每一子图像的边缘进行加强的处理工作；
254.该实例中，易碎材料可以为：玻璃。
255.上述技术方案的工作原理及有益效果：通过分别在深度图像和彩色图像上获取3d深度轮廓与3d彩色轮廓，再利用上述重心处理办法获取对应的第一重心和第二重心，若第一重心和第二重心不在同一点，对3d深度轮廓与3d 彩色轮廓进行相互适应训练，获取工件的重心，再获取工件的组成材料，获取工件的抓取避让点，以及获取工件的重量，获取抓取力度，为了保证机器人在抓取工件的过程中保证抓取效率，同时避免损坏工件，根据上述检测工作，获取3d工件轮廓的重心点，进而确定机器人的施力点，获取3d工件轮廓的重量，确定机器人的抓取力度，获取3d工件轮廓的材料组成，确定机器人的抓取避让点，这样一来可以保证抓取时不损坏工件，节约的成本。
256.实施例8
257.在实施例7的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，判断所述第一重心点与第二重心点是否属于同一点，包括：
258.在所述3d深度轮廓上标记第一重心点；
259.在所述3d彩色轮廓上标记第二重心点；
260.将标记后的3d深度轮廓和3d彩色轮廓放置在同一预设坐标系中，分别获取所述第一重心点和第二重心点的坐标；
261.当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第二重心点属于同一点。
262.上述技术方案的工作原理及有益效果：为了判断第一重心点与第二重心点是否属于同一点，将第一重心点与第二重心点放置在同一坐标系中，通过比较两点的坐标从而进行判断，这样一来利用坐标进行判断可以提高判断的准确性，而且还可以直观的获取两点之间的距离。
263.实施例9
264.在实施例8的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，当所述第一重心点和第二重心点的坐标相同时，包括：
265.当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视为所述3d工件轮廓的重心点。
266.上述技术方案的工作原理及有益效果：为了节约时间当第一重心点和所述第二重心点属于同一点时，直接将第一重心点视为3d工件轮廓的重心点，免除了繁杂的对比工作，加快了检测进程。
267.实施例10
268.在实施例6的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径，包括：
269.获取所述第一区域与所述工作空间模型的重合区域；
270.获取所述无关机器人到达所述重合区域的第一时刻，以及在所述重合区域第一停留时长；
271.基于所述第一时刻下所述虚拟机器人所在的位置，调整所述虚拟机器人的前进速度；
272.基于所述第一停留时长调整所述虚拟机器人的前进方向；
273.基于所述前进速度和前进方向，生成对应的工作路径。
274.该实例中，调整虚拟机器人的前进速度可以为：根据第一时刻虚拟机器人所在的位置与重合区域的距离，计算虚拟机器人在当前速度下到达重合区域所需的第一时长，当第一时长与小于第一停留时长时，根据第一时长和第一停留时长的时间差，调节虚拟机器人的前进速度，直到第一时长大于第一停留时长为止。
275.上述技术方案的工作原理及有益效果：当无关机器人的活动范围与机器人的工作路径存在重合区域时，为了避免碰撞，根据无关机器人到达重合区域的时刻调整机器人的前进速度，再根据无关机器人再重合区域的停留时长调节机器人的前进方向，这样一来可以将两台机器人的活动范围错开，避免碰撞。
276.实施例11
277.在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方法，步骤1：采集工件放置区的深度图像和彩色图像后，包括：
278.分别获取所述深度图像和所述彩色图像对应的第一清晰度、第二清晰度；
279.分别判断所述第一清晰度、第二清晰度是否在预设范围内；
280.若不在，确定所述深度图像与所述彩色图像不合格，生成重新拍摄指令，重新获取所述工件放置区的深度图像和彩色图像；
281.若在，将所述深度图像与所述彩色图像进行重合，获取实景图像，并输入到二维坐标系中；
282.根据公式(ⅰ)计算所述实景图像的像素权重；
[0283][0284]
其中，p表示所述实景图像的像素权重，m表示所述实景图像的像素点的数量，qi(x,y)表示所述实景图像的第i个像素点在所述二维坐标系的权重，pi表示所述实景图像的第i个像素点的像素值，t表示所述实景图像的平均梯度值， ti表示所述实景图像的第i个像素点的梯度，t
i-1
表示所述实景图像的第i-1个像素点的梯度，当且仅当i＝1时，t
i-1
＝0.5ti；
[0285]
获取计算结果并判断所述实景图像的像素值是否在预设范围内，若在，确定所述深度图像与所述彩色图像合格；
[0286]
反之，确定所述深度图像与所述彩色图像不合格，生成重新拍摄指令，重新获取所述工件放置区的深度图像和彩色图像。
[0287]
上述技术方案的工作原理及有益效果：采集深度图像和彩色图像是进行抓取工作的首要步骤，关系到后续抓取工作的抓取效率，所以在采集到深度图像和彩色图像后分析清晰度进而判断图像是否合格，为了使得判断结果更加准确，将两幅图像组合为实景图像，再计算实景图像的像素权重，进而判断图像是否合格，并针对计算结果做出相应的提
示。
[0288]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。