1.本发明涉及自动化设备技术领域，具体为基于机器人主动运动的运动物体跟踪抓取方法和装置。


背景技术：

2.自动化装备是制造强国的利器，必须要向高速化、智能化方向迈进，而目前的机器人对工件进行拾取、上下料、缺陷工件剔除等操作任务时，只能做到基本静态抓取，或者抓取外形规则的运动对象；面向运动物体的抓取往往适应能力低下；并不能满足机器人抓取动态不规则物体和稳态操作，并且现有技术适应能力差，仅适用于简单工业场合作业。当前机器人跟踪抓取方法对于机器人主动运动的跟踪抓取来说，成本高，适应能力有限，且抓取不规则物体适应能力差。所以充分利用视觉跟踪和机器人主动运动，达到最终实现对工件的抓取是提高机器人抓取能力的一个重要技术手段；因此此类基于机器人主动运动的运动物体的跟踪抓取方法就显得尤为重要。
3.针对上述问题，本发明公开的基于机器人主动运动的运动物体跟踪抓取方法和装置，能实现对多规则物体运动的抓取，适应能力强，具有成本低，抓取精准等优点，能实现在复杂环境下稳态操作的优点。


技术实现要素：

4.本发明的目的在于提供基于机器人主动运动的运动物体跟踪抓取方法和装置，以解决上述背景技术中提出的技术问题。为实现上述目的，本发明提供如下技术方案：
5.一方面，基于机器人主动运动的运动物体跟踪抓取方法，包括如下步骤：
6.s1：机器人对运动物体进行目标检测；
7.s2：机器人对运动物体进行目标定位；
8.s3：机器人对运动物体进行三维运动路径预测；
9.s4：机器人主动运动对运动物体进行跟踪和抓取。
10.优选的，所述步骤s1中，检测方式是基于背景模型实时更新算法进行，首先对当前操作空间的单帧图像的每个像素点进行初始化处理得到背景模型；然后对后续采集到的操作空间的图像逐张进行前景目标分割，最后更新背景模型。
11.优选的，所述当前操作空间的单帧图像的像素点是否为运动目标的像素点的判断方法为：如果某个像素点像素值则判定当前像素点为运动目标的像素点；如果某像素点像素值则判定当前像素点为背景的像素点；表示k时刻像素点(x,y)的背景模型，其像素值为fk(x,y)；m表示样本集，t是按照实验结果预设的阈值。
12.优选的，所述更新背景模型的方法具体为：在n个背景模型中随机选择一个，设为图像pg，当得到新一帧的图像pt后，如果图像pt中的x位置对应的像素点pt(x)被判定为背
景，则更新图像pg。
13.优选的，所述步骤s2中，机器人对运动物体进行目标定位的定位方式是基于rgb图像和深度图像的对应点搜索实现的，首先使用搜索算法，将机器人操作空间的rgb图像数据与深度数据配准；然后从深度数据中提取出步骤s1中识别检测的运动物体的区域rgb图像对应的三维点云数据；接着对提取出的三维点云数据进行滤波处理，去掉局部干扰点云；最后对滤波处理后的三维点云进行处理，提取其几何中心，完成对运动目标的空间定位。
14.优选的，所述步骤s3中的三维运动路径预测基于卡尔曼滤波实现的，首先按照一定分辨率记录运动物体的运动轨迹，得到所需运动物体的运动轨迹数据集；然后对运动轨迹数据集进行预处理；接着根据运动预测系统的观测方程和状态方程确定运动模型参数；接下来在初始时刻的最优状态估计值及估计误差方差矩阵的基础上，预测下一刻运动目标位置的预测值，计算协方差矩阵，通过迭代运算计算前一刻(n-1)时的最优状态估计值x(n-1,n-1)，完成滤波过程；最后根据前一刻(n-1)时的最优状态估计值x(n-1,n-1)以及当前时刻n时的观测值，预测出下一时刻n+1时的轨迹点的空间位置，完成三维运动路径预测。
15.优选的，所述步骤s4中对运动物体进行跟踪和抓取具体为：首先根据运动目标已经走过的轨迹，确定机器人末端工具跟踪运动物体的运动路径；然后机器人执行第一次主动运动，使得机器人末端工具高速的接近运动物体；接着按照步骤s3中的方法确定机器人抓取运动物体的运动路径预测位置；然后，机器人执行二次主动运动，使机器人末端工具以适当的速度到达运动物体的运动位置，并跟随目标运动；最后调节末端工具的夹取速度，实现对运动物体的柔顺抓取。
16.一方面，基于机器人主动运动的运动物体跟踪抓取方法的装置，其特征在于，包括机器人、rgb-d视觉传感器、运动物体，所述机器人末端连接末端工具，所述rgb-d视觉传感器放置在机器人对面，用于检测所述运动物体的运行轨迹。
17.与现有技术相比，本发明的有益效果是：
18.①
本发明的方法采用基于卡尔曼滤波的三维运动路径预测方法来预测抓取点的位置，提高了抓取准确性；
19.②
本发明的方法采用基于rgb图像分析以及深度图像的对应点搜索，保证了对运动物体在操作空间位置的精确定位；
20.③
本发明的方法采用了基于背景模型实时更新算法对运动物体进行检测，提高了运动物体的在操作空间提取的准确性；
21.④
本发明的方法采用了基于机器人主动运动对运动物体进行目标跟踪与抓取，通过机器人一次运动以较高速度实现末端夹持工具接近和跟踪运动物体，再通过机器人二次运动调制末端夹持工具对运动物体的夹持力，实现鲁棒地、柔顺地抓取运动目标，保证处在运动的物体受外界损伤程度最小；
22.⑤
本发明的方法应用范围广泛可用于高端制造业及航空航天方面，适用复杂环境能力强，运行过程稳定。
附图说明
23.图1为本发明基于机器人主动运动的运动物体跟踪抓取方法的整体流程图；
24.图2为本发明基于机器人主动运动的运动物体跟踪抓取方法的装置结构示意图；
25.图3为本发明步骤s1中的机器人对运动物体进行目标检测的流程图；
26.图4为本发明步骤s2中的机器人对运动物体进行目标定位的流程图；
27.图5为本发明步骤s3中的机器人对运动物体进行三维运动路径预测的流程图；
28.图6为本发明步骤s4中的机器人主动运动对运动物体进行跟踪和抓取的流程；
29.图2中：1、运动物体；2、rgb-d视觉传感器；3、末端工具；4、机器人。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.请参阅图1和图2，本发明提供一种技术方案：
32.s1：机器人4对运动物体1进行目标检测；
33.s2：机器人4对运动物体1进行目标定位；
34.s3：机器人4对运动物体1进行三维运动路径预测；
35.s4：机器人4主动运动对运动物体1进行跟踪和抓取。
36.参阅图2和图3，在步骤s1中，检测方式是基于背景模型实时更新算法进行，首先机器人4对当前操作空间的单帧图像的每个像素点进行初始化处理，当前操作空间的单帧图像的像素点是否为运动目标的像素点的判断方法为：如果某个像素点像素值则判定当前像素点为运动目标的像素点；如果某像素点像素值则判定当前像素点为背景的像素点；表示k时刻像素点(x,y)的背景模型，其像素值为fk(x,y)；m表示样本集，t是按照实验结果预设的阈值；然后对后续采集到的操作空间的图像逐张进行前景目标分割，最后在n个背景模型中随机选择一个，设为图像pg，当得到新一帧的图像pt后，如果图像pt中的x位置对应的像素点pt(x)被判定为背景，则更新图像pg得到更新背景模型。
37.参阅图2和图4，在步骤s2中，机器人4对运动物体1进行目标定位的定位方式是基于rgb图像和深度图像的对应点搜索实现的，首先使用搜索算法，将机器人4在对面的rgb-d视觉传感器2的操作空间rgb图像数据与深度数据配准；然后从深度数据中提取出步骤s1中识别检测的运动物体1的区域rgb图像对应的三维点云数据；接着对提取出的三维点云数据进行滤波处理，去掉局部干扰点云；最后对滤波处理后的三维点云进行处理，提取其几何中心，完成对运动目标的空间定位。
38.参阅图2和图5，在步骤s3中的三维运动路径预测基于卡尔曼滤波实现的，首先按照一定分辨率记录运动物体1的运动轨迹，得到所需运动物体1的运动轨迹数据集；然后对运动轨迹数据集进行预处理；接着根据运动预测系统的观测方程和状态方程确定运动模型参数；接下来在初始时刻的最优状态估计值及估计误差方差矩阵的基础上，预测下一刻运动目标位置的预测值，计算协方差矩阵，通过迭代运算计算前一刻(n-1)时的最优状态估计值x(n-1,n-1)，完成滤波过程；最后根据前一刻(n-1)时的最优状态估计值x(n-1,n-1)以及当前时刻n时的观测值，预测出下一时刻n+1时的轨迹点的空间位置，完成三维运动路径预
测。
39.参阅图2和图6，在步骤s4中对运动物体1进行跟踪和抓取具体为：首先根据rgb-d视觉传感器2扫描运动物体已经走过的轨迹，确定机器人4末端工具3跟踪运动物体1运动轨迹；然后机器人4执行第一次主动运动，使得机器人4末端工具3高速的接近运动物体1；接着按照步骤s3中的方法确定机器人4抓取运动物体1的运动路径预测位置；然后，机器人4执行二次主动运动，使机器人4末端工具3以适当的速度到达运动物体1的运动位置，并跟随目标运动；最后调节末端工具3的夹取速度，最终实现对运动物体1的柔顺抓取。
40.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明，因此，无论从那一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。