仓储机器人的控制方法、装置、设备及可读存储介质
1.本技术是向中国专利局提交的申请号为202010537646.9，申请日为2020年06月12日，发明创造名称为“仓储机器人的控制方法、装置、设备及可读存储介质”的发明专利申请的分案申请。
技术领域
2.本发明涉及智能仓储技术领域，尤其涉及一种仓储机器人的控制方法、装置、设备及可读存储介质。


背景技术：

3.随着智能制造和仓储物流领域的网络化和智能化，仓储物流在企业生成管理过程中具有非常重要的地位，在智能仓储领域，仓储机器人代替工人进行货物的搬运变得越来越普遍。
4.现有的智能仓储系统中，由于货架震动或人为的操作失误等都会导致料箱在库位内发生偏移或者从货架掉落，仓储机器人在取该料箱或者在经过该料箱时，可能会与料箱发生碰撞。因此，仓储机器人存取料箱时存在安全隐患。


技术实现要素：

5.本发明提供一种仓储机器人的控制方法、装置、设备及可读存储介质，用以解决仓储机器人安全性低的问题。
6.本发明的一个方面是提供一种仓储机器人的控制方法，所述仓储机器人具有搬运装置和图像采集装置，包括：
7.通过所述图像采集装置采集搬运任务对应的目标库位的图像数据；根据所述目标库位的图像数据，若确定满足所述搬运任务的执行条件，则控制所述搬运装置执行所述搬运任务。
8.在一种可能的实施方式中，所述通过所述图像采集装置采集搬运任务对应的目标库位的图像数据，包括：
9.当所述仓储机器人移动至所述目标库位对应的目标位置时，控制所述图像采集装置启动并采集所述目标库位的图像数据；或者，当所述仓储机器人移动至所述目标库位周围的预设范围内时，控制所述图像采集装置启动并采集所述目标库位的图像数据。
10.在一种可能的实施方式中，所述图像采集装置设置于所述搬运装置上，控制所述图像采集装置启动并采集所述目标库位的图像数据之前，还包括：
11.控制所述搬运装置对准所述目标库位。
12.在一种可能的实施方式中，所述根据所述目标库位的图像数据，若确定满足所述搬运任务的执行条件，则控制所述搬运装置执行所述搬运任务，包括：
13.对所述目标库位的图像数据进行检测处理，确定所述目标库位的状态信息和/或目标物体的状态信息；根据所述目标库位的状态信息和/或目标物体的状态信息，若确定满
足所述搬运任务的执行条件，则控制所述搬运装置执行所述搬运任务。
14.在一种可能的实施方式中，所述目标库位的状态信息包括以下至少一项：
15.所述目标库位的搬运路径上的障碍物信息；所述目标库位的尺寸信息；所述目标库位是否空闲。
16.在一种可能的实施方式中，所述目标物体的状态信息包括以下至少一项：
17.所述目标物体的身份信息；所述目标物体的姿态信息；所述目标物体的尺寸信息；所述目标物体的破损程度信息；所述目标物体的形变程度信息。
18.在一种可能的实施方式中，所述搬运任务为取货任务，所述搬运任务的执行条件包括以下至少一项：
19.所述目标库位的取货路径上没有障碍物；所述目标物体的身份信息、姿态信息和尺寸信息满足取货条件；所述目标物体的破损程度在第一预设安全阈值范围内；所述目标物体的形变程度在第二预设安全阈值范围内。
20.在一种可能的实施方式中，所述搬运任务为放货任务，所述搬运任务的执行条件包括以下至少一项：
21.所述目标库位空闲；所述目标库位的尺寸满足放货条件；所述目标库位的放货路径上没有障碍物。
22.在一种可能的实施方式中，还包括：
23.根据所述目标库位的图像数据，若确定不满足所述搬运任务的执行条件，则向服务器发送错误信息，其中所述错误信息包括以下至少一项：所述目标库位的状态信息、目标物体的状态信息、未满足的执行条件项。
24.在一种可能的实施方式中，向服务器发送错误信息之后，还包括：
25.根据所述服务器的调度指示，控制所述仓储机器人执行对应的错误处理行为。
26.在一种可能的实施方式中，所述错误处理行为是以下任意一种：
27.停留在当前位置，等待指示；移动到目标点；跳过当前的所述搬运任务，执行下一个搬运任务。
28.在一种可能的实施方式中，通过所述图像采集装置采集所述目标库位的图像数据，包括以下至少一项：
29.通过第一拍摄装置采集所述目标库位的二维图像数据；通过第二拍摄装置采集所述目标库位的三维点云数据；通过激光雷达装置采集所述目标库位的二维点云数据。
30.在一种可能的实施方式中，所述通过所述图像采集装置采集搬运任务对应的所述目标库位的图像数据之前，还包括：
31.响应于搬运任务的执行指令，控制仓储机器人向所述目标库位移动。
32.本发明的另一个方面是提供一种仓储机器人的控制装置，应用于仓储机器人，所述仓储机器人包括搬运装置和图像采集装置，包括：
33.数据获取模块，用于通过所述图像采集装置采集搬运任务对应的目标库位的图像数据；
34.控制模块，用于根据所述目标库位的图像数据，若确定满足所述搬运任务的执行条件，则控制搬运装置执行所述搬运任务。
35.在一种可能的实施方式中，所述数据获取模块还用于：
36.当所述仓储机器人移动至所述目标库位对应的目标位置时，控制所述图像采集装置启动并采集所述目标库位的图像数据；或者，当所述仓储机器人移动至所述目标库位周围的预设范围内时，控制所述图像采集装置启动并采集所述目标库位的图像数据。
37.在一种可能的实施方式中，所述图像采集装置设置于所述搬运装置上，所述控制模块还用于：
38.控制所述搬运装置对准所述目标库位。
39.在一种可能的实施方式中，所述控制模块还用于：
40.对所述目标库位的图像数据进行检测处理，确定所述目标库位的状态信息和/或目标物体的状态信息；根据所述目标库位的状态信息和/或目标物体的状态信息，若确定满足所述搬运任务的执行条件，则控制所述搬运装置执行所述搬运任务。
41.在一种可能的实施方式中，所述目标库位的状态信息包括以下至少一项：
42.所述目标库位的搬运路径上的障碍物信息；所述目标库位的尺寸信息；所述目标库位是否空闲。
43.在一种可能的实施方式中，所述目标物体的状态信息包括以下至少一项：
44.所述目标物体的身份信息；所述目标物体的姿态信息；所述目标物体的尺寸信息；所述目标物体的破损程度信息；所述目标物体的形变程度信息。
45.在一种可能的实施方式中，所述搬运任务为取货任务，所述搬运任务的执行条件包括以下至少一项：
46.所述目标库位的取货路径上没有障碍物；所述目标物体的身份信息、姿态信息和尺寸信息满足取货条件；所述目标物体的破损程度在第一预设安全阈值范围内；所述目标物体的形变程度在第二预设安全阈值范围内。
47.在一种可能的实施方式中，所述搬运任务为放货任务，则所述搬运任务的执行条件包括以下至少一项：
48.所述目标库位空闲；所述目标库位的尺寸满足放货条件；所述目标库位的放货路径上没有障碍物。
49.在一种可能的实施方式中，所述控制模块还用于：
50.根据所述目标库位的图像数据，若确定不满足所述搬运任务的执行条件，则向服务器发送错误信息，其中所述错误信息包括以下至少一项：所述目标库位的状态信息、目标物体的状态信息、未满足的执行条件项。
51.在一种可能的实施方式中，所述控制模块还用于：
52.根据所述服务器的调度指示，控制所述仓储机器人执行对应的错误处理行为。
53.在一种可能的实施方式中，所述错误处理行为是以下任意一种：
54.停留在当前位置，等待指示；移动到目标点；跳过当前的所述搬运任务，执行下一个搬运任务。
55.在一种可能的实施方式中，所述数据获取模块还用于执行以下至少一项：
56.通过第一拍摄装置采集所述目标库位的二维图像数据；通过第二拍摄装置采集所述目标库位的三维点云数据；通过激光雷达装置采集所述目标库位的二维点云数据。
57.在一种可能的实施方式中，所述控制模块还用于响应于搬运任务的执行指令，控制仓储机器人向所述目标库位移动。
58.本发明的另一个方面是提供一种仓储机器人，包括：
59.搬运装置，图像采集装置，处理器，存储器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序；
60.其中，所述处理器运行所述计算机程序时实现上述所述的仓储机器人的控制方法。
61.本发明的另一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的仓储机器人的控制方法。
62.本发明提供的仓储机器人的控制方法、装置、设备及可读存储介质，在执行搬运任务之前，通过图像采集装置采集搬运任务对应目标库位的图像数据，根据所述目标库位的图像数据，确定当前是否满足所述搬运任务的执行条件，在确定满足搬运任务的执行条件，也就是搬运装置执行搬运任务不会发生危险时，控制搬运装置执行所述搬运任务，可以避免发生危险，提高了货物取放的安全性，降低了货物损坏以及货架倾倒的几率。
附图说明
63.图1为本发明实施例一提供的仓储机器人的控制方法流程图；
64.图2为本发明实施例二提供的仓储机器人的控制方法流程图；
65.图3为本发明实施例三提供的仓储机器人的控制装置的结构示意图；
66.图4为本发明实施例五提供的仓储机器人的结构示意图。
67.通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
68.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
69.术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
70.本发明具体应用于智能仓储系统，智能仓储系统包括仓储机器人，调度系统，仓库等，仓库包括多个用于放置料箱、货物等物体的库位。仓储机器人能够代替工人进行货物的搬运。调度系统与仓储机器人进行通信，例如调度系统可以向仓储机器人下发搬运任务，仓储机器人可以向调度系统发送任务执行的状态信息，等等。
71.现有的智能仓储系统中，由于货架震动或人为的操作失误等都会导致料箱在库位内发生偏移或者从货架掉落，仓储机器人在取该料箱或者在经过该料箱时，可能会与料箱发生碰撞。因此，仓储机器人的存取料箱时存在安全隐患。
72.本发明提供的仓储机器人的控制方法，旨在解决如上的技术问题。
73.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
74.实施例一
75.图1为本发明实施例一提供的仓储机器人的控制方法流程图。本实施例中的方法应用于仓储机器人。在其他实施例中，该方法还可应用于其他设备，本实施例以仓储机器人为例进行示意性说明。本实施例中的方法的执行主体可以是用于控制仓储机器人执行搬运任务的处理器，例如可以是仓储机器人上装载的终端设备的处理器等。如图1所示，该方法具体步骤如下：
76.步骤s101、通过图像采集装置采集搬运任务对应的目标库位的图像数据。
77.其中，搬运任务包括对应的目标库位的信息，任务类型，以及执行当前任务所需的其他信息。其中，搬运任务的类型可以包括取货任务和放货任务。
78.仓储机器人配置有用于取货和/或放货的搬运装置，搬运装置是指用于从库位取货或者向库位中放货的装置，例如货叉等。
79.图像采集装置是设置于仓储机器人上的、能够采集目标库位的图像数据的装置，例如，图像采集装置可以是2d相机、3d相机、激光雷达等。本公开中，2d相机是指拍摄的数据为平面数据的相机，2d相机常见有普通的彩色相机，黑白相机。3d相机是指拍摄的数据为立体数据的相机，其原理可为通过物体反射结构光，通过双目摄像头的视野差等，3d相机常见有kinect、realsense等。
80.可选地，图像采集装置可以设置于仓储机器人的搬运装置上，当仓储机器人向目标库位移动的过程中，或者仓储机器人移动至目标库位附近时，安装于搬运装置上的图像采集装置可以采集到目标库位的图像数据。
81.在执行搬运任务之前，处理器可以获取目标库位的图像数据，以根据目标库位的图像数据，确定当前是否满足搬运任务的执行条件。
82.具体地，处理器控制图像采集装置采集目标库位的图像数据，并将目标库位的图像数据发送给处理器。处理器接收图像采集装置发送的目标库位的图像数据，从而可以实时地获取到目标库位的图像数据。
83.步骤s102、根据目标库位的图像数据，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务。
84.在获取到目标库位的图像数据之后，处理器可以对目标库位的图像数据进行检测处理，以检测目标库位的状态信息和目标库位内物体的状态信息；并根据目标库位的状态信息和目标库位内物体的状态信息，确定当前是否满足搬运任务的执行条件。
85.示例性地，目标库位的状态信息可以包括目标库位是否空闲、尺寸、搬运装置从目标库位取货或者向目标库位放货的路径上是否有障碍物，等等。目标库位中的物体的状态信息可以包括身份、尺寸、姿态、破损程度、变形程度等等。
86.另外，根据目标库位的图像数据所检测的信息可以根据实际应用场景的需要发生变化，本实施例此处不做具体限定。
87.如果确定满足搬运任务的执行条件，则说明在当前的条件下，搬运装置执行搬运任务不会发生危险，控制搬运装置执行搬运任务。
88.如果确定不满足搬运任务的执行条件，则说明在当前的条件下，搬运装置执行搬运任务可能会发生危险，不会控制搬运装置执行搬运任务，以避免发生危险。
89.本发明实施例通过在执行搬运任务之前，通过图像采集装置采集搬运任务对应目标库位的图像数据，根据目标库位的图像数据，确定当前是否满足搬运任务的执行条件，在不满足搬运任务的执行条件时，搬运装置执行搬运任务可能会发生危险，则暂不执行搬运任务，以避免发生危险，提高了仓储机器人的安全性。
90.实施例二
91.图2为本发明实施例二提供的仓储机器人的控制方法流程图。在上述实施例一的基础上，本实施例中，根据目标库位的图像数据，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务，包括：对目标库位的图像数据进行检测处理，确定目标库位和/或目标物体的状态信息；根据目标库位和/或目标物体的状态信息，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务。进一步地，根据目标库位的图像数据，若确定不满足搬运任务的执行条件，则向服务器发送错误信息。如图2所示，该方法具体步骤如下：
92.步骤s201、响应于搬运任务的执行指令，控制仓储机器人向搬运任务对应的目标库位移动。
93.其中，搬运任务的执行指令可以是调度系统向仓储机器人发送的用于触发仓储机器人执行搬运任务的指令信息。
94.搬运任务包括目标库位的信息，任务类型，以及执行当前任务所需的其他信息。其中，搬运任务的类型可以包括取货任务和放货任务。
95.当接收到的搬运任务的执行指令时，处理器根据搬运任务对应的目标库位的新，控制仓储机器人向搬运任务对应的目标库位移动。
96.本实施例中，目标库位是指搬运任务对应的库位，目标物体是指本次搬运任务的搬运目标。例如，如果搬运任务为取货，则目标库位是指需要从哪个库位上取货，所取的货物和/或货箱就是目标物体；如果搬运任务为放货，则需要存放的物体就是目标物体，目标库位是指需要将目标物体放置于的那个库位。
97.步骤s202、通过图像采集装置采集目标库位的图像数据。
98.其中，仓储机器人配置有用于取货的搬运装置，搬运装置是指用于从库位取货或者向库位中放货的装置，例如货叉等。
99.图像采集装置是设置于仓储机器人上的、能够采集目标库位的图像数据的装置。图像采集装置可以是黑白相机，彩色相机，深度相机等图像传感器。例如，图像采集装置可以是2d相机、3d相机、激光雷达等。
100.可选地，图像采集装置可以设置于仓储机器人的搬运装置上，当仓储机器人向目标库位移动的过程中，或者仓储机器人移动至目标库位附近时，安装于搬运装置上的图像采集装置可以采集到目标库位的图像数据。
101.可选地，图像采集装置可以设置于仓储机器人的搬运装置上，朝向搬运装置的前方，以使搬运装置对准目标库位时，图像采集装置可以对准目标库位，能够准确地拍摄到目标库位的图像数据。
102.进一步地，处理器还可以通过分析搬运装置当前所在位置与目标库位的相对位置，控制搬运装置对准目标库位。
103.示例性地，当仓储机器人移动至目标库位对应的目标位置时，处理器控制图像采集装置启动并采集目标库位的图像数据。
104.进一步地，当仓储机器人移动至目标库位对应的目标位置时，处理器可以控制搬运装置移动到目标库位，以使安装于搬运装置上的图像采集装置可以对准目标库位。
105.示例性地，在仓储机器人向目标库位对应的目标位置移动过程中，当仓储机器人移动至目标库位周围的预设范围内时，处理器控制图像采集装置提前启动并采集目标库位的图像数据，以提前获得目标库位的图像数据并进行检测处理，从而可以尽早判断当前是否满足搬运任务的执行条件，以提前完成搬运任务，能够提高效率。其中预设范围可以根据实际应用场景进行设定，本实施例此处不做具体限定。
106.本实施例中，根据目标库位的图像数据，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务，具体可以采用如下步骤s203-s204实现。
107.步骤s203、对目标库位的图像数据进行检测处理，确定目标库位的状态信息和/或目标物体的状态信息。
108.其中，目标库位的状态信息包括以下至少一项：
109.目标库位的搬运路径上的障碍物信息；目标库位的尺寸信息；目标库位是否空闲。其中，搬运路径包括取货路径和/或放货路径。
110.目标物体的状态信息包括以下至少一项：
111.目标物体的身份信息；目标物体的姿态信息；目标物体的尺寸信息；目标物体的破损程度信息；目标物体的形变程度信息。
112.本实施例中，根据搬运任务的不同，该步骤中所检测的信息可以不同。该步骤中所检测的信息能够用于后续步骤中判断是否满足当前搬运任务的执行条件即可，在能够判断是否满足当前搬运任务的执行条件的前提下，检测的信息越少，效率越高。
113.示例性地，图像数据进行的检测处理可以包括：图像学滤波、特征提取、目标分割、深度学习、点云滤波、点云提取、点云聚类、点云分割、点云的深度学习等算法的处理，还可以包括图像处理领域的其他图像处理的算法，具体在后续步骤s204中进行详细说明，此处不再赘述。
114.步骤s204、根据目标库位的状态信息和/或目标物体的状态信息，判断满足搬运任务的执行条件。
115.具体地，若搬运任务为取货，则搬运任务的执行条件包括以下至少一项：
116.目标库位的取货路径上没有障碍物；目标物体的身份信息、姿态信息和尺寸信息满足取货条件；目标物体的破损程度在第一预设安全阈值范围内；目标物体的形变程度在第二预设安全阈值范围内。
117.其中，取货路径是指仓储机器人移动到货架前，搬运装置从目标库位中取到货箱(或货箱内的目标物体)，并将货箱(或目标物体)移动到仓储机器人上指定位置(如仓储机器人上的缓存位置)的过程中所经过的路线。
118.例如，以目标物体为料箱为例，搬运任务为取货，若料箱姿态和尺寸满足取货条件，且取货路径中无障碍物，则可以伸出货叉进行取货行为。
119.若搬运任务为放货，则搬运任务的执行条件包括以下至少一项：
120.目标库位空闲；目标库位的尺寸满足放货条件；目标库位的放货路径上没有障碍
物。
121.例如，以目标物体为料箱为例，搬运任务为放货，若目标库位为空，目标库位大小满足料箱尺寸要求，且放货路径中无障碍物，则可以伸出货叉进行放货行为。
122.其中，放货路径是指仓储机器人移动到货架前，搬运装置从仓储机器人上指定位置(如仓储机器人上的缓存位置)取到货箱(或货箱内的目标物体)，并将货箱(或目标物体)移动到目标库位(或者目标库位的货箱)中的过程中所经过的路线。
123.在一种可能的实施方式中，可以通过第一拍摄装置采集目标库位的二维图像数据。
124.其中，第一拍摄装置可以是2d相机等能够采集二维图像数据的拍摄装置。
125.具体的，通过对第一拍摄装置所在的仓储机器人和/或搬运装置的位置的调整，以及对第一拍摄装置在仓储机器人上的安装位置的调整，使得目标库位在第一拍摄装置的视野范围内。
126.处理器通过控制第一拍摄装置开启，使得第一拍摄装置拍摄其视野范围内的图像，由于目标库位在第一拍摄装置的视野范围内，因此第一拍摄装置拍摄能够拍摄的图像数据中包括目标库位，也即是第一拍摄装置能够拍摄到目标库位的图像数据，并发送给处理器。
127.对于这种实施方式，该步骤可以是：处理器对接收到的图像数据进行滤波降噪处理，提取图像中满足特定条件的区域，运用深度学习算法对图像中的目标进行提取分离，以识别出图像中的目标库位，目标库位内的物体，以及其他障碍物等目标，并根据图像处理及识别结果判断当前是否满足搬运任务的执行条件；也可以是：运用深度学习方法进行图像配准，判断是否符合搬运任务的执行条件；本文对此不加以限制。
128.其中，滤波降噪处理可为应用高斯滤波、均值滤波、中值滤波等滤波算法。
129.示例性地，特定条件可以包括以下至少一项：特定颜色、在图像中的位置、像素值大小等。特定条件可以根据实际应用场景中待识别目标的具体特点进行设定和调整，本实施例此处不做具体限定。
130.示例性地，对图像进行特征提取，所提取的特征可以包括以下至少一项：料箱的边缘直线，料箱表面的特征点，料箱表面的特定图形，料箱表面的颜色。特征提取的结果可以包括以下至少一项：料箱直线的包围面积、料箱直线的交点坐标、特征点数量、特定图形面积等。根据特征提取结果，可以是通过判断料箱直线的包围面积的大小是否符合预设阈值，可以确定料箱尺寸是否满足条件；或者，也可以是运用深度学习方法，直接识别判断料箱尺寸是否满足条件；通过判断特定图形是为预设图形；以确定目标是否是搬运任务中指定的目标库位或待取货的目标物体等。
131.该实施方式中，所提取的特征包括哪些特征，特征提取的结果包括哪些信息，以及根据具体的特征提取结果判断当前是否满足搬运任务的执行条件的规则，可以根据实际应用场景进行调整，本实施例此处不做具体限定。
132.该实施方式中，任意步骤均可基于实际应用场景的具体情况进行增减、改变顺序，也可基于现实情况插入其他算法提升检测效果，本实施例此处不做具体限定。
133.在另一种可能的实施方式中，可以通过第二拍摄装置采集目标库位的三维点云数据。
134.其中，第二拍摄装置可以是3d相机、3d激光雷达或者2d激光雷达等能够采集三维点云数据的拍摄装置。其中，2d激光雷达通过移动能够获得3d点云数据。
135.具体的，通过对第二拍摄装置所在的仓储机器人和/或搬运装置的位置的调整，以及对第二拍摄装置在仓储机器人上的安装位置的调整，使得目标库位在第二拍摄装置的视野范围内。
136.处理器通过控制第二拍摄装置开启，使得第二拍摄装置拍摄其视野范围内的图像，由于目标库位在第二拍摄装置的视野范围内，因此第二拍摄装置拍摄能够拍摄的图像数据中包括目标库位，也即是第二拍摄装置能够拍摄到目标库位的图像数据，并发送给处理器。
137.对于这种实施方式，该步骤中，处理器对接收到的三维点云数据进行采用处理，对采样后的点云进行降噪处理，提取点云中的目标区域，对点云进行聚类，通过聚类结果判断当前取/放货路径中是否有障碍物以及库位尺寸是否满足搬运任务的执行条件；提取目标区域中的物体(料箱)的状态信息，通过物体(料箱)的状态信息判断物体和库位是否满足搬运任务的执行条件。
138.示例性地，提取点云中的目标区域可以为依据点云的3d坐标是否落入预设的空间区域，来提取出3d坐标落入预设的空间区域的部分。其中，预设的空间区域可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
139.示例性地，若聚类后在目标区域中存在点云物体类别，则确定取/放货路径中存在障碍物，或库位尺寸不满足放货的要求。反之，若聚类后在目标区域中不存在点云物体类别，则确定取/放货路径中不存在障碍物，库位尺寸满足放货的要求。
140.示例性地，以物体为料箱为例，物体的状态信息可以包括以下至少一种：姿态，尺寸，平整度，纹理。
141.示例性地，以物体为料箱为例，通过物体(料箱)的状态信息判断物体和库位是否满足搬运任务的执行条件，包括以下至少一种：
142.根据料箱的状态信息，可以识别出第二拍摄装置视野内的料箱，如果可捕获到视野内的料箱的状态信息，则认为前方有料箱；如果视野内料箱状态为空，则认为前方无料箱，满足放货条件；如果料箱尺寸小于尺寸阈值，则认为满足可取货条件；如果料箱当前的摆放角度在料箱摆放角度的安全范围内，则认为满足可取货条件。
143.其中，尺寸阈值、料箱摆放角度的安全范围可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
144.该实施方式中，任意步骤均可基于实际应用场景的具体情况进行增减、改变顺序，也可基于现实情况插入其他算法提升检测效果，本实施例此处不做具体限定。
145.第三种可能的实施方式：通过激光雷达装置采集目标库位的二维点云数据，或者通过单点激光测距仪通过运动获得二维点云数据。
146.具体的，通过对激光雷达装置所在的仓储机器人和/或搬运装置的位置的调整，以及对激光雷达装置在仓储机器人上的安装位置的调整，使得目标库位在激光雷达装置的视野范围内。
147.处理器通过控制激光雷达装置开启，使得激光雷达装置扫描其视野范围内的图像，由于目标库位在激光雷达装置的视野范围内，因此激光雷达装置拍摄能够拍摄的图像
数据中包括目标库位，也即是激光雷达装置能够拍摄到目标库位的图像数据，并发送给处理器。
148.对于这种实施方式，该步骤中，处理器对接收到的二维点云数据进行采用处理，对采样后的点云进行降噪处理，提取点云中的目标区域，对点云进行聚类，通过聚类结果判断当前取/放货路径中是否有障碍物以及库位尺寸是否满足搬运任务的执行条件；提取目标区域中的物体(料箱)的状态信息，通过物体(料箱)的状态信息判断物体和库位是否满足搬运任务的执行条件。
149.示例性地，若聚类后在目标区域中存在点云物体类别，则确定取/放货路径中存在障碍物，或库位尺寸不满足放货的要求。反之，若聚类后在目标区域中不存在点云物体类别，则确定取/放货路径中不存在障碍物。另外通过计算库位边线长度、库位边线间所成的角度，根据边线长度和所成的角度是否符合预设长度阈值和角度阈值，来判断库位尺寸是否满足放货的要求。其中，长度阈值和角度阈值可以根据料箱的尺寸确定，本实施例此处不做具体限定。
150.示例性地，以物体为料箱为例，物体的状态信息可以包括以下至少一种：角度，尺寸，平整度。
151.示例性地，以物体为料箱为例，通过物体(料箱)的状态信息判断物体和库位是否满足搬运任务的执行条件，包括以下至少一种：
152.根据料箱的状态信息，可以识别出激光雷达装置视野内的料箱，如果可捕获到视野内的料箱的状态信息，则认为前方有料箱；如果视野内料箱状态为空，则认为前方无料箱，满足放货条件；如果料箱尺寸小于尺寸阈值，则认为满足可取货条件；如果料箱当前的摆放角度在料箱摆放角度的安全范围内，则认为满足可取货条件。其中，尺寸阈值、料箱摆放角度的安全范围可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
153.该实施方式中，任意步骤均可基于实际应用场景的具体情况进行增减、改变顺序，也可基于现实情况插入其他算法提升检测效果，本实施例此处不做具体限定。
154.步骤s205、若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务。
155.在上述步骤s204中，若确定满足搬运任务的执行条件，则说明在当前的条件下，搬运装置执行搬运任务不会发生危险，控制搬运装置执行搬运任务。例如，控制货叉伸出进行取货行为，从目标库位取出货箱；或者控制货叉伸出进行放货行为，将货箱放到目标库位上。
156.步骤s206、若确定不满足搬运任务的执行条件，则向服务器发送错误信息。
157.其中，错误信息包括以下至少一项：目标库位的状态信息、目标物体的状态信息、未满足的执行条件项。
158.例如，库位取/放货路径有障碍物、料箱姿态超出安全范围、料箱尺寸超出设定范围、料箱的破损程度超出安全取货的阈值等等。
159.在上述步骤s204中，若确定不满足搬运任务的执行条件，则说明在当前的条件下，搬运装置执行搬运任务可能会发生危险，不会控制搬运装置执行搬运任务，以避免发生危险。
160.进一步地，处理器可以向调度系统的服务器发送错误信息，以使调度系统引导人工完成仓储机器人工况的恢复。例如，调度系统可以向对应技术人员的终端设备发送信息，
告知工人如何完成工况恢复。
161.例如，如果当前的搬运任务为取货任务，可以告知工人移除库位中的障碍物、调整料箱的姿态、移除严重破损的料箱等等。如果当前的搬运任务为放货任务，可以告知工人修改当前库位的尺寸、移除库位中的障碍物、移除库位内料箱等。
162.步骤s207、根据服务器的调度指示，控制仓储机器人执行对应的错误处理行为。
163.本实施例中，若确定不满足搬运任务的执行条件，处理器还可以根据服务器的调度指示，控制仓储机器人执行对应的错误处理行为。
164.其中，错误处理行为是以下任意一种：
165.停留在当前位置，等待指示；移动到目标点；跳过当前的搬运任务，执行下一个搬运任务。
166.其中，停留在当前位置，等待指示：是指仓储机器人保持执行搬运任务(取货或者放货)前的姿态，并且在工况恢复前不执行任何动作，原地待命。
167.目标点是指地图中不干扰其他机器人行走的任意点。可选地，处理器可以控制仓储机器人移动到距离其当前位置最近的目标点，以提高效率。
168.跳过当前的搬运任务，执行下一个搬运任务：是指放弃获取当前料箱或者放弃存放当前料箱，进入下一个料箱的取/放货的流程。
169.本实施例的另一实施方式中，若确定不满足搬运任务的执行条件，则处理器向服务器发送错误信息之后，还可以根据预设错误处理策略，控制设备执行对应的错误处理行为。也就是可以预先为仓储机器人设定好错误处理策略配置，当执行搬运任务过程中出现错误之后，可以直接根据预设的错误处理策略，执行对应的错误处理行为。
170.本发明实施例通过仓储机器人上的图像采集装置采集目标库位的图像数据，以此作为判断搬运任务的执行条件是否满足的基础数据，无需在每个库位上设置传感器，可以灵活地应用于各种类型的仓储系统，提高了仓储机器人的通用性和灵活性，并且大大降低了造价成本和部署成本；进一步地，仓储机器人可以直接与应用于多种仓储系统，对相对于现有的库位中设置的声波雷达、重力测计等传感器，本实施例中通过图像采集装置(可以是2d相机、3d相机、3d激光雷达、2d激光雷达、单点激光测距仪等)采集目标库位的2d或者3d图像数据，基于这些图像数据对目标库位和目标料箱等进行检测，提高了检测精准度，从而可以更加准确地确定不满足搬运任务执行条件的情况，可以更好地避免危险情况发生，提高了仓储机器人的安全性。
171.实施例三
172.图3为本发明实施例三提供的仓储机器人的控制装置的结构示意图。本发明实施例提供的仓储机器人的控制装置可以执行仓储机器人的控制方法实施例提供的处理流程。如图3所示，该仓储机器人的控制装置30包括：控制模块301和数据获取模块302。
173.具体地，控制模块301用于响应于搬运任务的执行指令，控制仓储机器人向搬运任务的目标库位移动；
174.数据获取模块302用于通过图像采集装置采集目标库位的图像数据；
175.控制模块301还用于：根据目标库位的图像数据，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务。
176.本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，
具体功能此处不再赘述。
177.本发明实施例通过在执行搬运任务之前，通过图像采集装置采集目标库位的图像数据，根据目标库位的图像数据，确定当前是否满足搬运任务的执行条件，在确定不满足搬运任务的执行条件时，搬运装置执行搬运任务可能会发生危险，暂不执行搬运任务，以避免发生危险，提高了仓储机器人的安全性。
178.实施例四
179.在上述实施例三的基础上，本实施例中，控制模块还用于：
180.对目标库位的图像数据进行检测处理，确定目标库位和/或目标物体的状态信息；根据目标库位和/或目标物体的状态信息，若确定满足搬运任务的执行条件，则控制搬运装置执行搬运任务。
181.在一种可能的实施方式中，数据获取模块还用于：
182.当仓储机器人移动至目标库位对应的目标位置时，控制图像采集装置启动并采集目标库位的图像数据；或者，在仓储机器人向目标库位对应的目标位置移动过程中，控制图像采集装置启动并采集目标库位的图像数据。
183.在一种可能的实施方式中，图像采集装置设置于搬运装置上，控制模块还用于：
184.控制搬运装置对准目标库位。
185.在一种可能的实施方式中，目标库位的状态信息包括以下至少一项：
186.目标库位的取/放货路径上的障碍物信息；目标库位的尺寸信息；目标库位内是否放置有物体。
187.在一种可能的实施方式中，目标物体的状态信息包括以下至少一项：
188.目标物体的身份信息；目标物体的姿态信息；目标物体的尺寸信息；目标物体的破损程度信息；目标物体的形变程度信息。
189.在一种可能的实施方式中，若搬运任务为取货，则搬运任务的执行条件包括以下至少一项：
190.目标库位的取货路径上没有障碍物；目标物体的身份、姿态和尺寸满足取货条件；目标物体的破损程度在第一预设安全阈值范围内；目标物体的形变程度在第二预设安全阈值范围内。
191.在一种可能的实施方式中，若搬运任务为放货，则搬运任务的执行条件包括以下至少一项：
192.目标库位空闲；目标库位的尺寸满足放货条件；目标库位的放货路径上没有障碍物。
193.在一种可能的实施方式中，控制模块还用于：
194.根据目标库位的图像数据，若确定不满足搬运任务的执行条件，则向服务器发送错误信息，其中错误信息包括以下至少一项：目标库位的状态信息、目标物体的状态信息、未满足的执行条件项。
195.在一种可能的实施方式中，控制模块还用于：
196.根据服务器的调度指示，控制仓储机器人执行对应的错误处理行为。
197.在一种可能的实施方式中，错误处理行为是以下任意一种：
198.停留在当前位置，等待指示；移动到目标点；跳过当前的搬运任务，执行下一个搬
运任务。
199.在一种可能的实施方式中，数据获取模块还用于执行以下至少一项：
200.通过第一拍摄装置采集目标库位的二维图像数据；通过第二拍摄装置采集目标库位的三维点云数据；通过激光雷达装置采集目标库位的二维点云数据。
201.本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。
202.本发明实施例通过仓储机器人上的图像采集装置采集目标库位的图像数据，以此作为判断搬运任务的执行条件是否满足的基础数据，无需在每个库位上设置传感器，可以灵活地应用于各种类型的仓储系统，提高了仓储机器人的通用性和灵活性，并且大大降低了造价成本和部署成本；进一步地，仓储机器人可以直接与应用于多种仓储系统，对相对于现有的库位中设置的声波雷达、重力测计等传感器，本实施例中通过图像采集装置(可以是2d相机、3d相机、3d激光雷达、2d激光雷达、单点激光测距仪等)采集目标库位的2d或者3d图像数据，基于这些图像数据对目标库位和目标料箱等进行检测，提高了检测精准度，从而可以更加准确地确定不满足搬运任务执行条件的情况，可以更好地避免危险情况发生，提高了仓储机器人的安全性。
203.实施例五
204.图4为本发明实施例五提供的仓储机器人的结构示意图。如图4所示，该设备100包括：处理器1001，存储器1002，以及存储在存储器1002上并可在处理器1001上运行的计算机程序。
205.其中，处理器1001运行计算机程序时实现上述任一方法实施例提供的仓储机器人的控制方法。
206.本发明实施例通过仓储机器人上的图像采集装置采集目标库位的图像数据，以此作为判断搬运任务的执行条件是否满足的基础数据，无需在每个库位上设置传感器，可以灵活地应用于各种类型的仓储系统，提高了仓储机器人的通用性和灵活性，并且大大降低了造价成本和部署成本；进一步地，仓储机器人可以直接与应用于多种仓储系统，对相对于现有的库位中设置的声波雷达、重力测计等传感器，本实施例中通过图像采集装置(可以是2d相机、3d相机、3d激光雷达、2d激光雷达、单点激光测距仪等)采集目标库位的2d或者3d图像数据，基于这些图像数据对目标库位和目标料箱等进行检测，提高了检测精准度，从而可以更加准确地确定不满足搬运任务执行条件的情况，可以更好地避免危险情况发生，提高了仓储机器人的安全性。
207.另外，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例提供的仓储机器人的控制方法。
208.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
209.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。