基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

专利主权项内容

1.一种基于多源传感器融合的路面缺陷检测方法，其特征在于，包括：获取激光点云数据和定位信息，包括通过3D激光雷达获取激光点云数据，以及，获取车轮编码器采集的编码器数据和IMU传感器获取的IMU数据；利用所述编码器数据获取速度，利用所述IMU数据获取偏航角、角速度和加速度；融合所述速度、偏航角、角速度和加速度，得到融合信息；对所述融合信息进行扩展卡尔曼滤波，得到定位信息；基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；其中，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；将小车坐标系下的点云数据转换到世界坐标系下；将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据；初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域；利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息；其中，所述利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。