1.本发明属于城轨列车主动障碍物探测领域，具体涉及一种支持动态模式切换的智能主动障碍物识别防护方法。


背景技术：

2.fao系统是解决高速度、高密度城市轨道交通系统的安全、节能、高效、灵活运输等问题的重要手段。该系统自动化程度高，系统运行实现了无人值守，但更加容易受到异物侵入线路及线路突发事件的影响。fao系统为实现高程度自动化及无人值守，亟需解决障碍物主动探测的技术难题，以提高对于线路突发事件的应对能力，确保运行安全。iec62267(自动运行城市轨道交通
‑
安全性要求)对全自动驾驶城市轨道交通列车进行了规范性要求：dto和fao模式必须具备预防撞击线路障碍物和预防撞击线路行人的功能。
3.传统信号系统中，列车仅靠车头下方的防撞杆实现碰撞后的被动制动，且无法检测列车行驶前方的遗落设备、人员、倒伏树木等可能会出现在轨道范围内的障碍物。近年来人工智能及自动驾驶技术的发展给该类问题的解决提供了新的手段，为主动障碍物探测系统在轨道交通领域的应用提供了必要的技术支撑。
4.车辆主动障碍物探测在欧美等国家较早就取得了一定的发展，上世纪七十年代伴随着新干线的运营，日本也快速投入铁路智能化监测的研究中并取得了大量的研究成果。在此之后，世界各国均开始关注并进行了多方面的探索，其中以机器视觉和激光雷达技术的研究最为广泛。
5.美国沃尔皮运输系统中心提出了铁路异物入侵自动监测系统性能指标，其中提出了多种监测传感器数据融合的入侵监测系统，系统利用运动监测模块监测运动目标，通过视频模块采集图像信息，如果运动目标被监测到，则工作人员通过观察图像信息来判断运动目标是否侵入限界，若侵入限界，则发出警报。
6.德国联邦教育和研究部的m.ruder等人构建了一个基于激光雷达和3台摄像机相融合的机车前方轨道障碍物检测系统。该系统依据多信息融合技术得到前方环境内场景物体的时空运动参数，并以此实现目标检测和追踪，系统在120km/h的速度下，能检测到前方200m处运动的可疑目标。德国学者mockels.等人同样采用激光雷达和视觉相融合的方式，但将检测数据发送线路数据中心通过数据库对比来实现障碍的识别，可完成前方障碍物的探测。
7.目前，国内在以视觉为传感器的侵限障碍物检测方面的主要研究成果包括北京交通大学同磊、朱力强等人提出了一种基于移动车载摄像机轨间异物检测方法，该方法通过支持向量机来对可疑小异物区域进行分类和辨识，但系统对检测范围未进行标定说明。
8.鲍溪清等人开发了一种调车机车障碍物自动检测识别技术，提出基于距离相关的变n值区域采样目标检测方法和距离无关的自相关目标识别方法来协助值乘人员判别危险，但其以结构匹配为依据，难以适应随机异物的检测。
9.西南交通大学李东明等人采用单个黑白摄像机获取的视频图像序列，通过光流法
检测轨道中存在的运动路障，但检测实时性不高。
10.北京交通大学超木日力格等提出了机车司机视野扩展系统，通过特征提取和特征匹配的算法以及光流法分别实现对静止和动态路轨障碍物目标的检测和跟踪，对路轨障碍物目标检测的准确率为87.5％，但检测窗以轨道下边缘1/3为界，检测位置选取有待优化。
11.北京交通大学靳尚宇等以接触式板弹簧作为检测障碍物碰撞的感知期间，但车载接触式系统无法避免碰撞情况的发生。
12.而中国铁道科学研究院研发了基于激光摄像和惯性测量相融合的gj
‑
6型轨道安全检测车，检测速度400km/h，但检测不能高于固定水平线。
13.目前，与本发明最相近似的实现方案是国内成都极客通科技有限公司研制的列车智能障碍物检测系统。该系统采用摄像机与激光雷达并用的方案，并通过添加轨旁摄像机，实现了对轨道障碍物的防护及自主控制，该系统已通过sil2级安全认证。但受限于激光雷达的性能，在雨雪天气下该系统辨识精度有所下降。
14.专利申请号201910023491.4，发明名称为一种多融合技术的列车障碍物检测方法的专利，公开了一种多融合技术的列车障碍物检测方法，该发明涉及通过检测设备获取列车运行参数，包括列车时速、列车倾斜角度以及列车位置信息，运用了多种传感器。但工作模式单一，无法充分发挥不同外部条件下多种传感器融合的优势。
15.专利申请号200810042431.9，发明名称为高速铁路车载自动避障系统及避障方法的专利，公开了一种高速铁路的车载自动避障系统及避障方法，它用于高速行驶列车的自动避障。该发明未涉及根据列车当前速度及位置进行的动态计算，无法实现多种障碍物探测模式及多种报警措施。
16.现有技术方案的缺点包括：
17.(1)障碍物探测模式单一，无法完全发挥多传感器分模式进行探测的技术优势；
18.(2)无法根据传感器性能实时调整障碍物探测模式；
19.(3)在光照条件恶劣或雨雪天气下系统辨识精度下降；
20.(4)报警措施较为单一。


技术实现要素：

21.(一)要解决的技术问题
22.本发明要解决的技术问题是如何提供一种支持动态模式切换的智能主动障碍物识别防护方法，以解决上述现有技术的缺点。
23.(二)技术方案
24.为了解决上述技术问题，本发明提出一种支持动态模式切换的智能主动障碍物识别防护方法，该方法应用于障碍物检测系统，该系统包括判别系统，远焦摄像头，近焦摄像头，激光雷达，4d相控阵毫米波雷达及各摄像头和雷达对应的传感器管理模块，该方法包括如下步骤：
25.步骤1：判别系统分别查询远焦摄像头，近焦摄像头及激光雷达当前的探测距离；
26.步骤2：计算判别系统工作模式：判别系统分为视觉识别模式及雷达点云识别模式；判别系统根据当前列车速度计算必要探测距离s，并获得当前远焦摄像头实际探测距离s
f
及激光雷达实际探测距离s
l
；若s
f
或s
l
大于s，则系统判断当前能见度良好，采用视觉识别
模式：即采信远/近焦摄像头及激光雷达的探测结果，通过深度卷积神经网络学习算法进行障碍物识别；若s
f
及s
l
均小于s，则系统判断当前能见度差，采用雷达点云识别模式：即不采信摄像头及激光雷达数据，使用4d相控阵毫米波雷达传递的点云数据，以近焦摄像头数据作为辅助，通过计算机图像处理及三维建模算法进行物体识别；
27.步骤3：判别系统根据传感器探测结果判断报警方式。
28.进一步地，远焦摄像头、近焦摄像头和激光雷达安装在列车车头正前方位置，4d相控阵毫米波雷达安装在列车车头前方下部，传感器管理模块安装在驾驶室内。
29.进一步地，远、近焦摄像头及激光雷达通过千兆以太网与对应传感器管理模块进行通信；4d相控阵毫米波雷达通过can与对应传感器管理模块进行通信。
30.进一步地，所述步骤1具体包括：判别系统与远焦摄像头，近焦摄像头及激光雷达管理模块通过以太网通信，周期性向各传感器管理模块发送实际探测距离查询帧；各传感器管理模块收到查询帧后，将远/近焦摄像头图像与包含位置信息的激光雷达点云数据进行融合，将图像内容与雷达点云数据进行匹配，由此获得远/近摄像头图像中的物体相对传感器的距离，即系统根据融合结果分别计算各传感器当前探测距离，并向判别系统进行反馈各传感器探测距离。
31.进一步地，所述步骤2中判别系统根据当前列车速度计算必要探测距离s具体包括：
[0032][0033]
其中，v为当前列车速度，eb(
·
)为ieee1474安全制动模型中列车顶棚速度与紧急制动距离间的映射函数，par为ieee1474安全制动模型中定义的列车牵引制动参数，为制动安全裕量，为探测安全裕量。
[0034]
进一步地，所述步骤3具体包括：判别系统通过以太网获取各传感器辨识的障碍物信息，包括障碍物尺寸，是否侵入限界，当前障碍物距离s
k
及直向相对速度δv；判别系统根据上述信息计算免碰撞安全距离，根据计算结构判断是否输出报警信息。
[0035]
进一步地，若传感器报告障碍物侵入限界，且尺寸大于50cm
×
50cm
×
50cm，则进行报警判断，设远焦摄像头，近焦摄像头，激光雷达及相控阵雷达报告的障碍物距离分别为激光雷达测定障碍物相对速度免碰撞安全距离定义为：
[0036]
s
s
＝s
k
‑
eb(δv,par)
[0037]
其中，eb(
·
)为ieee1474安全制动模型中列车顶棚速度与紧急制动距离间的映射函数，par为ieee1474安全制动模型中定义的列车牵引制动参数；
[0038][0039][0040]
v
max
为列车最高运行速度。
[0041]
进一步地，如果δv＞v，此时列车与障碍物相向运行，应立即输出报警信息：鸣笛驱离并提示立即停车。
[0042]
进一步地，如果δv∈(0,v]，此时列车与障碍物同向运行，则免碰撞安全距离
[0043][0044]
则列车可通过减速避免碰撞，应输出报警信息：鸣笛驱离并提示减速；若免碰撞安全距离
[0045][0046]
则列车紧急制动不保证避免碰撞，应输出报警信息：鸣笛驱离并提示立即停车。
[0047]
进一步地，如果δv≤0，此时列车于障碍物同向运行，且障碍物正在远离列车，此时定义eb(δv,par)＝0，免碰撞安全距离化简为
[0048]
s
s
＝s
k
，
[0049]
若
[0050][0051]
则障碍物在列车安全距离外，不输出报警信息；若
[0052][0053]
则障碍物在列车安全距离以内，应输出报警信息：鸣笛驱离。
[0054]
(三)有益效果
[0055]
本发明提出一种支持动态模式切换的智能主动障碍物识别防护方法，本发明基于当前列车速度及传感器探测距离，动态计算并采用不同识别模式，在不同能见度，不同探测距离及车速的情况下可进行实时切换。其中视觉识别模式依靠传统的摄像头辅助激光雷达的探测方式，可在正常环境下保证高辨识准确度；在此基础上，通过创新引入雷达点云识别模式，使系统在低可见度，如雨雪雾天依然保证较长探测距离及高辨识准确度。
[0056]
系统通过引入多种报警方式，可以在在保证正确输出报警信息的同时，提高系统可用性。
[0057]
本发明不涉及远/近焦摄像头，激光雷达，及4d相控阵毫米波雷达的信号采集过程；不涉及远/近焦摄像头实际探测距离计算方法；不涉及信号及图像识别算法。
附图说明
[0058]
图1为本发明系统结构图；
[0059]
图2为紧急制动速度
‑
制动距离表。
具体实施方式
[0060]
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
[0061]
一、术语解释
[0062]
全自动运行系统fully automatic operation(fao)
[0063]
全自动运行系统是基于现代计算机、通信、控制和系统集成等技术实现列车运行全过程自动化的新一代城市轨道交通系统。全自动运行系统相比现有城市轨道交通cbtc系统，引入了自动控制、优化控制、人因工程等领域的最新技术，进一步提升自动化程度。全自动运行系统具有更安全、更高效、更节能、更经济、更高服务水平的突出优点，已成为城市轨
道交通技术的发展方向。
[0064]
毫米波雷达
[0065]
毫米波雷达工作在毫米波段。通常毫米波是指30～300ghz频段(波长为1～10mm)。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。
[0066]
针对上述方案缺点，本发明设计了一种融合多种感应器探测结果识别障碍物并进行报警提示的方法：通过实时获取列车当前速度及传感器辨识力，动态计算并调整探测模式。引入独立的雷达点云识别模式，对光照条件恶劣或雨雪天气环境进行特殊处理，提供系统辨识准确度。同时根据探测结果，选择多种报警措施，在保证安全的前提下，提高车载系统可用性。
[0067]
现有障碍物检测系统主要基于机器视觉和激光雷达实现，因此在能见度较差的情况下辨识精度明显下降。本发明要解决的技术问题是，提供一种根据能见度综合使用4d相控阵毫米波雷达，激光雷达与机器视觉辨识结果的方法，动态计算当前是否向车辆及司机输出报警信息。
[0068]
本障碍物检测系统包括判别系统，远焦摄像头，近焦摄像头，激光雷达，4d相控阵毫米波雷达及各摄像头和雷达对应的传感器管理模块。其中，远焦摄像头、近焦摄像头、激光雷达安装在列车车头正前方位置，4d相控阵毫米波雷达安装在列车车头前方下部，传感器管理模块安装在驾驶室内。障碍物检测系统结构图参见附图1。
[0069]
步骤1：判别系统分别查询远焦摄像头，近焦摄像头及激光雷达当前的探测距离。
[0070]
步骤2：计算判别系统工作模式：判别系统分为视觉识别模式及雷达点云识别模式。判别系统根据当前列车速度计算必要探测距离(s)，并获得当前远焦摄像头实际探测距离(s
f
)及激光雷达实际探测距离(s
l
)。若s
f
或s
l
大于s，则系统判断当前能见度良好，采用视觉识别模式：即采信远/近焦摄像头及激光雷达的探测结果，通过深度卷积神经网络学习算法进行障碍物识别。若s
f
及s
l
均小于s，则系统判断当前能见度差，采用雷达点云识别模式：即不采信摄像头及激光雷达数据，使用4d相控阵毫米波雷达传递的点云数据，以近焦摄像头数据作为辅助，通过计算机图像处理及三维建模算法进行物体识别。
[0071]
步骤3：判别系统根据传感器探测结果判断报警方式。
[0072]
与现有技术相比，本发明的有益效果是：
[0073]
本发明基于当前列车速度及传感器探测距离，动态计算并采用不同识别模式，在不同能见度，不同探测距离及车速的情况下可进行实时切换。其中视觉识别模式依靠传统的摄像头辅助激光雷达的探测方式，可在正常环境下保证高辨识准确度；在此基础上，通过创新引入雷达点云识别模式，使系统在低可见度，如雨雪雾天依然保证较长探测距离及高辨识准确度。
[0074]
系统通过引入多种报警方式，可以在在保证正确输出报警信息的同时，提高系统可用性。
[0075]
本发明不涉及远/近焦摄像头，激光雷达，及4d相控阵毫米波雷达的信号采集过程；不涉及远/近焦摄像头实际探测距离计算方法；不涉及信号及图像识别算法。
[0076]
下面对本发明具体实施方式进行进一步解释，但并不以此作为对本技术专利要求保护范围的限定。
[0077]
步骤1：判别系统分别查询远焦摄像头，近焦摄像头及激光雷达当前的探测距离。
[0078]
远、近焦摄像头及激光雷达通过千兆以太网与对应传感器管理模块进行通信；4d相控阵毫米波雷达通过can与对应传感器管理模块进行通信。
[0079]
判别系统与远焦摄像头，近焦摄像头及激光雷达管理模块通过以太网通信，周期性向各传感器管理模块发送实际探测距离查询帧。各传感器管理模块收到查询帧后，将远/近焦摄像头图像与激光雷达点云数据(包含位置信息)进行融合，将图像内容与雷达点云数据进行匹配，由此获得远/近摄像头图像中的物体相对传感器的距离，即系统根据融合结果分别计算各传感器当前探测距离，并向判别系统进行反馈各传感器探测距离。
[0080]
步骤2：计算判别系统工作模式：判别系统分为主用工作模式及备用工作模式。判别系统根据当前列车速度计算必要探测距离，若判断当前远焦摄像头或激光雷达实际探测距离大于必要探测距离，则采用视觉识别模式：采信远/近焦摄像头及激光雷达的探测结果；当判别系统判断当前远焦摄像头及激光雷达实际探测距离小于必要探测距离时，采用雷达点云识别模式：采信4d相控阵毫米波雷达的探测结果。
[0081]
设步骤1中判别系统获得远焦摄像头实际探测距离为s
f
，近焦摄像头实际探测距离为s
n
，激光雷达实际探测距离为s
l
。判别系统计算当前必要探测距离s
[0082][0083]
其中，v为当前列车速度，eb(.)为ieee1474安全制动模型中列车顶棚速度与紧急制动距离间的映射函数，par为ieee1474安全制动模型中定义的列车牵引制动参数，对应模型参见附录2：紧急制动速度
‑
制动距离表，为制动安全裕量(工程可配置)，为探测安全裕量(工程可配置)。注意本发明不涉及ieee1474安全制动模型计算方法及紧急制动速度
‑
制动距离表生成方法。
[0084]
若s
f
≥s或s
l
≥s，则判别系统处于视觉识别模式，使用远/近焦摄像头，及激光雷达的探测结果；若s
f
＜s且s
l
＜s，则判别系统处于雷达点云识别模式，使用近焦摄像头及4d相控阵毫米波雷达的探测结果。
[0085]
步骤3：设计碰撞防护算法，根据传感器探测结果判断输出报警信息的方式。
[0086]
判别系统通过以太网获取各传感器辨识的障碍物信息，包括障碍物尺寸，是否侵入限界，当前障碍物距离s
k
及直向相对速度δv。判别系统根据上述信息计算免碰撞安全距离，根据计算结构判断是否输出报警信息。报警信息包括：
[0087]
1.是否鸣笛驱离；
[0088]
2.司机措施，包括：立即停车，提示减速，无动作。
[0089]
若传感器报告障碍物侵入限界，且尺寸大于50cm
×
50cm
×
50cm(工程可配置)，则进行报警判断，设远焦摄像头，近焦摄像头，激光雷达及相控阵雷达报告的障碍物距离分别为(非0)，激光雷达测定障碍物相对速度免碰撞安全距离定义为：
[0090]
s
s
＝s
k
‑
eb(δv,par)
[0091]
其中，eb(
·
)为ieee1474安全制动模型中列车顶棚速度与紧急制动距离间的映射函数，par为ieee1474安全制动模型中定义的列车牵引制动参数。
[0092][0093][0094]
v
max
为列车最高运行速度。
[0095]
(1)δv＞v
[0096]
此时列车与障碍物相向运行，应立即输出报警信息：鸣笛驱离并提示立即停车。
[0097]
(2)δv∈(0,v]
[0098]
此时列车与障碍物同向运行，则免碰撞安全距离
[0099][0100]
则列车可通过减速避免碰撞，应输出报警信息：鸣笛驱离并提示减速。若免碰撞安全距离
[0101][0102]
则列车紧急制动不保证避免碰撞，应输出报警信息：鸣笛驱离并提示立即停车。
[0103]
(3)δv≤0
[0104]
此时列车于障碍物同向运行，且障碍物正在远离列车，此时定义eb(δv,par)＝0，免碰撞安全距离化简为
[0105]
s
s
＝s
k
，
[0106]
若
[0107][0108]
则障碍物在列车安全距离外，不输出报警信息。若
[0109][0110]
则障碍物在列车安全距离以内，应输出报警信息：鸣笛驱离。
[0111]
实施例1
[0112]
当前列车速度v＝60km/h，制动安全裕量配置为15m，探测安全余量配置为10m。远焦摄像头实际探测距离为s
f
＝120m，近焦摄像头实际探测距离为s
n
＝50m，激光雷达实际探测距离为s
l
＝280m，par取定ieee1474标准参数，对应附录2：紧急制动速度
‑
制动距离表，坡度为0。
[0113]
判别系统计算当前必要探测距离
[0114][0115]
有s
l
＞s，故判别系统工作于视觉识别模式。若存在障碍物，则各传感器分别向判别系统传输障碍物信息，设远焦摄像头，近焦摄像头，激光雷达及相控阵雷达报告的障碍物距离分别为相对速度δv＝20km/h。由于判别系统工作于视觉识别模式，因此使用远焦摄像头，近焦摄像头及激光雷达的距离信息，其中近焦摄像头给出障碍物距离为+∞，此时近焦摄像头应同时报告判别系统“未发现障碍物”。通常情况下，激光雷达给出的位置及速度信息较为准确，但在该系统中处理偏向
安全侧，因此取定：
[0116][0117]
相对速度δv＝20km/h，δv∈(0,v)，根据附录2：紧急制动速度
‑
制动距离表计算
[0118][0119]
则系统判断列车可通过减速避免碰撞，输出报警信息：鸣笛驱离并提示司机减速。
[0120]
实施例2
[0121]
当前列车速度v＝60km/h，v
max
＝80km/h,制动安全裕量配置为15m，探测安全余量配置为10m,par取定ieee1474标准参数，坡度为0。远焦摄像头实际探测距离为s
f
＝100m，近焦摄像头实际探测距离为s
n
＝50m，激光雷达实际探测距离为s
l
＝150m
[0122]
判别系统计算当前必要探测距离
[0123][0124]
有s
l
＜s,s
f
＜s，故判别系统认为此时能见度差，工作于雷达点云识别模式。若存在障碍物，则各传感器分别向判别系统传输障碍物信息，设远焦摄像头，近焦摄像头，激光雷达及相控阵雷达报告的障碍物距离分别为无相对速度信息。由于判别系统工作于雷达点云识别模式，因此使用近焦摄像头及4d相控阵毫米波雷达的距离信息。
[0125][0126]
因激光雷达无法正常检测障碍物相对速度，默认δv＝v
max
＝80km/h，δv＞v，因此列车与障碍物相向运行，应立即输出报警信息：鸣笛驱离并提示立即停车。
[0127]
本发明的关键点在于：
[0128]
1.工作模式判别算法，包括：
[0129]
(1)必要探测距离计算方法；
[0130]
(2)采用视觉识别模式的计算判断方法；
[0131]
(3)采用雷达点云识别模式的计算判断方法。
[0132]
2.碰撞防护算法(基于系统工作模式，列车当前速度，障碍物相对列车速度，障碍物距离)。
[0133]
(1)基于当前识别模式的障碍物距离计算方法；
[0134]
(2)免碰撞安全距离计算方法；
[0135]
(3)根据当前免碰撞安全距离选用不同报警方式的方法。包括是否鸣笛驱离，以及建议司机采取措施：立即停车，减速，无动作。
[0136]
与现有技术相比，本发明的优点包括：
[0137]
1.通过切换视觉识别/雷达点云识别模式，系统分别采用不同的传感器数据拟合方法，在不影响正常条件下探测精度的同时，提高在在光照条件恶劣或雨雪天气下的探测精度；
[0138]
2.通过碰撞防护算法实时计算生成多种形式的报警信息，在保证安全的前提下，提高车载系统可用性。
[0139]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。