1.本发明涉及智能汽车技术领域，尤其涉及一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法。


背景技术：

2.随着智能驾驶技术的发展，基于人机共驾技术开发的智能汽车在高速路、城市快速路等简单场景下得到了成功应用。然而，当前智能汽车的换道决策方法没有考虑驾驶风格因素，不能很好的识别和处理鲁莽切入、随意变道等危险驾驶行为，给驾乘人员带来安全隐患。如何在人机共驾的变道场景中考虑到自车的驾驶风格，并在决策时融入周边车辆的驾驶风格，以做出安全合理的换道决策，是当前亟待解决的关键问题。
3.随着激光雷达和摄像头等传感器广泛应用，以及驾驶环境感知方法的快速发展，智能汽车已经能够获取自车和周围车辆的行驶信息，从而得到行驶信息的多元时间序列。递归图是分析时间序列周期性、混沌性以及非平稳性的一个重要方法，通过递归图方法可以将时间序列重构成二维图片，进一步揭示时间序列的内部结构，从而得到驾驶行为相似性、关联性和预测性的先验知识。当前，卷积神经网络在图像分类、特征提取等方面表现优异，大大提高了图像分类的准确性，实现了特征提取的有效封装。本发明融合使用自车与周围车辆行驶参数的时间序列，基于递归图和卷积神经网络，实现驾驶风格的自动识别，进一步建立了换道决策方法，用于产生安全合理的换道策略，以更好的应用于人机共驾的智能汽车。


技术实现要素：

4.为解决上述技术难题，本发明提出一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法，包括驾驶风格特征图的生成，基于特征图的驾驶风格分类以及成本函数换道决策方法。首先，针对不同驾驶员操作车辆的习惯性差异，引入驾驶风格作为综合判定依据。通过解析自车can协议获取加速踏板、制动踏板以及方向盘转角信号，通过车载相机以及激光雷达获取当前车辆的驾驶环境和周围车辆的行驶信息。其次，将数据采样至同一频率，并进行归一化处理，接着将数据输入递归图生成算法，生成自车和周围车辆的递归图。然后，将递归图输入卷积神经网络，得到每一车辆对应的驾驶风格，所述驾驶风格分为三类：激进型aggressive、普通型normal以及保守型conservative。最后，引入决策成本函数，综合考虑自车以及周围车辆的驾驶风格因素，通过调整所述决策成本函数的权重系数的方式，建立换道决策方法，使得换道决策结果具有倾向性，贴合自车的驾驶风格，实现人性化和安全合理的驾驶操作。
5.本发明基于递归图和卷积神经网络的驾驶风格识别模型的技术方案是：包括自车参数测量模块、环境数据测量模块、数据处理模块、特征递归图生成模块、驾驶风格识别模块。
6.所述自车参数测量模块，是从车辆的can总线中获取高低电平数据，通过协议解析得到自车的行驶信息。所述自车的行驶信息包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb，并将数据传送给数据处理模块。
7.所述环境数据测量模块，是从外接传感器(如：激光雷达、车载摄像头、毫米波雷达)中获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc，以及周围车辆的速度加速度车道线信息并将数据传送给数据处理模块。
8.所述数据处理模块，是接收自车参数测量模块和环境数据测量模块的数据，通过降采样和归一化方法，构建当前时刻下自车和周围车辆的行驶特征参数集合c，并将数据传送给特征递归图生成模块。
9.所述特征递归图生成模块，是将来自数据处理模块的数据集合c生成递归图。首先对数据进行滑动窗口处理，再将其输入递归图生成算法，最后将生成的递归图传送给驾驶风格识别模块。
10.所述驾驶风格识别模块，是通过卷积神经网络cnn进行对输入的递归图进行特征提取、池化、全连接操作，输出递归图所代表的驾驶风格类别，所述驾驶风格分为三类：激进型aggressive、普通型normal和保守型conservative。
11.基于上述驾驶风格识别模型，本发明还提出了一种换道决策模型，除包含上述模块之外，该换道决策模型还包括换道决策模块；
12.所述换道决策模块，是对目标车道进行选择。首先在换道决策模块中预设三组权重系数不同的决策成本函数，用以代表三类驾驶风格，再将所有车辆的驾驶风格与决策成本函数送到全连接神经网络fc，最后得到换道决策结果。所述全连接神经网络fc，其权重通过使用从highd数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率
pe
、车辆加速度
va
、速度增益
sg
和驾驶安全ds之间取得平衡。
13.所述决策成本函数的权重系数，是在决策成本函数的各项组成之前所乘的系数，通过匹配不同的权重系数使得决策成本函数呈现出不同的侧重方向，从而在换道决策时体现出不同的驾驶风格。
14.基于上述换道决策模型，本发明还提出了一种换道决策方法，采用的技术方案包括以下步骤：
15.步骤1)：使用canoe设备，通过can协议解析自车行驶数据，获得以下参数：行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb；
16.步骤2)：通过激光雷达、摄像头和毫米波雷达获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc；周围车辆的速度加速度车道线信息通过提取出的自车以及周边车辆行驶参数，构建出当前自车行驶的周围环境信息，确定自车与周围车辆的相对距离、相对速度。
17.步骤3)：对收集到的自车和环境数据进行处理，具体步骤为：
18.(a)将采集到的方向盘转向δ0数据中的1值替换成-1、0值替换成1，并与转角数据δd相乘，得到方向盘转角δ。使得转角δ在左转向时为负值，右转向时为正值。自车行驶速度u、加速踏板开度γa和制动主缸压力pb传输频率为100hz方向盘转角δ的传输频率为50hz，摄像头的数据为25hz，数据传输的频率不统一。因此将100hz的数据统一采样至50hz，将25hz的
数据插值到50hz，方便进行后续的处理。
19.(b)对采集到的数据进行归一化。将行驶速度u、除以道路最高限速120km/h；将加速度除以重力加速度9.8m/s2；将制动主缸压力pb除以该车紧急制动时的制动主缸压力数值p
max
；将方向盘转角δ除以该车方向盘从最左位置转到最右位置所经历的角度；将车道信息l按道路信息转换成0.25、0.5、0.75中的数值。构建当前时刻下自车和周围车辆的行驶特征参数集合c。
20.步骤4)：构造数据特征模型，用于描述数据的驾驶特征风格。每5s从参数集合c中提取时长60s的参数矩阵将输入到递归图生成模块中。递归图生成模块从数据中提取维度m与时间延迟τ，将参数矩阵转换成图像pj，实现将数据流转换成递归图。
21.步骤5)：采用卷积神经网络cnn对生成的图片进行特征提取、池化、全连接操作，输出递归图所代表的驾驶风格类别，所述驾驶风格分为三类：激进型aggressive、普通型normal和保守型conservative。
22.步骤6)：设置决策成本函数k。所述决策成本函数k为当前换道决策的成本，由出行效率
pe
、车辆加速度
va
、速度增益
sg
(反应执行决策后的速度变化幅度)以及驾驶安全ds组成。根据自车的驾驶风格，给决策成本函数匹配上不同的权重系数j
pe
、j
va
、j
sg
、j
ds
，在决策时体现出不同的风格。
23.步骤7)：将采集到的自车与周围车辆的驾驶风格、行驶数据以及决策的成本函数送入全连接神经网络fc中。所述全连接神经网络fc，其权重通过使用从highd数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率
pe
、车辆加速度
va
、速度增益
sg
和驾驶安全ds之间取得平衡。最后由网络输出换道的目标车道，决策贴合自车的驾驶风格，实现人性化和安全合理的驾驶操作。
24.本发明的有益效果为：
25.1.本发明提出的自车与周围车辆的行驶数据采集与获取方法，融合了自车的底层can数据以及车载传感器所采集到的数据，同时在数据处理时将数据统一采样至50hz，方便了后期处理。进行数据融合能够有效避免单一数据类型带来的检测精度下降问题，为驾驶风格识别模型以及换道决策模型建立数据基础。
26.2.本发明提出的驾驶风格检测模型，使用递归图将数据转换成图片格式，方便将多种数据融合到一起，同时可以根据驾驶环境实时更新数据，识别得到当前时刻下最新的驾驶风格数据，避免了突发的交通行为造成的驾驶风格误判。
27.3.本发明在识别出自车驾驶风格特征的同时，还可以通过车载传感器采集到的周围车辆的行驶数据，检测出对应车辆的风格信息，不需要进行车辆间通讯等复杂的操作，成本较低。同时还可以为自车的后续决策提供周围环境信息，提高决策的正确性。
28.4.本发明所提出的换道模型，可以根据当前自车的驾驶风格调整成本函数的权重系数，实现对驾驶风格的模拟，换道模型更加人性化。
附图说明
29.图1是驾驶风格识别模型及换道决策方法框架图
30.图2是车辆行驶数据获取流程图
31.图3是驾驶风格特征识别结构流程图
32.图4是换道决策模块图
具体实施方式
33.下面结合附图对本发明的具体实施作进一步说明。
34.如图1所示，是本发明框架图。自车参数测量模块和环境数据测量模块将获取的数据传输到数据处理模块。数据处理模块对数据进行处理，生成数据集合c并传送给特征递归图生成模块。特征递归图生成模块将数据集合c转换成递归图，并由接下来的驾驶风格识别模块识别出驾驶风格。换道决策模块接受驾驶风格识别模块识别出的风格特征，并结合自车参数测量模块和环境数据测量模块获取的数据，决策换道的目标车道。
35.如图2所示，是车辆行驶数据获取流程，由自车参数测量模块和环境数据测量模块构成。首先，通过自车的can总线解析出自车行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb信号。通过摄像头、激光雷达和毫米波雷达感知获得自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc，周围车辆的速度加速度车道线信息使用上述数据构建当前时刻下自车和周围车辆的行驶特征参数集合c。
36.c＝(y0,env,y1,y2,y3，
…
)，其中y0为自车的行驶信息，包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb信号。env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc。y1,y2,y3,
…
为周围车辆的行驶信息，包括周围车辆的速度加速度车道线信息通过摄像头与激光雷达的算法感知得到，受限于当前的算力以及成本与成本因素，信号频率为25hz。
37.如图3所示，驾驶风格特征识别结构流程，由数据处理模块、特征递归图生成模块和驾驶风格识别模块构成。
38.首先，由于车can的一般通讯频率为100hz与50hz，而摄像头与毫米波雷达、激光雷达等的采样频率为25hz，因此通过插帧的方式将25hz的数据扩充为50hz，将100hz的数据降采样为50hz，保持风格识别精度的同时降低生成的递归图尺寸，减轻运算压力。
39.接着，将已采样至同一频率的行驶数据采用滑动窗口的方式分成每t
t
＝60s，ts＝5s的参数矩阵i对应不同信号y0,y1,y2,y3,env，
…
，j对应不同时刻下的数据，不同种类的数据将分别输入到递归图生成模块中。
40.再由递归图生成算法将转换成递归图，具体流程如下：中每一项数据为时间序列(x1,x2,...,xn)，将其进行相空间重构，从中提取到的轨迹为：
[0041][0042]
其中：m是轨迹的维数，τ是时延，本发明中设为60s。递归图r是轨迹之间的成对距离，计算如下：
[0043]
[0044]
其中：θ为heaviside函数，ε为阈值。
[0045]
如果r
i,j
＝1，则递归图在图片坐标(i,j)处放置一个有色点，反之为白色。将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像。
[0046]
将每组数据对应rgb图像中的一个信号通道，由于递归图沿对角线对称，因此可以将重复的部分删除，一张图片可以使用6组数据，多余的数据再生成图片并与原图片进行拼接。
[0047]
最后由驾驶风格识别模块进行风格识别。将生成的递归图通过卷积神经网络cnn进行特征提取、池化等操作，获得不同图片中相似的特征，得到当数据所属车辆的驾驶风格。所述卷积神经网络cnn，包含2个卷积层，其中第一个包含16个大小为4的内核，第二个包含32个大小为5的内核。有4个全连接层，其中第一层为50个神经元，第二层为128个神经元，第三层为32个，最后一层为3个，输出对应的驾驶风格。网络训练时选择的学习率为0.001，批处理大小为16的adam优化器来训练模型，使用交叉熵函数作为损失函数。通过将不同车辆的数据输入到训练完的网络中，即可得到当前时刻下自车的周围车辆的驾驶风格，从分类的准确性与速度相平衡来看。分成三类激进型aggressive、普通型normal和保守型conservative。
[0048]
如图4所示，为换道决策模块。首先，神经网络fc的输入为车辆的驾驶风格和决策成本函数。决策成本函数k使用行驶参数作为输入，包括行驶速度u、与周围车辆的距离di、自车行驶的车道线li、偏航角θ、与前车的碰撞时间ttc，以及周围车辆的速度加速度车道线信息决策成本函数k为当前换道的成本，主要是四个方面，出行效率、车辆加速度、速度增益(反应执行决策后的速度变化幅度)以及行驶安全性。
[0049]
k＝j
pekpe
+j
vakva
+j
sgksg
+j
dskds
[0050]
其中k为总的决策成本函数，k
pe
、k
va
、k
sg
、k
ds
分别代表出行效率、车辆加速度、速度增益和驾驶安全的成本函数。j
pe
、j
va
、j
sg
、j
ds
是四个单一的成本函数在总体成本中的权重系数。
[0051]
行驶效率成本函数与速度有关，主要集中在自车、前车以及道路限速中：
[0052][0053]
式中，v为决策是自车车速，v
max
为道路的最高限速，v
l
是前车车速。
[0054]
车辆加速度值只与自车的横向和纵向加速度相关联，通过引入θ系数调整：
[0055]kva
＝θa
x2
+(1-θ)a
y2
[0056]
速度增益值成本函数的主要影响因素为目标车道前车车速以及当前道路允许的最大车速值：
[0057]ksg
＝(v-v
tar
)2,v
tar
＝min(v
max
,v
tar-l
)
[0058]vtar-l
为换到目标车道的前车车速，若没有前车则为无限大的数值。
[0059]
行驶安全成本函数牵扯到的数值较多，主要是换道之前的预期碰撞时间ttc与换道过程中与目标车道前后车的距离与速度，该模型主要考虑换道之前的ttc：
[0060]kds
＝(ttc-ttc
lim
)2[0061]
式中，ttc
lim
为结合当前自车与前车车速、距离以及道路附着情况下的最小阈值。
[0062]
针对自车的不同驾驶风格类型，匹配上不同的权重系数，使得决策出的结果有不
同的偏向性，体现出不同的驾驶风格。
[0063]
表1给出了在不同风格下的四项权重系数。随着风格逐渐平缓，表征行车安全的j
ds
权重系数逐渐升高，而出行效率与速度增益的系数逐渐降低。
[0064]
表1
[0065][0066][0067]
通过对权重系数的调整，在同一个换道场景下可以对换道开始时间、是否换道等决策因素造成影响，实现对不同驾驶风格的模拟。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。
[0068]
最后先使用通过使用从highd数据集提取到的换道行为数据训练全连接神经网络fc，得到网络的权重。再将驾驶风格和成本函数输入就可以得到换道的目标车道，决策贴合自车的驾驶风格，实现人性化和安全合理的驾驶操作。
[0069]
本发明换道决策方法的实施包括以下步骤：
[0070]
步骤1)：使用canoe设备，通过can协议解析自车行驶数据，获得以下参数：行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb；
[0071]
步骤2)：通过激光雷达、摄像头和毫米波雷达获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc；周围车辆的速度加速度车道线信息通过提取出的自车以及周边车辆行驶参数，构建出当前自车和周围车辆的行驶特征参数集合c。
[0072]
c＝(y0,env,y1,y2,y3,
…
)，其中y0为自车的行驶信息，包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力pb信号。env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间ttc。y1,y2,y3,
…
为周围车辆的行驶信息，包括周围车辆的速度加速度车道线信息
[0073]
步骤3)：对收集到的自车和环境数据进行处理，具体步骤为：
[0074]
(a)将采集到的方向盘转向δ0数据中的1值替换成-1、0值替换成1，并与转向数据δ0相乘，得到方向盘转角δ。使得转角δ在左转向时为负值，右转向时为正值。自车行驶速度u、加速踏板开度γa和制动主缸压力pb传输频率为100hz方向盘转角δ的传输频率为50hz，摄像头的数据为25hz，数据传输的频率不统一。因此将100hz的数据统一采样至50hz，将25hz的数据插值到50hz，方便进行后续的处理。
[0075]
(b)对采集到的数据进行归一化。将行驶速度u、除以道路最高限速120km/h；将
加速度除以重力加速度9.8m/s2；将制动主缸压力pb除以该车紧急制动时的制动主缸压力数值p
max
；将方向盘转角δ除以该车方向盘从最左位置转到最右位置所经历的角度；将车道信息l按道路信息转换成0.25、0.5、0.75中的数值。构建当前时刻下自车和周围车辆的行驶特征参数集合c。
[0076]
步骤4)：构造数据特征模型，用于描述数据的驾驶特征风格。每5s从参数集合c中提取时长60s的参数矩阵由递归图生成算法将转换成递归图，具体流程如下：中每一项数据为时间序列(x1,x2,
…
,xn)，将其进行相空间重构，从中提取到的轨迹为：
[0077][0078]
其中：m是轨迹的维数，τ是时延，本发明中为60s。递归图r是轨迹之间的成对距离，计算如下：
[0079][0080]
其中：θ为heaviside函数，ε为阈值。
[0081]
如果r
i,j
＝1，则递归图在图片坐标(i,j)处放置一个有色点，反之为白色。将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像。
[0082]
将每组数据对应rgb图像中的一个信号通道，由于递归图沿对角线对称，因此可以将重复的部分删除，一张图片可以使用6组数据，多余的数据再生成图片并与原图片进行拼接。
[0083]
递归图生成模块从数据中提取维度m与时间延迟τ，将参数矩阵转换成图像pj，实现将数据流转换成递归图。
[0084]
步骤5)：采用卷积神经网络cnn对生成的图片进行特征提取、池化、全连接操作，输出递归图所代表的驾驶风格类别，所述驾驶风格分为三类：激进型aggressive、普通型normal和保守型conservative。
[0085]
步骤6)：设置决策成本函数k。所述决策成本函数k为当前换道决策的成本，由出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds、速度增益sg(反应执行决策后的速度变化幅度)以及驾驶安全ds组成。根据自车的驾驶风格，给决策成本函数匹配上不同的权重系数j
pe
、j
va
、j
sg
、j
ds
，在决策时体现出不同的风格。
[0086]
步骤7)：将采集到的自车与周围车辆的驾驶风格、行驶数据以及决策的成本函数送入全连接神经网络fc中。所述全连接神经网络fc，其权重通过使用从highd数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。最后由网络输出换道的目标车道，决策贴合自车的驾驶风格，实现人性化和安全合理的驾驶操作。
[0087]
本发明的具体实例：使用canoe采集设备构成自车参数测量模块，使用激光雷达和摄像头等构成外部环境感知模块，使用python编写驾驶风格识别算法、换道决策模块，实现自车在不同驾驶风格和驾驶环境下的换道决策。
[0088]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。