1.本发明属于智能驾驶技术领域，具体指一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法。


背景技术：

2.随着智能汽车技术发展和5g通信技术的兴起，国内外学者对车辆自动驾驶的研究越来越多，其研究的主要目的之一在于减少交通事故。决策系统作为车辆自动驾驶技术的核心部分，需要实时预测出一条能避开周围障碍物的行驶轨迹，对于汽车的安全行驶至关重要。该系统是自动驾驶的大脑，主要根据车辆传感器感知到的自车行驶信息和基于v2x获取的周边车辆位置、速度和车道线等其他交通主体信息，为智能汽车规划出一条安全合理的最优轨迹。
3.目前针对车辆决策系统的主要研究方向，是面向智能汽车自车状态，依据采集的历史轨迹数据来预测未来的轨迹。所用方法可分为两类，包括基于传统物理模型的方法和基于神经网络预测的方法。一类是基于传统物理模型的方法，一般使用模型有：恒速模型、自行车模型和卡尔曼滤波模型，根据表示物理动作的历史数据生成被预测车辆的未来轨迹，但这种方法很少考虑周边车辆的影响因素，并且每种情况都需要调整参数，所以不能很好地保证实时性和准确性；另一类是基于神经网络预测的方法，利用的神经网络主要有：循环神经网络rnn和长短时记忆神经网络lstm以及卷积神经网络cnn等，这一类方法是基于车辆的历史轨迹通过编码解码来生成未来轨迹，此类方法的效果被证明优于基于传统物理模型的方法，但还没有对环境数据特征进行充分挖掘，不能很好地利用车辆与周边环境的交互信息。
4.事实上，智能汽车在行驶中必须与周边的车辆共享道路，其行驶轨迹也受到道路环境，例如，车道几何形状、人行横道、交通灯和其他车辆的行为的影响和约束。鉴于此，在现有神经网络方法的基础上，本发明提出同时考虑车辆的行驶场景和周边车辆环境对轨迹预测的影响，结合动态图神经网络和车道图神经网络，设计一种融合周边车辆交互信息的智能汽车轨迹预测方法。


技术实现要素：

5.针对现有技术的不足，本发明的目的在于提供一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法，以解决现有技术方案中忽略自车与周边车辆交互而影响轨迹预测准确性的问题，为智能汽车的安全、高效行驶提供保障。
6.为达到上述目的，本发明采用的技术方案如下：
7.本发明公开了一种融合周边车辆交互信息的智能汽车轨迹预测模型系统，如图1所示，包括四个模块，分别为：车辆交互关系提取模块、行驶场景表征模块、时空关系融合模块和轨迹预测模块。车辆交互关系提取模块从传感器感知到的车辆历史轨迹数据，主要指位置坐标，划定影响阈值10米，构建表示自车与周边车辆交互关系的交互图，将原始轨迹序
列坐标与交互图一起传入gcn网络中，输出表示车辆间交互关系图的轨迹数据。
8.行驶场景表征模块依据原始感知的地图信息m构建车道段之间的交互关系图，即表示出车道的前段、后继、左邻和右邻车道，再将交互关系图和原始地图信息m一起传入车道图卷积网络中，输出表示车道交互关系的地图数据。
9.时空关系融合模块将上述两个模块的数据进行融合，将表示车辆间交互关系图的轨迹信息传给地图数据，掌握车道拥堵或车道使用情况；然后将此时融合轨迹信息的地图数据信息通过车道图卷积网络进行更新以实现车道段之间的实时互联，输出隐式含有车辆信息的地图特征数据；最后将更新后的实时地图特征和原始轨迹信息反馈给车辆，输出信息隐式表示带有实时地图交互和周边车辆交互的历史轨迹信息。
10.轨迹预测模块输入时空关系融合模块融合的历史轨迹数据，经过编码器和解码器的处理，解码出未来时刻车辆的二维轨迹坐标，同时通过多个编码解码的堆叠，设置分类损失，输出多模态。因此最后输出的轨迹坐标表示为多组未来轨迹值，表示同一个车辆对应多个可能的未来轨迹。
11.进一步，所述车辆交互关系提取模块，包括：车辆历史轨迹x、构建车辆交互图g和图卷积网络gcn。构建车辆交互图g接收自车和周边车辆的历史轨迹信息x，用图矩阵的形式描述车辆在时间和空间层面的交互关系，再与车辆历史轨迹x一起输入图卷积gcn网络，来捕捉不同交通车辆之间的复杂交互，得到具有交互信息的历史轨迹信息；
12.进一步，所述行驶场景表征模块，包括高清矢量地图m、交互车道图graph、车道图卷积gcn和全连接层fc1。考虑行驶场景信息(包括车道中心线，转向，交通控制)对目标车辆轨迹的影响，交互车道图graph采集高清矢量地图m的车道信息，再与高清矢量地图m一起输入车道图卷积gcn网络，通过一层全连接层fc1提取地图特征信息；
13.进一步，所述时空关系融合模块，分为三个单元，其中单元一接收历史轨迹信息和地图特征信息，经过一层注意力机制attention和全连接层fc2，向车道节点介绍实时车辆信息，获取车道的使用情况，输出含有车辆历史轨迹信息的地图数据；单元二接收单元一的输出、历史轨迹信息和地图特征信息，通过车道图卷积gcn层和全连接层fc3传播车道信息来更新车道节点特征；单元三接收历史轨迹信息和地图特征信息，与单元二更新后的特征通过注意力机制attention和全连接层fc4进行实时交通信息融合。三个单元通过构建一个顺序循环融合块的堆栈以获取车辆到车道、车道到车道以及车道到车辆之间的信息流，实现实时交通信息的传递，最终输出车辆的轨迹信息到轨迹预测模块；
14.进一步，所述轨迹预测模块，包括seq2seq的编码器gru、解码器gru和最后观察帧坐标。首先编码器gru接收来自时空关系融合模块的融合特征信息作为输入，进行时间维度的编码，然后与观察帧坐标一起输入解码器gru中，重复解码出未来时间步长的bev轨迹坐标值。另外用一个分类分支预测每个模式的置信度得分，得出自车车辆的k个模式轨迹。
15.本发明还提出了一种融合周边车辆交互信息的智能汽车轨迹预测方法，包括如下步骤：
16.s1：首先对输入的被预测车辆及周边车的历史轨迹和车辆之间的交互图g进行预处理；将历史轨迹处理成n
×
th×
c的三维数组形式，其中n表示在过去的时间步长中观察到交通场景中的n个对象，th指历史时段，c＝2表示物体的x和y坐标；
17.将车辆之间的交互图g表示为g＝(v,e)，其中v表示图的节点，即观测的车辆，节点
上的特征向量是对象在时间t的坐标；e表示车辆之间的交互连接边，用邻接矩阵表示；其中，考虑到时空特性上车辆之间都存在连接边，即空间上由于距离影响产生的不同车辆之间的交互影响连接边，和每个车辆在时间域上与自身历史时刻的连接边，因此将交互图g表示为邻接矩阵：
18.g＝{a0，a1}
19.其中a0是时间连接边邻接矩阵，而a1是空间连接边邻接矩阵；
20.s2：将历史轨迹和交互图g通过一层二维卷积层映射到高维卷积层；然后通过两层图卷积层进行时空交互；时空交互的卷积核包括两部分，当前观测帧的交互图g和与g大小一致的可训练图g
train
；由g和g
train
之和做卷积核的卷积网络提取空间交互信息，再对时间层面上通过卷积核大小固定为(1
×
3)的时间卷积层，使得n
×
th×
c维度的数据沿着时间维度处理数据，空间层和时间层交替处理后，输出维度为n
×
th×
c的车辆间交互关系图的轨迹数据；
21.s3：根据地图数据提取特征，从矢量化地图数据中得到结构化地图表示；
22.s3.1：首先依据地图数据构建车道地图：根据获取的车道数据中心线l
cen
，所述车道数据中心线l
cen
表示为一系列二维的鸟瞰视角坐标点，获取任何两个连通的车道信息，即左邻、右邻、前段和后继，将它们处理为对应车道id的四个连通字典里，分别表示给定车道l的前一段车道l
前段
、后接车道l
后继
、左邻车道l
左邻
和右邻车道l
右邻
，由此获得车道地图；
23.s3.2：然后将车道地图和地图数据中的特征，所述特征包括：车道序列号l
id
，车道中心线序列点l
cen
，车道转向情况l
turn
，车道是否有交通控制l
con
，车道是否是交叉口l
inter
，一起输入车道图卷积gcn网络中，输出包含车道交互关系的地图数据；
24.s4：将s2输出的车辆间交互关系图的轨迹数据和s3.2输出的包含车道交互关系的地图数据进行融合，包括：
25.(1)将车辆信息融合给车道节点，掌握车道拥堵情况；
26.(2)车道节点之间信息融合更新以实现车道段之间的实时互联；
27.(3)将地图数据特征和实时交通信息融合反馈给车辆；
28.其中，第(2)部分车道节点之间的信息更新采用车道图卷积gcn的方式，用带有车道信息的邻接矩阵构建图卷积提取车道交互信息；
29.车辆信息和车道信息之间的相互传递，即第(1)和第(3)部分，通过空间注意力机制提取三类信息的交互特征，即输入的车道特征、车辆特征和上下文节点信息；所述上下文节点定义为车道节点与车辆节点的l2距离小于阈值的通道节点；
30.第(1)部分的网络设置为：将n
×
128的二维车道位置信息和n
×
4维的车道性质特征，组成新的地图特征信息和车辆的二维特征数据作为该单元输入数据，经过两层图注意力机制的堆栈和一层全连接后，输出带有车辆信息的车道特征，并且保持维度为n
×
128；所述车道性质特征包括是否转向、是否有交通控制以及是否是交叉口；
31.第(3)部分与第(1)部分的网络设置相同，最后输出含有车道信息、以及车道交互信息的车辆特征信息，维度输出同样保持为n
×
128；
32.s6：根据s5融合后的车辆特征信息，输出最终的运动轨迹预测；具体地：
33.对于每个车辆代理，预测k个可能的未来轨迹和对应的置信分数，预测包括两个分支：一个回归分支预测每个模式的轨迹，另一个分类分支预测每个模式的置信度得分；对于
第n个参与者，在回归分支中应用seq2seq结构来回归bev坐标的k序列，具体过程是：首先将融合后的车辆特征扩维为n
×
th×
c后输入seq2seq结构网络，将表示车辆特征的向量馈送到编码器的相应输入单元；然后，将编码器的隐藏特征、以及车辆在先前时间步长的坐标，一起馈送到解码器，以预测当前时间步长的位置坐标，具体地，第一个解码步骤的输入是“最后历史时刻”步骤中车辆的坐标，当前步骤的输出被馈送到下一个解码器单元，如此解码过程重复几次，直到模型预测出未来所有预期时间步长的位置坐标。
34.进一步，所述s2中，图卷积定义为y＝lxw，其中表示节点特征，表示权重矩阵，表示输出，n表示输入节点总数，f表示输入节点特征数，o表示输出节点特征数，图拉普拉斯矩阵的表达式为：
[0035][0036]
其中i、a和d分别是单位矩阵、邻接矩阵和度矩阵，i和a表示自连接和不同节点之间的连接，所有连接共享相同的权重w，度矩阵d用于归一化数据。
[0037]
进一步，在进行s2中的图卷积之前，对交互图g进行归一化：
[0038][0039]
其中，a指邻接矩阵，d指度矩阵，j指数据序列。aj表示表示第j个数据序列构建的邻接矩阵，dj表示第j个数据序列构建的度矩阵，其计算方式为：
[0040][0041]
度矩阵dj为一个对角阵，求解k个节点中与节点i相邻节点的数量，将α设置为0.001，以避免aj中出现空行。
[0042]
进一步，所述s3.2中的车道图卷积gcn网络表示为：
[0043][0044]
其中ai和wi指第i种车道连接方式对应的邻接矩阵和权重矩阵，x指节点特征矩阵，对应的节点特征xi是节点特征矩阵x的第i行，表示第i个车道节点的输入特征，包含车道的形状特征和位置特征，即：
[0045][0046]
其中vi指第i个车道节点的位置，即车道段两个端点之间的中点，和分别指第i个车道段的起始位置坐标和末端位置坐标。
[0047]
本发明的有益效果：
[0048]
(1)本发明提出了一种考虑周边车辆交互的图卷积神经网络，弥补了现有的轨迹预测算法中未考虑周边车辆的信息交互问题。
[0049]
(2)本发明提出了一种借助高清矢量地图代替鸟瞰图来提取地图信息的方式，使用矢量地图来定义车道几何形状，减小了由于分辨率问题导致的预测离散化问题。
[0050]
(3)本发明提出了一种车辆和行驶场景时空关系融合的方式，引入新的车道特征来表示车辆和车道之间的广义几何关系，有效提高面对不同形状和数量的车道时轨迹预测
的准确性。
[0051]
(4)本发明提出一种多seq2seq结构堆栈的方式来预测车辆的未来多模态轨迹和不同车道被选择的概率，改善单轨迹输出的局限性。
附图说明
[0052]
图1是本发明预测模型结构示意图。
具体实施方式
[0053]
下面结合附图对本发明作进一步说明。
[0054]
(一)轨迹预测问题建模分析
[0055]
轨迹预测问题可以表述为一个基于所有对象的历史轨迹信息来预测车辆在未来场景中轨迹的问题。具体来说，模型的输入是所有观察对象在历史时间th内的历史轨迹x：
[0056][0057]
其中，
[0058][0059]
指n个观察车辆在时刻t的横纵坐标位置；
[0060]
此外，考虑到车辆周边静态环境对车辆行驶的影响，本发明同时将场景内的地图车道信息考虑在内，因此输入部分除了车辆的历史轨迹之外，还包括场景的地图数据m：
[0061]
m＝[l
id
,l
cen
,l
turn
,l
con
,l
inter
]
[0062]
其中l
id
指车道序列号，l
cen
指车道中心线序列点，l
turn
指车道转向情况，l
con
指车道是否有交通控制，l
inter
指车道是否是交叉口。
[0063]
经过模型训练之后输出th+1到th+tf的未来时刻坐标序列y：
[0064][0065]
在将原始数据输入模型前，需要对其进行预处理。首先，对交通场景内被预测车辆及其周围车辆以10hz的频率进行采样，获取所有车辆采样点的位置坐标，即车辆横、纵坐标。将被预测车辆坐标设定为(0，0)，被预测车辆周围车辆坐标将修正为以被预测车辆为原点的相对坐标，加强模型的泛化性和鲁棒性。然后由前2s的轨迹信息作为历史数据来预测未来3s的轨迹信息。
[0066]
(二)设计模型实现轨迹预测
[0067]
如图1所示，本发明的一种融合周边车辆交互信息的轨迹预测模型包括：车辆交互关系提取模块、行驶场景表征模块、时空关系融合模块和轨迹预测模块。利用该模型进行轨迹预测的方法过程如下：
[0068]
所述的车辆交互关系提取模块的输入包含两个部分，被预测车辆及周边车的历史轨迹和车辆之间的交互图g。
[0069]
首先对输入进行预处理，将历史轨迹处理成n
×
th×
c的三维数组形式，其中n表示在过去的时间步长中观察到交通场景中的n个对象，th指历史时段，c＝2表示物体的x和y坐标。
[0070]
将车辆之间的交互图g表示为g＝(v,e)，其中v表示图的节点，即观测的车辆，节点
上的特征向量是对象在时间t的坐标；e表示车辆之间的交互连接边，输入模型时用邻接矩阵表示。其中，考虑到时空特性上车辆之间都存在连接边，即空间上由于距离影响产生的不同车辆之间的交互影响连接边，和每个车辆在时间域上与自身历史时刻的连接边，故而将交互图g表示为：
[0071]
g＝{a0，a1}
[0072]
其中a0是时间连接边邻接矩阵，而a1是空间连接边邻接矩阵。
[0073]
在数据处理时，将历史帧的最后一帧所有轨迹考虑在内，以预测车辆为中心，划定10米区域(经验取值)为影响半径r，计算周边车辆与被预测车辆之间的距离值l，将l与经验半径距离r相比，l≤r时认为车辆之间有交互影响，并设置邻接矩阵值为1，反之为0，由此构建当前观测时刻的空间矩阵a1，而a0处理为自车时间域上的单位矩阵i。
[0074]
数据处理后，将历史轨迹和交互图g传入车辆交互关系提取模块，首先将其通过一层2d卷积层映射到高维卷积层；然后通过两层图卷积层进行时空交互。考虑到空间交互的时变性，空间交互的卷积核由两部分之和组成，即当前观测帧的交互图g与和g大小一致但参与训练的可训练图g
train
之和。
[0075]
图卷积定义为y＝lxw，其中表示节点特征矩阵，表示权重矩阵，表示输出(n表示输入节点总数，f表示输入节点特征数，o表示输出节点特征数)，图拉普拉斯矩阵的表达式为：
[0076][0077]
其中i、a和d分别是单位矩阵、邻接矩阵和度矩阵。i和a表示自连接和不同节点之间的连接。所有连接共享相同的权重w，度矩阵d用于归一化数据。
[0078]
因此在进行图卷积操作前，为了确保执行图形操作后要素图的值范围保持不变，本发明使用以下等式对交互图g进行归一化：
[0079][0080]
其中，a指邻接矩阵，d指度矩阵，j指数据序列。aj表示表示第j个数据序列构建的邻接矩阵，dj表示第j个数据序列构建的度矩阵，其计算方式为：
[0081][0082]
度矩阵dj为一个对角阵，求解k个节点中与节点i相邻节点的数量，将α设置为0.001，以避免aj中出现空行。
[0083]
这样，通过由g和g
train
做卷积核的卷积网络提取空间交互信息，再对时间层面上通过卷积核大小固定为(1
×
3)的时间卷积层，使得n
×
th×
c维度的数据沿着时间维度(第二维度)处理数据。空间层和时间层交替处理后输出维度保持n
×
th×
c不变的数据，该数据后续用于与行驶场景表征模块输出数据融合。
[0084]
所述的行驶场景表征模块指对输入的地图数据m提取特征，从矢量化地图数据中学习结构化地图表示。首先在输入模块前需要依据地图数据m构建车道地图，根据获取的车道数据中心线l
cen
(表示为一系列二维的鸟瞰视角坐标点)，可以获取任何两个连通的车道，即左邻、右邻、前段和后继。将数据处理为对应车道id的四个连通字典里，分别表示给定车
道l的前一段车道l
前段
，后接车道l
后继
，左邻车道l
左邻
和右邻车道l
右邻
，由此获得车道地图。然后将交互车道图和地图数据m中的其他特征(包括：车道序列号l
id
，车道中心线序列点l
cen
，车道转向情况l
turn
，车道是否有交通控制l
con
，车道是否是交叉口l
inter
)一起输入车道图卷积gcn网络中。本发明将常规图卷积作变形得到所述车道图卷积gcn网络，表示为：
[0085][0086]
其中ai和wi指第i种车道连接方式(即：i∈{前段,后继,左邻,右邻})对应的邻接矩阵和重矩阵，x指节点特征矩阵。对应的节点特征xi是节点特征矩阵x的第i行，表示第i个车道节点的输入特征，包含车道的形状特征和位置特征，即：
[0087][0088]
其中vi指第i个车道节点的位置，即车道段两个端点之间的中点，和分别指第i个车道段的起始位置坐标和末端位置坐标。
[0089]
考虑到预测过程中存在车辆在固定历史时间段内由于速度过快，产生长距离历史轨迹段的情况，且这通常发生在直线车道段，因而在直线路段可采取膨胀卷积的方式，增大邻接矩阵来扩大视野域。然后在卷积网络之后通过一层n
×
128维的全连接层输出车道特征。
[0090]
所述的时空关系融合模块主要是对车辆交互关系提取模块和行驶场景表征模块输出的特征进行融合，依次实现：(1)将车辆信息传给车道节点，掌握车道拥堵或其他使用情况；(2)车道节点之间信息更新以实现车道段之间的实时互联；(3)将更新后的地图特征和实时交通信息融合反馈给车辆的过程。其中，第(2)部分车道节点之间的信息更新依然采用车道图卷积gcn的方式，用带有车道信息的邻接矩阵构建图卷积提取车道交互信息。而车辆信息和车道信息之间的相互传递，即第(1)和第(3)部分，通过空间注意力机制提取三类信息的交互特征，即输入的车道特征、车辆特征和上下文节点信息。其中上下文节点被定义为车道节点与车辆节点的l2距离小于阈值的通道节点，此处阈值可取经验值6米。第(1)部分的网络设置为：行驶场景表征模块提取出的n
×
128的二维车道位置信息和n
×
4维的车道性质特征(是否转向、是否有交通控制以及是否是交叉口)组成新的地图特征信息和车辆的二维特征数据作为该单元输入数据，经过两层图注意力机制的堆栈和一层全连接后，输出带有车辆信息的车道特征，并且保持维度为n
×
128。第(3)部分与第(1)部分网络结构一致，最后提取出含有车道信息，以及车道交互信息的车辆特征信息，维度输出同样保持为n
×
128。
[0091]
所述的轨迹预测模块以融合后的车辆特征信息作为输入，多模态预测头输出最终的运动轨迹预测。对于每个车辆代理，预测k个可能的未来轨迹和对应的置信分数。因此预测模块有两个分支，一个回归分支预测每个模式的轨迹，另一个分类分支预测每个模式的置信度得分。对于第n个参与者，在回归分支中应用seq2seq结构来回归bev坐标的k序列。具体过程是：首先将融合后的车辆特征扩维为n
×
th×
c后输入seq2seq结构网络，表示车辆特征的向量(在每个时间维度上)被馈送到编码器gru的相应输入单元；然后，编码器gru的隐藏特征，以及车辆在先前时间步长的坐标，被一起馈送到解码器gru，以预测当前时间步长的位置坐标。具体来说，第一个解码步骤的输入是“最后历史时刻”步骤中车辆的坐标，当前
步骤的输出被馈送到下一个gru单元。这样的解码过程重复几次，直到模型预测出未来所有预期时间步长的位置坐标。
[0092]
(三)模型训练
[0093]
本发明采集轨迹预测实施场景内连续时间段内的真实车辆数据作为模型训练的数据集，模型训练使用的训练集、验证集和测试集都取自该数据集。
[0094]
本发明使用pytorch框架实施对模型的训练，其中模型使用adam优化器来加速模型的学习速度，将adam优化器的学习率设定为0.001，使得训练能够更准确的找到全局最优点。损失函数由车道分类误差和轨迹回归误差的加和构成，车道分类损失采用二分类hinge损失，轨迹回归损失使用均方根误差rmse损失。评估结果采用最佳预测轨迹终点与地面真实值之间的l2距离fde和最佳预测轨迹与地面真实值之间的平均l2距离ade。
[0095]
训练轮次根据实际需求和训练效果做实时调整，每经过一轮训练，保存一次模型参数文件。
[0096]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。