多模态数据的关联识别方法、装置、设备及存储介质

专利主权项内容

1.一种多模态数据的关联识别方法，其特征在于，包括：获取待识别多模态数据；所述待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种；将所述待识别多模态数据输入至意图识别模型，获得所述意图识别模型输出的所述待识别多模态数据对应的意图识别结果；所述意图识别模型是基于样本多模态数据和所述样本多模态数据对应的意图识别结果标签训练得到的；将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量；所述语义空间模型是基于样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量训练得到的；将所述融合特征向量输入至多模态信息关联模型，获得所述多模态信息关联模型输出的待识别多模态数据的关联识别结果；所述多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的。