一种基于迁移学习的视频动作识别方法

专利主权项内容

1.一种基于迁移学习的视频动作识别方法，其特征在于，将视频信息输入到网络模型中，以输出预测结果；所述网络模型的训练过程如下：S1：构建训练集，所述训练集包括视频以及视频文本标签；S2：通过大语言模型将视频文本标签进行扩充，并将扩充后的视频文本标签通过CLIP模型进行编码得到文本特征，将文本特征拼接作为初始化的分类矩阵，分类矩阵在网络模型训练过程中冻结；S3：提取视频中的帧图像，将增强后的帧图像通过CLIP模型进行编码得到视频帧特征图；S4：基于encoder-only架构的transformer构建可学习位置编码的隐式时序建模模块，将视频帧特征图输入到隐式时序建模模块中，通过自注意力机制计算视频帧特征图得到隐式视频帧表征图，对隐式视频帧表征图/>进行平均池化操作后得到隐式时序建模模块输出的隐式视频表征/>；S5：基于交叉注意力机制构建显式时序建模模块，将隐式视频帧表征图按照行随机打乱/>次，得到/>个视频帧特征，将/>个视频帧特征输入到显式时序建模模块中，得到/>个显式视频表征，所述/>个显式视频表征与对应的文本特征形成1个正样本对和/>个负样本对，利用对比学习范式对齐文本-视频空间，输出正确的显式视频表征/>，将显式视频表征/>和隐式视频表征做残差连接得到整个视频的表征/>&S6：将表征和分类矩阵进行内积操作，计算预测分数，得到预测结果。