一种短视频内容理解标注方法

专利主权项内容

1.一种短视频内容理解标注方法，其特征在于：包括，步骤S1，读取待标注的视频流，利用设定参数对视频流进行解析，所述的设定参数包括滑动窗口的大小和滑动步幅；步骤S2，利用上述步骤中的滑动窗口作用于视频帧序列，从视频起始位置开始，逐步滑动窗口并获取每个窗口的视频帧；步骤S3，对每个窗口中的视频帧按时间序列进行呈现，标注员根据标注类型不同，依次对每个窗口的视频帧进行内容标注，产生标注时间轴上的标注事件；步骤S4，对标注后的视频帧进行加权整合，通过设定参数的参数值调整加权值；输出带有完整标注事件的标注时间轴的视频流；所述的标注类型包括关键帧标注、对象跟踪标注、情感和情绪标注、音频标注、事件标注，所述的关键帧标注对于特定时间点，选择关键帧并对其进行标注；所述的对象跟踪标注对视频帧中的可跟踪对象进行轨迹或运动标注；所述的情感和情绪标注对不同时间点出现的情绪变化进行标注；所述的事件标注对视频帧的内容事件进行标注；所述的音频标注对音频标注，识别音频中的语音内容、声音效果和音乐；针对事件标注类型的标注步骤，包括，步骤S101，设定标注类型为事件标注，对窗口中的视频帧进行语音转文本识别，并对文本数据进行清洗，利用文本分析生成技术生成内容摘要，在标注事件上显示内容摘要，供标注员查看；步骤S102，标注员对内容摘要进行标注评判，评判标准包括描述是否准确，是否存在同音词错误，是否包含需要人为修正；当需要人为修正时，标注员对内容摘要的副本进行修改，修改后的副本按时间序列作用在标注事件上；步骤S103，针对每个窗口视频帧的事件和情节，按设定参数进行加权整合，整合后的视频帧具有不同时间点出现的事件节点；所述的事件节点上包含标注的事件信息，所述的事件信息包括语音转文本修正内容、视频事件内容描述、内容摘要与视频匹配程度。