← 返回列表
视频事件描述与归因生成方法、系统、设备及存储介质
摘要文本
本发明公开了一种视频事件描述与归因生成方法、系统、设备及存储介质，它们是一一对应的方案，方案中：探究了更高语义层面上的视频中事件理解，并有效地对视频包含的无关信息进行了筛除，获得更有价值的多模态线索，进而生成更精确的事件文本描述；引入知识图谱来增强事件之间的逻辑相关性，结合事件感知注意力机制生成事件发生的原因，有效解决了视频中多个事件的关联难以捕捉的难点，生成了更精确的事件归因。
申请人信息
- 申请人:中国科学技术大学
- 申请人地址:230026 安徽省合肥市包河区金寨路96号
- 发明人: 中国科学技术大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 视频事件描述与归因生成方法、系统、设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410034631.9 |
| 申请日 | 2024/1/10 |
| 公告号 | CN117557946A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 中国科学技术大学 |
| 发明人 | 徐童; 陈恩红; 吕元杰 |
| 地址 | 安徽省合肥市包河区金寨路96号 |
专利主权项内容
1.一种视频事件描述与归因生成方法，其特征在于，包括：对于单个事件，从相应视频信息与对话文本信息中，对应的提取视觉模态特征与文本模态特征，并且，从文本模态特征中取出对应的全局对话文本表示；通过交互感知注意力机制度量给定的社交互动分别与视觉模态特征及全局对话文本表示之间的关联程度，并结合视觉模态特征与文本模态特征形成的多模态线索，生成事件的文本描述；基于知识图谱生成每一事件的常识知识，并与对应事件的文本描述组合后，通过特征提取器提取出每一事件的特征表示，再基于事件的特征表示通过事件感知注意力机制捕获事件之间的关联程度，生成每一事件的发生原因描述。 （来 自 马 克 数 据 网）