← 返回列表
一种基于深度学习的视触融合信号识别方法及系统
摘要文本
本发明属于智能机器人视觉触觉信号融合感知技术领域，特别涉及一种基于深度学习的视触融合信号识别方法及系统。其中，识别方法包括以下步骤：获取待识别物体的视觉信号与触觉信号作为输入数据；将所述输入数据输入预先训练好的视触融合信号识别模型；输出视触融合信号的识别结果。本发明使用分段信号处理和注意力机制实现对触觉信号的关键特征提取，并分阶段融合视触信号不同性质的特征，充分挖掘视觉特征和触觉中的关联信息，实现视觉信号和触觉信号的特征融合，在机器人感知领域，可以辅助机器人感知识别，有效地提高视触融合信号的识别率。 （来源 马克数据网）
申请人信息
- 申请人:四川大学
- 申请人地址:610065 四川省成都市一环路南一段24号
- 发明人: 四川大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于深度学习的视触融合信号识别方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410213364.1 |
| 申请日 | 2024/2/27 |
| 公告号 | CN117786606A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 四川大学 |
| 发明人 | 陈虎; 谭皓天; 刘崇玉 |
| 地址 | 四川省成都市武侯区人民南路三段17号 |
专利主权项内容
1.一种基于深度学习的视触融合信号识别方法，其特征在于，包括以下步骤：S1：获取待识别物体的视觉信号与触觉信号作为输入数据；S2：将所述输入数据输入预先训练好的视触融合信号识别模型；S3：输出视触融合信号的识别结果，根据识别结果识别待识别物体的类别；其中，所述视触融合信号识别模型包括CNN编码器、层级注意力采样模块、Transformer编码器、视触特征融合模块与分类识别头，模型具体流程如下：S21：输入视觉信号至CNN编码器，提取视觉信号的高频特征和低频特征；输入触觉信号至层级注意力采样模块得到触觉信号向量；S22：使用Transformer编码器从所述触觉信号向量中提取触觉信号的空间特征和时序特征；S23：将所述视觉信号的高频特征和低频特征、触觉信号的空间特征和时序特征，输入视触特征融合模块，得到视触信号融合特征；S24：所述视触信号融合特征通过分类识别头输出识别结果。