← 返回列表
基于多模态数据的数字人驱动方法及系统
摘要文本
本申请公开了一种基于多模态数据的数字人驱动方法及系统，其通过采集用户语音数据和面部表情图像，并在后端引入语义理解和图像处理算法来进行用于语音和面部表情的分析和识别，以此利用多模态数据来进行用户面部表情的识别判断，并实现数字人的驱动。这样，能够基于用户语音和面部表情图像来优化面部表情的识别精准度，使得数字人能够更加准确地模仿和响应用户的语音和面部表情，提高数字人驱动的精准度，从而实现更加自然和真实的交互体验。
申请人信息
- 申请人:世优(北京)科技有限公司
- 申请人地址:100000 北京市朝阳区日坛北路17号院2号楼4层4017
- 发明人: 世优(北京)科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态数据的数字人驱动方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311601174.9 |
| 申请日 | 2023/11/28 |
| 公告号 | CN117576279A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06T13/40 |
| 权利人 | 世优(北京)科技有限公司 |
| 发明人 | 王新国; 蒋正浩; 李睿 |
| 地址 | 北京市朝阳区日坛北路17号院2号楼4层4017 |
专利主权项内容
1.一种基于多模态数据的数字人驱动方法，其特征在于，包括：获取用户语音数据和面部表情图像；对所述用户语音数据进行语音识别以得到用户语音文本；对所述用户语音文本进行语义识别和理解以得到用户语音文本词粒度语义特征向量的序列；通过基于深度神经网络模型的面部表情特征提取器对所述面部表情图像进行特征提取以得到面部表情特征图；对所述面部表情特征图进行通道特征显化处理以得到面部表情局部特征向量的序列；对所述用户语音文本词粒度语义特征向量的序列和所述面部表情局部特征向量的序列进行跨模态逐粒度交互融合分析以得到多模态全局面部语义特征；基于所述多模态全局面部语义特征，确定面部表情标签，并将所述面部表情标签映射至数字人。 （来 自 马 克 数 据 网）