← 返回列表
一种基于多模态融合的多维心理状态评估方法
摘要文本
本发明公开了一种基于多模态融合的多维心理状态评估方法，属于文本及音频数据处理技术领域。包括：S100：利用时间膨胀卷积网络作为基础构建多维心理状态评估模型并封装成软件，其中，所述多维心理状态评估模型包括：音频‑视觉特征提取模块、文本特征提取模块以及多模态融合模块；S200：获取待测数据，利用带有多维心理状态评估模型的封装软件进行心理状态评估。本发明对于心理健康专业人员和公共卫生系统来说，将是一个重要的辅助工具。
申请人信息
- 申请人:合肥工业大学
- 申请人地址:230009 安徽省合肥市屯溪路193号
- 发明人: 合肥工业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态融合的多维心理状态评估方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410173563.4 |
| 申请日 | 2024/2/7 |
| 公告号 | CN117796810A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | A61B5/16 |
| 权利人 | 合肥工业大学 |
| 发明人 | 郭艳蓉; 郭有为; 郝世杰; 洪日昌 |
| 地址 | 安徽省合肥市包河区屯溪路193号 |
专利主权项内容
来自马-克-数-据 1.一种基于多模态融合的多维心理状态评估方法，其特征在于，包括以下步骤：S100：利用时间膨胀卷积网络作为基础构建多维心理状态评估模型并封装成软件，其中，所述多维心理状态评估模型包括：音频-视觉特征提取模块、文本特征提取模块以及文本引导的多模态融合模块，具体为：获取访谈视频、音频数据，并根据所述音频-视觉特征提取模块对所述访谈视频、所述音频数据进行处理得到音视觉特征；获取访谈文本数据，基于访谈文本数据对所述文本特征提取模块进行训练，根据训练好的所述文本特征提取模块得到文本特征；利用所述文本引导的多模态融合模块将文本特征与音视觉特征进行语义对齐，得到多维心理状态评估模型，将多维心理状态评估模型封装成软件；S200：获取待测数据，利用带有所述多维心理状态评估模型的封装软件进行心理状态评估。