← 返回列表
基于层次化注意力机制的文本情感分类方法及系统
摘要文本
本发明提出了基于层次化注意力机制的文本情感分类方法及系统,涉及人工智能领域,具体方案包括:对待分类的文本数据进行数据预处理,并通过Bert模型将其转化为情感词向量;将情感词向量输入到基于层次化注意力机制的文本情感分类模型中,生成并输出文本情感分类结果;其中,所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成,通过缩放点积注意力层对情感词向量进行初步筛选,增强词向量的表示能力,所述注意力池化层用来筛选重要的情感特征,而多头注意力层进行进一步的特征提取和整合;本发明充分挖掘文本语义信息,从而显著提高情感分类的准确率。
申请人信息
- 申请人:山东省计算中心(国家超级计算济南中心); 齐鲁工业大学(山东省科学院)
- 申请人地址:250000 山东省济南市历下区科院路19号
- 发明人: 山东省计算中心(国家超级计算济南中心); 齐鲁工业大学(山东省科学院)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于层次化注意力机制的文本情感分类方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410216838.8 |
| 申请日 | 2024/2/28 |
| 公告号 | CN117786120A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06F16/35 |
| 权利人 | 山东省计算中心(国家超级计算济南中心); 齐鲁工业大学(山东省科学院) |
| 发明人 | 王继彬; 张鑫硕; 郭莹; 吴晓明 |
| 地址 | 山东省济南市经十路东首科学院路19号; 山东省济南市西部新城大学科技园 |
专利主权项内容
1.基于层次化注意力机制的文本情感分类方法,其特征在于,包括:对待分类的文本数据进行数据预处理,并通过Bert模型将其转化为情感词向量;将情感词向量输入到基于层次化注意力机制的文本情感分类模型中,生成并输出文本情感分类结果;其中,所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成,通过缩放点积注意力层对情感词向量进行初步筛选,增强词向量的表示能力,所述注意力池化层用来筛选重要的情感特征,而多头注意力层进行进一步的特征提取和整合。