← 返回列表
用于大语言模型的数据知识提取方法
摘要文本
本发明涉及自然语言数据处理技术领域，具体涉及用于大语言模型的数据知识提取方法，该方法首先基于自然语言处理方法根据英文文本数据进行分析得到分词高维向量；根据噪声数据与整体数据之间的相似度较低的特征，通过分析分词高维向量之间的相似度整体偏离情况，将噪声高维向量筛除，得到参考高维向量；根据参考高维向量对应的数值分布复杂性以及参考高维向量之间的关联性，筛选出主成分分析向量和最优k值；使得结合最优k值后根据主成分分析高维向量通过PCA降维方法进行数据降维的效果更好，也即根据降维后的摘要信息向量对英文文本数据知识提取的效果更好。 搜索马 克 数 据 网
申请人信息
- 申请人:卓世智星(成都)科技有限公司
- 申请人地址:610095 四川省成都市中国(四川)自由贸易试验区成都高新区天府三街288号1栋18层1802号
- 发明人: 卓世智星(成都)科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于大语言模型的数据知识提取方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410186621.7 |
| 申请日 | 2024/2/20 |
| 公告号 | CN117743838A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06F18/2135 |
| 权利人 | 卓世智星(成都)科技有限公司 |
| 发明人 | 王亚; 赵策; 屠静; 苏岳; 万晶晶; 李伟伟; 颉彬; 周勤民 |
| 地址 | 四川省成都市中国(四川)自由贸易试验区成都高新区天府三街288号1栋18层1802号 |
专利主权项内容
1.用于大语言模型的数据知识提取方法，其特征在于，所述方法包括：对用于知识提取的英文文本数据通过分词方法以及词向量生成方法处理后，通过关键词提取方法得到至少两个分词高维向量；根据每个分词高维向量与其余分词高维向量之间的相似度整体偏离情况，得到每个分词高维向量的噪声存在概率；根据所述噪声存在概率在所有分词高维向量中筛除噪声高维向量，得到至少两个参考高维向量；根据每个参考高维向量对应数值序列的数值分布复杂性，以及每个参考高维向量与其余参考高维向量之间的关联性，得到每个参考高维向量的分析重要性；根据所述分析重要性筛选出主成分分析高维向量；根据所述主成分分析高维向量结合主成分分析方法进行数据降维，得到降维后的摘要信息向量；根据所述摘要信息向量进行英文文本数据知识提取。