基于数据脉冲特征评估的脉冲神经网络训练方法
摘要文本
本发明公开了基于数据脉冲特征评估的脉冲神经网络训练方法，该方法包括：网络初始化；数据输入；前向传播；使用梯度替代方法计算梯度，使用计算的梯度信息进行反向传播；根据网络提取的分类特征；迭代次数判断；按比例缩小训练集大小；计算各样本被抽取概率；根据计算所得样本抽取概率；将得到新训练集输入网络，进行前向传播；根据分类特征更新SSM，HSSM，HCSSM值；使用梯度替代计算梯度，使用计算的梯度信息进行反向传播，到达预定的迭代次数，本发明具有易拓展性，适用于不仅仅分类任务，将其中的分类特征替换为其他任务所提取的脉冲特征，即可适配对应任务，本发明具有训练过程可解释性，过程透明，提高了训练效果。
申请人信息
- 申请人:西南交通大学
- 申请人地址:610031 四川省成都市二环路北一段
- 发明人: 西南交通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于数据脉冲特征评估的脉冲神经网络训练方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202410040609.5 |
| 申请日 | 2024/1/11 |
| 公告号 | CN117556877B |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06N3/049 |
| 权利人 | 西南交通大学 |
| 发明人 | 储节磊; 唐玲玲; 李天瑞 |
| 地址 | 四川省成都市二环路北一段 |
专利主权项内容
1.基于数据脉冲特征评估的脉冲神经网络训练方法，其特征在于，该方法应用于图像分类，包括：步骤1、网络初始化：构建输入层－隐藏层－输出层结构的脉冲神经网络，并随机初始化脉冲神经网络的权重和其他参数；步骤2、数据输入：将完整数据集中数据随机打乱，输入数据脉冲神经网络；步骤3、前向传播：将输入数据通过网络进行前向传播，在此过程中，神经元的电位逐渐增加，当电位达到阈值时，产生脉冲并传递给所连接的神经元，最终提取当前迭代的g类的分类特征，得到分类权重；步骤4、使用梯度替代方法计算梯度，使用计算的梯度信息进行反向传播，利用网络输出分类特征与期望标签计算目标函数值，根据反向传播的梯度信息优化网络的权重和各参数，以最小化目标函数；步骤5、根据网络提取的分类特征，计算三种脉冲样本难度评价尺度；步骤6、重复步骤2－5，直到达到迭代次数Q，其中Q为预设的总训练迭代次数；00步骤7、按比例缩小训练集大小；步骤8、计算各样本被抽取概率；步骤9、根据计算所得样本抽取概率，从完整训练集D中选择个样本组成当前迭代的训练集/>；步骤10、将得到新训练集输入网络，进行前向传播，最终提取当前迭代的g类的分类特征，得到分类权重；步骤11、根据分类特征更新SSM，HSSM，HCSSM值；步骤12、使用梯度替代计算梯度，使用计算的梯度信息进行反向传播，利用网络输出分类特征与期望标签计算目标函数值，根据反向传播的梯度信息优化网络的权重和各参数，以最小化目标函数；步骤13、重复步骤8-12，直至到达下一迭代节点Q；步骤14、重复步骤7-13，直至到达预定的迭代次数；所述步骤5，计算三种脉冲样本难度评价尺度包括：步骤5.1、计算样本级别的瞬时脉冲样本难度评价尺度SSM，表达式为：其中，表示样本/>在第/>次训练迭代的SSM值，/>、/>为控制参数，g为总类别数，/>为样本在第/>次训练迭代时所属正确类的分类特征，/>表示样本在第/>次训练迭代时属于第c类的分类特征值，c取值为从1到g；步骤5.2.计算融合历史信息的脉冲样本难度评价尺度HSSM，表达式为：其中，表示样本/>在第/>次训练迭代的HSSM值，/>为历史信息权重参数，等号右边的/>为样本/>在第/>次训练迭代的瞬时脉冲样本难度评价尺度SSM值，/>为样本/>在第/>次训练迭代的瞬时脉冲样本难度评价尺度SSM值；步骤5.3.计算融合历史信息的脉冲样本难度评价尺度变化值HCSSM，表达式为：其中，表示样本/>在第/>次训练迭代的HCSSM值，/>为历史信息权重参数，/>和/>为中间变量，/>表示样本/>在第/>次训练迭代的SSM相较于在第/>次训练迭代时的变化值，/>表示样本/>在第/>次训练迭代的SSM相较于在第/>次训练迭代时的变化值，第二个公式为中间变量的计算方法，等号右边的/>表示样本/>在第/>次训练迭代的瞬时脉冲样本难度评价尺度SSM。