一种图像分辨率融合增强的隐式融合方法
摘要文本
本发明提供了一种图像分辨率融合增强的隐式融合方法，属于设计遥感图像融合领域；本方法采用了编码器‑解码器的网络结构，经过两阶段的精心设计。在第一阶段，通过隐式神经融合函数整合了坐标信息、空间信息和光谱信息。第二阶段则引入了傅里叶单元以提取频谱信息，通过双分支编码器实现了频谱信息和融合信息的有效交互。本发明相较于其他神经网络方法，在图像处理中实现了对图像的连续表示，成功地将空间坐标映射到像素信息上，并在融合过程中充分利用了多种模态信息，取得更优越的融合效果。实验证明，这一方法在两个不同数据集上取得了先进的性能，为其他多模态融合任务提供了一个通用的典范。
申请人信息
- 申请人:电子科技大学
- 申请人地址:611731 四川省成都市高新区(西区)西源大道2006号
- 发明人: 电子科技大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种图像分辨率融合增强的隐式融合方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410181120.X |
| 申请日 | 2024/2/18 |
| 公告号 | CN117726916A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06V10/80 |
| 权利人 | 电子科技大学 |
| 发明人 | 邓良剑; 梁玉洁 |
| 地址 | 四川省成都市高新区(西区)西源大道2006号 |
专利主权项内容
1.一种图像分辨率融合增强的隐式融合方法，其特征在于，包括以下步骤：步骤1：数据集的获取及处理；获取图像数据集，对数据集里的图像进行预处理，得到低分辨率高光谱图像、高分辨率多光谱图像以及对应的真实像素值图像，并划分训练数据集与测试数据集；ILRIHRIGT步骤2：编码及多模态信息生成；首先低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像；ILRILR_up然后将上采样后的低分辨率高光谱图像与高分辨率多光谱图像在通道维度拼接在一起，得到拼接特征Cat(, )；ILR_upIHRILR_upIHR将低分辨率高光谱图像与拼接特征Cat(, )分别输入光谱编码函数和空间编码函数，计算光谱模态特征和空间模态特征；ILRILR_upIHRSpeSpa将像素的中心位置表示为像素的坐标点，并将坐标图缩放成大小为2×2的正方形网格，得到高分辨域的归一化二维坐标图，进而获得查询坐标和最临近坐标的相对位置，得到坐标模态信息；XHRxqxq, i步骤3： 隐式神经图像插值进行第一阶段的融合；将步骤2得到的光谱模态特征、空间模态特征和坐标模态特征在通道维度进行拼接，利用隐式特征融合函数求得像素的插值像素值及相似性权重，然后进行相似性特征集成，获得融合特征图/>；SpeSpavq, iwq, i步骤4：解码阶段；将由高分辨率多光谱图像经过一个傅里叶单元获得的频谱响应信息与编码输出融合特征图/>同时输入双分支解码器Decoder进行融合，上支以融合特征/>为输入，下支以频谱特征/>为输入，融合过程中上支使用ReLU激活函数激活非线性，下支使用complex Gabor 小波激活函数激活非线性，得到解码阶段的输出/>；IHR步骤5：得到输出；采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像逐元素相加，得到融合结果/>；经过训练与测试后，得到最终的融合结果。ILR_up 更多数据：搜索马克数据网来源：www.macrodatas.cn