一种基于极线分窗口注意力的双目图像超分辨率方法

专利主权项内容

1.一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，设计混合特征提取器提取图像更具判别性特征和设计极线分窗口注意力融合双目视图互补特征，包括数据集预处理、浅层特征提取、深层特征提取、特征融合、迭代特征提取与融合操作、超分辨率重建、网络模型训练与测试七个部分：第一部分包括两个步骤：步骤1，准备双目数据集，将双目高分辨率图像样本经过双三次插值降采样后得到训练集中的低分辨率图像样本；步骤2，裁剪高分辨率与低分辨率图像，其中，低分辨率样本尺寸为30×90，放大四倍的高分辨率样本尺寸为120×360，对裁剪后的高低分辨率图像块经旋转，平移，遮挡，通道顺序变换操作，形成最终的训练集样本；第二部分包括一个步骤：步骤3，将步骤2中的低分辨率训练集样本通过共享权值的3×3卷积层映射到94通道的高维空间，初步得到左右图的浅层特征L1和R1；第三部分包括一个步骤：步骤4，将步骤3得到的左右图的浅层特征L1和R1作为输入，采用残差SwinTransformer特征蒸馏与增强模块RSTFB提取图像丰富的语义特征，得到图像深层特征L2.1和R2.1，具体实施如下：(1)浅层特征L1和R1首先经过6个Swin Transformer FDEB层提取图像的深层特征；然后，采用重叠交叉注意力模块建立图像特征间的长依赖关系；最后，采用一个3×3卷积层聚合不同深度的特征，同时，引入残差连接提高网络的表达能力；(2)针对Transformer缺乏对局部特征关注的问题，在Swin Transformer层中引入特征蒸馏与增强模块FDEB组成STFL；(3)在FDEB操作中，首先，采用1×1卷积层和GELU对特征通道C进行增强至2C，得到增强特征E1，采用3×3卷积层和GELU对特征E1进行特征蒸馏操作，将特征通道蒸馏至C，得到蒸馏特征D1，并且采用1×1卷积层和GELU对增强特征E1进行再次增强操作得到增强特征E2；然后，由E2得到蒸馏特征D2和增强特征E3，由E3得到蒸馏特征D3和增强特征E4；最后，将蒸馏特征D1、D2、D3和增强特征E4采用1×1卷积层进行聚合，并经过空间注意力和通道注意力，使网络从空间和通道两个维度关注图像重要特征信息，在整个操作中引入残差连接，并输出更具判别性的图像特征；第四部分包括一个步骤：步骤5，将步骤4得到的深层特征L2.1和R2.1作为输入，采用极线窗口注意力EWA进行左右目特征对齐操作，得到对齐后的特征L3.1和R3.1，具体实施如下：(1)EWA将输入的深层特征L2.1和R2.1，其特征尺寸为H×W×C，分别沿W方向划分为6个窗口，窗口大小为H×W0×C，其中W0=W/6，将同一特征区域的左右窗口特征X-L2和X-R2采用交叉视图注意力模块CAM进行对齐操作；(2)为了使网络自适应调整特征通道间的权重，在视差注意力中引入通道注意力卷积CAC，使CAM有效利用视图间的互补信息，CAC在两个3×3卷积层中间加上GELU，第一个卷积层将通道数从C扩充为2C，第二个卷积层将通道数从2C缩减为C；最后，将所有CAM对齐后的左右窗口特征Y-L2和Y-R2在W0维度上进行拼接，得到对齐后的双目特征L3.1和R3.1；第五部分包括两个步骤：步骤6，将步骤5的输出作为步骤4的输入，依次迭代步骤4和步骤5，迭代次数为7次，得到步骤4输出的中间特征L2.n和R2.n，和步骤5输出的中间特征L3.n和R3.n，其中，n=2, 3, 4, 5, 6, 7, 8；步骤7，将步骤5中对齐后的双目特征L3.1和R3.1，和经过步骤6后步骤5输出的中间特征L3.n和R3.n采用残差极线窗口注意力REWA再融合操作得到融合后特征图L4和R4，加强视差图特征的表达能力，其中，REWA将所有EWA的输出采用矩阵加法累加，以聚合不同深度的对齐后的特征，L3.1和L3.n由REWA得到L4，R3.1和R3.n由REWA得到R4；第六部分包括一个步骤：步骤8，利用亚像素反卷积层将步骤7中融合后特征图L4和R4映射到RGB空间得到特征图L5和R5；步骤9，对输入的低分辨率左视图和右视图分别进行双三次上采样后得到上采样特征图L6和R6，将L6与步骤8中的L5采用矩阵加法的形式进行残差操作重建出高分辨率左视图，同时，将R6与步骤8中的R5采用矩阵加法的形式进行残差操作重建出高分辨率右视图；第七部分包括两个步骤：步骤10，将步骤2中的训练集样本输入从步骤3到步骤9的网络中，设置网络超参数：学习率为2e-4，epochs为60，batch size为8，优化器为Adam，损失函数为MSE，训练网络得到最终的双目图像超分辨率预训练模型；步骤11，将公共测试集和实际存在的低分辨率双目图像输入步骤10得到的预训练模型中，网络可同时重建出超分辨率双目图像。