(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083176 0.1 (22)申请日 2022.07.15 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 牛玉贞　林煌伟　陈俊豪　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂　蔡学俊 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双路径 残差网络的图像去 模糊方法 (57)摘要 本发明涉及一种基于双路径残差网络的图 像去模糊方法， 包括以下步骤： 步骤A、 获取模糊 图像和干 净图像并预处理， 得到模糊图像块和对 应干净图像块组成的训练图像块数据集； 步骤B、 基于双路径残差网络构建去模糊网络模型； 步骤 C、 基于训练图像块数据集， 根据预设目标损失函 数loss， 利用反向传播方法计算去模糊网络模型 中各参数的梯度， 并利用随机梯度下降方法更新 参数， 最终学习到图像去模糊网络的最优参数， 得到最终的去模糊网络模 型； 步骤D、 将待测图像 输入到最终的去模糊网络模型中， 预测生成去除 模糊之后的干净图像。 本发明实现去除图像模糊 的同时保留更多的图像高频细 节， 重建出高质量 的清晰图像 。 权利要求书3页 说明书8页 附图4页 CN 115205148 A 2022.10.18 CN 115205148 A 1.一种基于双路径 残差网络的图像去模糊方法， 其特 征在于， 包括以下步骤： 步骤A、 获取模糊图像和干净图像并预处理， 得到模糊图像块和对应干净图像块组成的 训练图像块数据集； 步骤B、 基于双路径 残差网络构建去模糊网络模型； 步骤C、 基于训练图像块数据集， 根据预设目标损失函数loss， 利用反向传播方法计算 去模糊网络模型中各参数 的梯度， 并利用随机梯度下降方法更新参数， 最终学习到图像去 模糊网络的最优参数， 得到最终的去模糊网络模型； 步骤D、 将待测图像输入到最终的去模糊网络模型中， 预测生成去除模糊之后的干净图 像。 2.根据权利要求1所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述预 处理具体为： 将获取的模糊图像和其对应的干净图像按照一致的方式进行切块， 得到H ×W尺寸的图 像块； 切块后大小均为H ×W的模糊图像块和干净图像块一一对应， 再将得到的每组成对的 图像块进行相同的随机翻转和旋转， 对数据进行增强， 得到用于训练的成对的模糊图像块 和干净图像块， 其中， 每组成对的图像块中的模糊图像块作为输入图像， 干净图像块作为参 考图像。 3.根据权利要求1所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述去 模糊网络模型包括一个去模糊子网络和一个细节增强子网络， 两者采用并行的方式分别对 输入图像进行去模糊和细节增强。 4.根据权利要求3所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述去 模糊子网络， 网络采用三层的编码解码器设计 在编码器阶段， 第一个编码器输入为大小H ×W×3的模糊图像块In1， 经过一个卷积 核为 3×3的卷积层以及多个空洞双残差模块后得到大小为H ×W×C的输出EB1， 其中C是一个常 数； 第二个编码器 的输入为模糊图像块In1经过下采样两倍后得到大小为 的模 糊图像块In2， 以及前一个编码器的输出EB1， 两者经过特征提 取模块和多 个空洞双残差模块 后得到大小为 的输出EB2； 再将EB2和模糊图像块In1经过下采样四倍后得到大 小为 的模糊图像块In3输入到第三个编码器， 经过特征提取模块和多个空洞双 残差模块后得到大小为 的输出EB3； 在解码器阶段， 将步骤B11得到的特征图EB3输入第一个解码器中， 经过多个空洞双 残差 模块和反卷积层后得到输出DB3， 第两个解码器的输入则是步骤B11得到的三个编码器输出 的EB1、 EB2、 EB3以及前一个解码器的输出DB3， 经过多尺度特征融合模块将四个输入进行特 征融合， 再依次经过多个空洞双残差模块和反卷积层得到输出DB2， 同样的， 最后一个解码 器输入为EB1、 EB2、 EB3以及前一个解码器的输出DB2， 依次经过多尺度特征融合模块和多个 空洞双残差模块以及反卷积层后得到大小为H ×W×C的输出Out1。 5.根据权利要求4所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述特权　利　要　求　书 1/3 页 2 CN 115205148 A 2征提取模块， 输入的下采样后的模糊图像块首先经过卷积核为3 ×3的卷积层和卷积核为1 ×1的卷积层， 进行浅层特征提取， 得到特征图F1， 前一个编码器的输出则经过一个卷积核 为3×3的卷积层进行下采样， 得到特征图F2， 接着F1和F2进行相乘操作后经过一个卷积核 为3×3的反卷积层 恢复通道数， 其中第二个和 第三个编 码器中用到的特征提取模块恢复到 的通道数分别为2C和4C， 最后与特 征图F2进行 逐像素相加得到结果； 所述去模糊子网络中的每一层的编码器和解码器中都包含多个空洞双残差模块， 其 中， 每个空洞双残差模块依次包括卷积核为3 ×3的卷积层、 ReLU激活函数、 一个空洞率为2 的空洞卷积层、 ReLU激活函数以及卷积核为3 ×3的卷积层； 在空洞双残差模块中， 输入 特征 和模块输出特征进行全局残差连接， 此外， 在模块内部第一个ReLU激活函数的输出特征和 第二个ReLU激活函数的输出特征之间进行局部残差连接； 具体的， 空洞双残差模块按以下 公式计算： Fout＝Conv2(ReLU(Di lated(ReLU(Co nv1(Fin))))+ReLU(Co nv1(Fin)))+Fin 其中， Conv 1(*)、 Conv2(*)表示两个卷积核为3 ×3的卷积层， Dilated(*)表示空洞卷积 层， Fin和Fout分别表示空洞双残差模块的输入和输出 特征， 其中ReLU()表示ReLU激活函数； 所述多尺度特征融合模块， 输入为三个编码器的输出EB1、 EB2、 EB3以及前一个解码器的 输出， 其中， 第t个编码器中的多尺度特征融合模块的输入 是第t‑1个编码器的输出DBt‑1； 输 入EB1、 EB2、 EB3分别进行上下采样后变成与DBt‑1的宽度和高度相同的特征图， 再进行通道拼 接后依次经过一个卷积核为1 ×1的卷积层和一个卷积核为3 ×3的卷积层融合特征， 再与 DBt‑1进行通道拼接后经过一个卷积核为1 ×1的卷积层得到最后输出。 具体的， 在第t个编码 器中的多尺度特 征融合模块按以下公式计算： Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)， R(EB2)， R(EB3))))， DBt‑1)) 其中， R(*)代表上下采样， Concat(*)表示通道拼接操作， Conv3(*)表示3 ×3卷积层， Conv1(*)表示1 ×1卷积层， Ft为第t个解码器融合后的特征， DBt‑1代表上一个 解码器的输出， EBi代表第i个编码器的输出。 6.根据权利要求3所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述细 节增强子网络包括一个卷积核为3 ×3的卷积层、 若干上下文聚合残差模块以及一个卷积核 为3×3的反卷积层； 首先将模糊图像块输入到3 ×3的卷积层中提取浅层特征， 再经过多个 上下文聚合残差模块提出深层特征， 得到的深层特征与浅层特征进行残差相加， 最后经过 一个3×3的反卷积层恢复图像的通道数， 得到细节增强子网络的输出Out2。 7.根据权利要求6所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述上 下文聚合残差模块， 模块由两个空洞聚合模块和一个ReLU激活函数组成； 首先我们将输入 特征输入到一个空洞聚合模块中， 特征分别经过空洞率为 1、 2、 3的空洞卷积层， 得到不同尺 度的细节特征， 再将三个细节特征进行通道拼接来融合上下文信息， 最后经过一个1 ×1的 卷积层恢复为原 来的通道数得到空洞聚合模块的输出。 第一个空洞聚合模块的输出经过一 个ReLU激活函数和 第二个空洞聚合模块后， 再与 原始输入进 行逐像素相加得到最 终的上下 文聚合模块的输出。 8.根据权利要求3所述的基于双 路径残差网络的图像去模糊方法， 其特征在于， 所述双 路径残差网络， 通过整合去模糊子网络和细节增强子网络来组成双路径残差网络， 具体的： 将模糊图像块In1分为两个分支， 第一个分支将In1输入到去模糊子网络中， 得到输出特征权　利　要　求　书 2/3 页 3 CN 115205148 A 3