(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210785259.6 (22)申请日 2022.07.05 (71)申请人 温州大学 地址 325000 浙江省温州市瓯海区东方南 路38号温州市国家大 学科技园孵化器 (72)发明人 张笑钦　徐曰旺　赵丽　廖唐飞　 冯士杰　 (74)专利代理 机构 北京阳光天下知识产权代理 事务所(普通 合伙) 11671 专利代理师 赵飞 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01)G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种边缘增强显著性目标检测网络及算法 (57)摘要 本发明公开了一种边缘增强显著性目标检 测网络， 涉及显著性目标检测技术领域， 还公开 了一种边缘增强显著性目标检测算法， 包括： Backbone网络模块、 渐进式特征融合模块、 核变 化边缘检测模块和逐像素相加输出操作模块， Backbone网络模块获取粗粒度显著性特征， 渐进 式特征融合模块融合粗粒度显著性特征， 核变化 边缘检测模块从粗粒度显著性特征中捕获结构 化细节特征， 逐像素相加输出操作模块将融合特 征和结构化特征逐像素相加融合得到显著图， 本 发明可对显著 图的边缘等结构化细节信息进行 补充， 实现显著性目标的精准捕获， 进而将显著 性主体与背景分割， 在前景和背景对比度低、 背 景复杂、 主体形状复杂等各种复杂环境下， 得到 主体边缘的精确分割， 具有较强的鲁棒 性。 权利要求书3页 说明书8页 附图7页 CN 115205643 A 2022.10.18 CN 115205643 A 1.一种边缘增强显著性目标检测网络， 其特征在于， 包括： Backbone网络模块、 渐进式 特征融合模块、 核变化 边缘检测模块和逐像素相加输出操作模块； 所述Backbone网络模块用于对输入的待检测三通道图像进行特征提取， 获取多种 尺寸 的粗粒度显著性特 征； 所述渐进式特征融合模块用于融合从所述Backbone网络模块获得的粗粒度显著性特 征， 获取融合特 征； 所述核变化边缘检测模块用于从所述Backbone网络模块获得的粗粒度显著性特征中 捕获显著性目标在上采样过程中损失的结构化细节特 征； 所述逐像素相加输出操作模块用于将所述渐进式特征融合模块获得的融合特征和所 述核变化 边缘检测模块获取的结构化特 征进行逐像素相加融合， 获取显著图。 2.根据权利 要求1所述的边缘增强显著性目标检测网络， 其特征在于， 所述Backbone网 络模块包括ResNet50子网络单元和VGG16子网络单元， 所述ResNet50子网络单元包括第一 采样模块、 第二采样模块、 第三采样模块和 第四采样模块， 所述第一采样模块用于对待处理 的三通道图像进行2倍下采样， 获取待处理的三通道图像1/2尺寸的低分辨率特征图， 所述 第二采样模块用于对待处理的三通道图像进 行4倍下采样， 获取待处理的三通道图像1/4尺 寸的低分辨率特征图， 所述第三采样模块用于对待处理的三通道图像进 行8倍下采样， 获取 待处理的三通道图像1/8尺寸的低分辨率特征图， 所述第四采样模块用于对待处理的三通 道图像进行16倍下采样， 获取待处理的三通道图像1/16尺 寸的低分辨率特征图； 所述VGG16 子网络单元包括第一特征提取模块、 第二特征提取模块、 第三特征提取模块和第四特征提 取模块， 所述第一特征提取模块用于对所述第一采样模块输出的低分辨率特征图进行特征 提取， 获取待处理的三通道图像1/2尺寸的粗粒度显著性特征图B_2， 所述第二特征提取模 块用于对所述第二采样模块输出的低分辨率特征图进 行特征提取， 获取待处理的三通道图 像1/4尺寸的粗粒度显著 性特征图B_4， 所述第三特征提取模块用于对所述第三采样模块输 出的低分辨率特征图进行特征提取， 获取待处理的三通道图像1/8尺寸的粗粒度显著性特 征图B_8， 所述第四特征提取模块用于对所述第四采样模块输出 的低分辨率特征图进行特 征提取， 获取待处 理的三通道图像1/16尺寸的粗粒度显著性特 征图B_16 。 3.根据权利要求1所述的边缘增强显著性目标检测网络， 其特征在于， 所述渐进式特征 融合模块包括特征通道减少操作单元、 反卷积上采样操作单元、 简单像素相加操作单元、 特 征融合操作单元和第一反向传播优化单元， 所述特征通道减少操作单元用于通过1*1卷积 核对所述Backbone网络模块输出的显著性特征图B_4的通道、 显著性特征图B_8的通道和显 著性特征图B_16处理的通道进 行减少操作， 使 得显著性特征图B_4的通道数、 显著 性特征图 B_8的通道数和显著性特征图B_16的通道数均与所述Backbone网络模块输出的显著 性特征 图B_2的通道数一致； 所述反卷积上采样操作单元用于对经过通道减少操作处理的显著性 特征图B_4、 显著性特征图B_8和显著性特征图B_16进行反卷积上采样操作， 使得经过通道 减少操作处理的显著 性特征图B_4的尺 寸、 显著性特征图B_8的尺 寸和显著 性特征图B_16的 尺寸均与所述Backbone网络模块输出的显著性特征图B_2的尺寸一致， 得到显著性特征图 P_1_4、 显著性特征图P_1_8和显著性特征图P_1_16； 所述简单像素相加操作单元用于将所 述Backbone网络模块输出的显著 性特征图B_2分别与所述反卷积上采样操作单元输出的显 著性特征图P_1_4、 显著性特征图P_1_8和显著性特征图P_1_16进行逐像素相加操作， 得到权　利　要　求　书 1/3 页 2 CN 115205643 A 2三个通道数相同且分辨率为待处理的三通道图像1/2尺寸的特征图； 所述特征融合操作单 元用于采用包含不同尺寸卷积核的卷积组处理所述简单像素相加操作单元输出的三个特 征图， 并将三个特征图融合为一个特征图FP； 所述第一反向传播优化单元用于通过特征图FP 对应的掩码标签对所述特征融合操作单元输出的特征 图FP进行损失计算及反向传播优化 处理。 4.根据权利要求1所述的边缘增强显著性目标检测网络， 其特征在于， 所述核变化边缘 检测模块包括结构化损失标签获取单元、 边缘检测单元和第二反向传播优化单元， 所述结 构化损失标签获取单元用于通过对待检测 三通道图像对应的真实标签图像进行下采样处 理， 并对下采样处理差值得到的标签图像进行多种方式的上采样处理， 将待检测三通道图 像对应的真实标签图像逐像素减去上采样处理得到的标签图像得到结构化损失标签； 所述 边缘检测单元用于采用包含不同尺寸卷积核的卷积组处理所述Backbone网络模块输出的 不同尺寸粗粒度显著 性特征图， 使 得处理得到的各个特征图分别与对应的所述Backbone网 络模块输出 的各个特征图的尺寸一致， 并逐像素相加相邻的处理得到的各个特征图， 得到 两个中间边缘特征图， 以及对得到的两个中间边缘特征图经过通道减少操作处理， 使得两 个中间边缘特征图的通道输数变为1， 将经过通道减少操作处理得到的两个中间边缘图进 行逐像素相加操作得到结构化特征图FE； 所述第二反向传播优化单元用于通过所述结构化 损失标签获取单元获取的结构化损失标签对所述结构化特征 图FE进行损失计算及反向传 播优化处 理。 5.一种边缘增强显著性目标检测算法， 应用 如权利要求1 ‑4中任一项所述的边缘增强 显著性目标检测网络进行显著性目标检测， 其特 征在于， 包括： 通过Backbone网络模块对输入的待检测三通道图像进行特征提取， 获取多种 尺寸的粗 粒度显著性特 征； 通过渐进式特征融合模块融合从所述Backbone网络模块获得的粗粒度显著性特征， 获 取融合特 征； 通过核变化边缘检测模块从所述Backbone网络模块获得的粗粒度显著性特征中捕获 显著性目标在上采样过程中损失的结构化细节特 征； 通过逐像素相加输出操作模块将所述渐进式特征融合模块获得的融合特征和所述核 变化边缘检测模块获取的结构化特 征进行逐像素相加融合， 获取显著图。 6.根据权利要求5所述的边缘增强显著性目标检测算法， 其特征在于， 所述通过 Backbone网络模块对输入的待检测三通道图像进行特征提取， 获取多种尺 寸的粗粒度显著 性特征： 通过ResNet50子网络单元对待处理的三通道图像分别进行2倍、 4倍、 8倍和16倍下采 样， 分别获取待处理的三通道图像1/2尺寸、 1/4尺寸、 1/8尺寸和1/16尺寸的低分辨率特征 图； 通过VGG16子网络单元对所述ResNet50子网络单元输出的1/2尺寸、 1/4尺寸、 1/8尺寸 和1/16尺寸低分辨率特征图分别进行特征提取， 分别获取待处理的三通道图像1/2尺寸的 粗粒度显著 性特征图B_2、 待处理的三通道图像1/4尺 寸的粗粒度显著性特征图B_4、 待处理 的三通道图像1/8尺寸的粗粒度显著性特征图B_8和待处理的三通道图像1/16尺寸的粗粒 度显著性特 征图B_16 。权　利　要　求　书 2/3 页 3 CN 115205643 A 3