(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821135.9 (22)申请日 2022.07.13 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 万亮　肖业凡　陈峙灏　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 潘俊达 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种双阶段迭代上下文边界反馈网络的语 义分割方法 (57)摘要 本发明属于计算机视觉的语义分割领域， 具 体涉及一种双阶段迭代上下文边界反馈网络的 语义分割方法， 通过模仿医生 “从初级到精细 ”的 工作范式， ICBNet采用了迭代反馈学习策略， 它 通过初步分割和边界预测 中的上下文和边界感 知细节来细化编码器特征， 并以迭代方式执行这 种策略以实现渐进式 改进。 在分割和边界预测的 指导下增强特征以实现迭代学习。 首先在第一阶 段生成初始息肉区域分割结果 以及病灶边界分 割结果， 再将该结果输入到IFU模块中进行迭代 优化， 经过双阶段迭代优化后得到最终的分割结 果。 本发明利用双阶段迭代优化来有效地解决外 观变化和模糊边界的问题。 权利要求书1页 说明书5页 附图4页 CN 115147604 A 2022.10.04 CN 115147604 A 1.一种双阶段迭代上 下文边界反馈网络的语义分割方法， 其特 征在于， 包括： 步骤一、 将原始图像输入ICBNet的编码器， 通过编码器各层， 分别得到各层的语义特 征； 步骤二、 将边界区域特征降采样后， 和语义特征一起输入到IFU模块， 获取增 强语义特 征， 并将其输入解码器得到初始分割结果； 步骤三、 将初始分割结果降采样后， 和语义特征、 采样后的边界特征一起输入到IFU模 块中， 得到第二次迭代的增强语义特 征， 并通过解码器再次生成优化的分割结果。 2.如权利要求1所述的一种双阶段迭代上下文边界反馈网络的语义分割方法， 其特征 在于， 所述 步骤一中， 还 包括： 通过ICBNet的编码器部分的最高级特征以及最低级特征， 在重新采样到相同尺寸后一 起输入卷积层编码器， 生成边界特 征， 并将边界特 征进一步降维， 得到边界分割预测。 3.如权利要求1所述的一种双阶段迭代上下文边界反馈网络的语义分割方法， 其特征 在于， 所述 步骤二中， 获取增强语义特 征， 包括： 在第一次迭代中， IFU模块融合边界特征， 在第二次迭代中， IFU模块融合边界特征， 还 分别对前背景区域的上 下文语义信息进行增强， 得到新的增强特 征。 4.如权利要求1所述的一种双阶段迭代上下文边界反馈网络的语义分割方法， 其特征 在于， 还包括： 1)将第一次迭代的初始分割预测结果、 边界特 征以及该层语义特 征输入到IFU模块； 2)将第一次迭代的分割结果和该层语义特征掩膜， 得到前景信息的特征， 经过前景增 强模块得到初步的前 景增强特 征； 3)将第一次迭代的分割结果反转后， 和该层语义特征掩膜， 得到背景信息特征， 经过文 本注意力模块得到背景 上下文注意力； 4)将背景上下文注意力分别作用于初步得到的前景增强特征和背景特征， 通过取反掩 膜/直接掩膜的方式， 分别对初步得到的前景增强特征和背 景特征做注意力， 得到最后的前 景增强特 征、 背景增强特 征； 5)将前景增强特 征、 背景增强特 征和边界特 征相加， 得到最后的增强特 征。权　利　要　求　书 1/1 页 2 CN 115147604 A 2一种双阶段 迭代上下文边界反馈网 络的语义分割方 法 技术领域 [0001]本发明属于计算机视觉的语义分割领域， 具体涉及一种双阶段迭代上下文边界反 馈网络的语义分割方法。 背景技术 [0002]语义分割算法是针对图像上每一个像素的分类， 是像素级别的问题。 目前应用广 泛的语义分割网络都是基于FCN来进行改进的。 FCN网络利用CNN在图像上的强大学习能力 的一个全卷积化概念， 将现有的一些常用分类深度网络模型的全连接层全部用卷积层来替 代， 使得网络最终输出的结果是一张图片而不是一维向量， 实现了端对端的语义分割； 其 次， 通过去除全连接层能实现任意大小图片的输入， 从而保证输入与输出图片大小相等。 由 于卷积层后接有池化层， 池化层又称下采样层， 会对图片的分辨率大小产生影响。 为了保证 输入图片与输出图片的大小相等， FCN网络使用反卷积的方式进行上采样以维持图片的分 辨率。 息肉分割的问题在于边界特性不明显， 容易与周围组织混淆。 早期的基于CNN的方法 只考虑了整个息肉区域的分割， 忽略了分割的边界约束。 [0003]为了解决这个问题， PraNet在多个层次上聚合编码器特征， 并使用反向边界注意 来挖掘边界线索。 MSNet探索了不同的方法来获得不同层次之间的互补信息。 在 Transformer基础上开发的Polyp ‑PVT用自注意力机制来探索像素之间的相似度， 来提升分 割精度。 HRENet和LOD ‑Net在内的一些工作从分割预测中提取边界区域或候选边界作为显 式监督； 更注重补偿结肠镜检查图像之间的色差的SANet等， 采用单 阶段处理管道。 尽管可 以改善特 征表示， 但细化特 征的细节仍然不足。 发明内容 [0004]本发明的目的在于： 针对现有技术的不足， 提供一种双阶段迭代上下文边界反馈 网络的语义分割方法， 能够解决息肉语义分割技术中存在的单阶段网络模 型精度不够的问 题。 [0005]为了实现上述目的， 本发明采用如下技 术方案： [0006]一种双阶段迭代上 下文边界反馈网络的语义分割方法， 包括： [0007]步骤一、 将原始图像输入ICBNet的编码器， 通过编码器各层， 分别得到各层的语义 特征； [0008]步骤二、 将边界区域特征降采样后， 和语义特征一起输入到IFU模块， 获取增强语 义特征， 并将其输入解码器得到初始分割结果； [0009]步骤三、 将初始分割结果降采样后， 和语义特征、 采样后的边界特征一起输入到 IFU模块中， 得到第二次迭代的增强语义特 征， 并通过解码器再次生成优化的分割结果。 [0010]优选的， 所述 步骤一中， 还 包括： [0011]通过ICBNet的编码器部分的最高级特征以及最低级特征， 在重新采样到相同尺寸 后一起输入卷积层编码器生成边界特 征， 并将边界特 征进一步降维， 得到边界分割预测。说　明　书 1/5 页 3 CN 115147604 A 3