(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210793757.5 (22)申请日 2022.07.07 (71)申请人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 申请人 合肥中科融道智能科技有限公司 (72)发明人 谢成军　张震宇　杜健铭　张洁　 李瑞　陈红波　刘术娟　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 侯婷　张祥骞 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于动态感受野的输电线路销钉缺陷 检测方法 (57)摘要 本发明涉及一种基于动态感受野的输电线 路销钉缺陷检测方法， 与现有技术相比解决了输 电线路销钉缺陷检测方法精度不高、 鲁棒性较差 的缺陷。 本发明包括以下步骤： 输电线路销钉缺 陷样本的获取和预处理； 输电线路销钉缺陷检测 模型的构建； 输电线路销钉缺陷检测模型的训 练； 待检测输电线路销钉图像的获得； 输电线路 销钉缺陷检测结果的获得。 本发 明在特征金字塔 网络不同层融合过程中自适应的使用不同的感 受野， 充分融合了多通道的上下文信息， 利用不 同大小感受野和通道内信息； 通过空间激活区域 生成网络， 增强感兴趣区域的信息获取， 提高深 层卷积网络的特征提取， 保留更多的信息用于检 测器最后的分类和回归， 进一步提高销钉缺陷检 测的精度和识别率。 权利要求书3页 说明书7页 附图3页 CN 115082798 A 2022.09.20 CN 115082798 A 1.一种基于动态感受野的输电线路销钉缺陷检测方法， 其特 征在于， 包括以下步骤： 11)输电线路销钉缺陷样本的获取和预处理： 获取输电线路销钉缺陷样本， 对缺陷样本 进行数据清洗、 数据增强的预处 理； 12)输电线路销钉缺陷检测模型的构建： 构建由嵌入动态感受野模块融合上下文和通 道间信息的特征提取网络、 嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电 线路销钉缺陷检测模型； 13)输电线路销钉缺陷检测模型的训练： 将预处理后的输电线路销钉缺陷样本送入输 电线路销钉缺陷检测模型进行训练； 14)待检测输电线路销钉图像的获得： 获得待检测输电线路销钉图像， 并进行 预处理； 15)输电线路销钉缺陷检测结果的获得： 将预处理后的待检测输电线路销钉图像输入 训练后的输电线路销钉缺陷检测模型， 得到 输电线路销钉缺陷检测结果。 2.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法， 其特征 在于， 所述输电线路销钉缺陷检测模型的构建包括以下步骤： 21)基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网 络； 211)特征金字塔的设定： 设定特征金字塔包括自下而上、 自上而下和横向连接3个部 分； 212)设置动态感受野模块： 设定动态感受野模块由两个分支组成， 其为具有不同大小 感受野并融合上 下文和通道信息的大感受野分支、 小感受野分支； 22)通过激活感兴趣区域的空间信息， 构建空间激活的区域 生成网络； 221)区域生成网络的设定： 设定区域生成网络由两个分支组成， 一个1*1*18卷积的分 类分支使用softmax损失， 一个1*1*36卷积的回归分支使用smooth ‑L1损失， 经过两个分支 产生感兴趣区域； 222)设定空间激活模块由两个分支组成， 其放置在每一个感兴趣区域之后， 进一步激 活这些区域的空间信息， 具体为一个分支将所有通道的特征图对应点的像素值取平均得到 一张特征图， 通过平均处理更好的获取特征层的全局信息， 另一个分支将所有通道的特征 图对应点的像素值取最大值得到另一张特征图， 通过取最大值更好的获取特征层的纹理信 息， 然后将这两个特征图拼接起来， 再经过一个3*3的卷积层和一个sigmoid非线性函数激 活， 产生热力图反馈 到对应的感兴趣区域； f(x)＝σ {c[mean(x)+max(x)]}*x， 其中， c为3*3卷积, σ 为sigmoid激活函数， x为输入的感兴趣区域， f(x)为激活之后的感 兴趣区域， max(x)为取最大值 函数， mean(x)为取平均值 函数； 23)构建缺陷检测网络： 缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测， 包括2个分支， 一个1*1*C卷积的分类分支使用softmax损失， 一个1*1*4卷积的定位分支使 用smooth‑L1损失。 3.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法， 其特征 在于， 所述输电线路销钉缺陷检测模型的训练包括以下步骤： 31)设定输电线路销钉缺陷检测模型共训练24轮， 把训练数据集图片H*W输入特征提取 网络， 其中， H为图片高度， W 为图片宽度；权　利　要　求　书 1/3 页 2 CN 115082798 A 2311)训练数据集图片H*W进入特征提取网络的自下而上部分： 输入图片由5个卷积层组 成， 每一个卷积层由64通道的1*1卷积， 64通道的3*3卷积和256通道的1*1卷积组成， 分别产 生C2特征层、 C3特征层、 C4特 征层、 C5四个特征层； 312)再进入特 征提取网络的自上而下和横向连接 部分： 具体为C5特征层 先经过1*1卷积， 得到M5特征层； M5先进行2倍上采样， 再加上C4特征层 经过1*1卷积的横向连接得到M4特征层； M4特征层先进行2倍上采样， 再加上C3特征层经过 1*1卷积的横向连接得到M3特征层； M3特征层先进行2倍上采样， 再加上C2特征层经过1*1卷 积的横向连接得到M2特征层； M2特征层、 M3特征层、 M4特征层、 M5特征层再分别经过3*3卷 积， 得到最终的P2特 征层、 P3特 征层、 P4特 征层、 P5特 征层； 32)将特征提取网络得到输出的P2特征层、 P3特征层、 P4特征层、 P5特征层， 输入嵌入 空 间激活模块的区域生成网络， 分别在P2特征层、 P3特征层、 P4特征层、 P5特征层四个特征层 上产生感兴趣区域； 33)由嵌入空间激活模块的区域生成网络得到的感兴趣区域通过一个pooling层从P2 特征层、 P3特征层、 P4特征层、 P5特征层切出并输入到缺陷检测网络， 缺陷检测网络全连接 分支使用交叉熵损失， boundi ng box回归分支采用GIOU  loss作为损失函数。 4.根据权利要求2所述的一种基于动态感受野的输电线路销钉缺陷检测方法， 其特征 在于， 所述特 征金字塔的设定包括以下步骤： 41)设定特征金字塔的自下而上部分经过5个卷积层， 5个卷积层依次对应由步长2、 4、 8、 16、 32的卷积进行 特征提取， 产生C2特 征层、 C3特征层、 C4特 征层、 C5四个特征层； 42)设定特征金字塔的自上而下及横向连接部分， 为C5特征层先经过1x1卷积， 得到M5 特征层； M5特征层先进行2倍上采样， 再加上C4特征层经过1*1卷积的横向连接得到M4特征 层， M4特征层先进 行2倍上采样， 再加上C3特征层经过1*1卷积的横向连接得到M3特征层， M3 特征层先进行2倍上采样， 再加上C2特征层经过1*1卷积的横向连接得到M2特征层， M2特征 层、 M3特征层、 M4特征层、 M5特征层再分别经过3*3卷积， 得到最终的P2特征层、 P3特征层、 P4 特征层、 P5特征层； 其中， 在自上而下部分将M2特征层、 M3特征层、 M4特征层、 M5不同层之间 横向连接之后嵌入动态感受野 模块。 5.根据权利要求2所述的一种基于动态感受野的输电线路销钉缺陷检测方法， 其特征 在于， 所述设置动态感受野 模块包括以下步骤： 51)设定小感受野分支先经过一个3*3的卷积核， 输入输出通道数不变， 通过paddin g保 持特征图的尺寸， 然后经过两路处理： 一路对其全局平均池化产生一个1*1*c的向量， 用于 在深层次上描述全局特征， 产生其每个维度的激活因子， 另一路则对其全局 最大池化获取 深层次的空间信息产生相应的激活因子， 两路的激活因子维度相同， 将其直接相加然后经 过非线性激活函数relu和sigmo id再反馈 到每个通道上； y1＝relu(bn(c1(x))) 其中， x为特征金字塔M 特征层横向连接之后的特征层， c1代表3*3卷积,relu 为线性整流 函数， bn为批归一 化层， y1为输出层； A1＝f2(relu(f1(avgpo ol(y1)))) B1＝f2(relu(f1(maxpo ol(y1)))) 其中， f1、 f2为全连接层， avgpool、 maxpool分别 代表全局平均池化和全局最大池化， A1权　利　要　求　书 2/3 页 3 CN 115082798 A 3