(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221090476 3.3 (22)申请日 2022.07.29 (71)申请人 北京交通大 学 地址 100044 北京市海淀区上园村 3号 申请人 中国国家铁路集团有限公司 (72)发明人 郭保青　余祖俊　朱力强　王尧　 (74)专利代理 机构 北京卫平智业专利代理事务 所(普通合伙) 11392 专利代理师 闫萍 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多尺度特征融合的铁路异物侵限检测 方法与骨干网络 (57)摘要 本发明涉及一种多尺度特征融合的铁路异 物侵限检测方法与骨干网络， 多尺度特征融合骨 干网络包含M层， 每层包括N个特征融合输入和1 个卷积输入、 N个特征融合输 出和1个卷积输出； M 层中上一层的N个特征融合输出作为下一层的N 个特征融合输入， 上一层的1个卷积输出作为下 一层的1个卷积输入； M层中每层的卷积输 出同时 作为该尺度下的特征。 本发明的多尺度特征融合 骨干网络 可提升对于铁 路目标特征的提取能力， 尤其是对铁路中小目标特征的提取能力； 本发明 方法提取的特征更显著。 同时， 通过深度可分离 卷积可降低骨干网络的参数量和计算量， 降低了 骨干网络的存 储压力和计算压力。 权利要求书2页 说明书6页 附图3页 CN 115424031 A 2022.12.02 CN 115424031 A 1.一种多尺度特征融合骨干网络， 其特征在于： 包括M层， 每一层由2*N个多尺度特征融 合模块组成， 多尺度特征融合模块采用多输入双输出结构， 在每个多尺度特征融合模块中， x、 x1、 x2……xN为不同尺度的特征输入， y1、 y2为两种不同尺度的特征输出； 在特征输入中， x1、 x2……xN称为特征融合输入， x称为卷积输入； 在特征输出中， y1称为特征融合输出， y2 称为卷积输出； M层中的每一层包括N个特征融合输入和1个卷积输入， 以及N个特征融合输 出和1个卷积输出； M层中上一层的N个特征融合输出作为下一层的N个特征融合输入， 上一 层的1个卷积输出作为下一层的1个卷积输入； M层中每层的卷积输出同时作为该尺度下 的 特征featurek， 1≤k≤ M。 2.如权利要求1所述的多尺度 特征融合骨干网络， 其特征在于： 每一层包括N+1组输入： layer_x、 layer_x1、 layer_x2、 ……、 layer_xN， 和N+1组输出： layer_y、 layer_y1、 layer_ y2、……、 layer_yN； 每一层的输入layer_x1、 layer_x2、 ……、 layer_xN分别作为该层中MIDO  Block1_1、 MIDO Block1_2、 ……、 MIDO Block1_N这N个多尺度特征融合模块的特征融合输入x1、 x2、……、 xN， 输入layer_x作为MIDO  Block1_1模块的卷积输入 x。 3.如权利要求2所述的多尺度 特征融合骨干网络， 其特征在于： 对于每一层的卷积输入 layer_x， 经MIDO  Block1_1模块卷积之后， 得到 卷积输出block1_1y2， 这一卷积输出结果作 为MIDO Block1_2模块的卷积输入x； 卷积输入依次经过MIDO  Block1_1、 MIDO  Block1_ 2、……、 MIDO Block1_N、 MIDO  Block2_1、 MIDO  Block2_2、 ……、 MIDO Block2_N后再经过下 采样得到该层的卷积输出layer_y。 4.如权利要求2所述的多尺度 特征融合骨干网络， 其特征在于： 对于每一层的特征融合 输入layer_x1、 layer _x2、……、 layer_xN， 经过MIDO  Block1_1、 MIDO  Block1_2、 ……、 MIDO  Block1_N这N个多尺度特征融合模块后， 每个多尺度特征融合模块都会输出1个特征融合输 出， N个多尺度特征融合模块共获得N个特征融合输出； 这N个特征融合输出将分别作为MIDO   Block2_1、 MID O Block2_2、 ……、 MIDO Block2_N模块的特征融合输入， 由MID O Block2_1、 MIDO Block2_2、 ……、 MIDO Block2_N这N个模块得到N组特征融合输出， N组特征融合输出 分别经下采样模块后将作为 这一层的特 征融合输出layer_y1、 layer_y2、 ……、 layer_yN。 5.如权利要求3或4所述的多尺度特征融合骨干网络， 其特征在于： 对于MIDO  Block2_ 1、 MIDO Block2_2、……、 MIDO Block2_N的输 出设置了下采样 模块down sample， 每一层的卷 积输出和特 征融合输出都经 下采样模块后输出。 6.如权利要求1所述的多尺度 特征融合骨干网络， 其特征在于： 当不同的特征被输入到 多尺度特征融合模块时， 该多尺度特征融合模块为不同的输入x、 x1～xN分配一个可学习的 加权值p0、 p1～pN， 这个加权值用于对不同的输入进行加权， 最终值由网络自行 学习而得到 。 7.如权利要求1所述的多尺度 特征融合骨干网络， 其特征在于： 在每个多尺度 特征融合 模块中， N个特征融合输入和1个卷积输入加权融合后获得多尺度特征融合模块的特征融合 输出y1； 特征融合输出y1一方面作为多尺度特征融合模块的输出， 另一方面， 特征融合输出 y1还被送入MobileNetV2模块中； y1经卷积操作后得到多尺度特征融合模块的另一路卷积 输出y2。 8.如权利 要求7所述的多尺度特征融合骨干网络， 其特征在于： 在MobileNetV2模块中， 首先利用卷积核为 1×1的逐点卷积增加通道数， 然后利用3 ×3的卷积核对特征进 行可分离权　利　要　求　书 1/2 页 2 CN 115424031 A 2卷积， 获取图片中的相应特征； 最后使用1 ×1的逐点卷积整合各个通道间的信息， 恢复通道 数并输出提取的特 征。 9.一种多尺度特征融合的铁路异物侵限检测方法， 其特征在于： 利用权利要求1 ‑8任一 所述的多尺度特 征融合骨干网络， 包括以下步骤： 步骤1.一幅图像首先被统一尺度到H ×H， 并输入到多尺度 特征融合骨干网络的第一层 layer1， layer1产生 N个特征融合输出和1个卷积输出， 该 卷积输出作为特 征feature1； 步骤2.layer1的N个特征融合输出和1个卷积输出分别作为第二层layer2的特征融合 输入和卷积 输入， 输入到layer2， layer2产生N个特征融合输出和1个卷积 输出， 该卷积 输出 作为特征feature2； 步骤3.layer2的N个特征融合输出和1个卷积输出分别作为第三层layer3的特征融合 输入和卷积 输入， 输入到layer3， layer3产生N个特征融合输出和1个卷积 输出， 该卷积 输出 作为特征feature3； 步骤4.以此类推， 最终， layerM ‑1的N个特征融合输出和1个卷积输出分别作为layerM 的特征融合输入和卷积输入， 输入到layerM， layerM产生1个卷积输出， 该卷积输出作为特 征featureM； 步骤5.将layer2～layerM生成的具有不同尺度的特征feature2～featureM经过上采 样统一到与layer1输出的特征feature1相同尺度， 再统一输入到通道加权单元进行特征增 强， 增强后的特征通过特征加权单元融合后输入到识别模块detector中进行目标分类检 测， 实现铁路场景中入侵目标的分类识别。 10.如权利要求9所述的多尺度特征融合的铁路异物侵限检测方法， 其特征在于： 通道 加权单元采用SE注意力机制， SE注意力机制能够为特征的每一个通道生成一个权重； SE注 意力机制首先通过全局平均池化将每一个通道的信息转化为一个通道标识符， 如公式(1) 所示： Xc(i,j)代表输入特征的c通道中位置为(i,j)的值， 全局平均池化层将C ×H×W的特征 图转化为C ×1×1的向量； 接着通道标识符经过两层的全连接后， 得到通道的权重， 如公式 (2)所示： Cout＝σ(L( δ(L(gc))))(2) L表示全连接层， σ 表示sigmo id激活函数， δ表示ReLu激活函数； 得到每一层的权重后， 将权重与对应输入通道的原始特征相乘， 再与原始特征相加， 获 得经过加权后的特 征， 如公式(3)所示： X'代表经过加权后的特征， X表示原始特征， Cout为由注意力机制而生成的权重， 表示 将Cout中的一维权 重与原始特征X中相对应的特 征通道相乘。权　利　要　求　书 2/2 页 3 CN 115424031 A 3