(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210836601.0 (22)申请日 2022.07.15 (71)申请人 哈尔滨市科佳通用机电股份有限公 司 地址 150060 黑龙江省哈尔滨市经开区哈 平路集中区潍 坊路2号 (72)发明人 杨宇　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 高倩 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/766(2022.01) G06V 10/10(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/776(2022.01) G06V 20/60(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的折角塞门卡子丢失故障检 测方法 (57)摘要 基于深度学习的折角塞门卡子丢失故障检 测方法， 解决了现有目标自动识别方式难以在大 尺度图像的小目标检测 中同时兼顾准确性和实 时性的问题， 属于铁路货车故障检测领域。 本发 明包括： 获取货车底、 侧部原始图像； 利用阀体边 界检测模型对货车底、 侧部原始图像进行检测， 获取折角塞门 阀体边界信息； 根据折角塞门阀体 边界信息， 将折角塞门卡子区域图像从底、 侧部 图像中裁剪出来， 获得底、 侧部二级子图像， 将 底、 侧部二级子图像的垂直拼接， 获得融合待检 图像； 利用卡子边界检测模型对融合待检图像进 行检测， 获取折角塞门卡子边界信息； 根据折角 塞门卡子边界信息判断融合待检图像是否存在 底、 侧部卡子， 确定是否发生丢失 故障。 权利要求书3页 说明书7页 附图2页 CN 115170828 A 2022.10.11 CN 115170828 A 1.一种基于深度学习的折角塞门卡子 丢失故障检测方法， 其特 征在于， 包括： S1、 获取货车底、 侧部原 始图像； S2、 利用阀体边界检测模型对货车底、 侧部原始图像进行检测， 获取折角塞门阀体边界 信息； S3、 根据折角塞门阀体边界信息， 在水平方向对侧部原始图像进行缩放， 使底、 侧部原 始图像中折角塞门阀体边界宽度相等， 将折角塞门卡子区域图像从底、 侧部图像中裁剪出 来， 获得底、 侧部二级子图像， 再以折角塞门 阀体边界水平对齐为条件， 进 行底、 侧部二级子 图像的垂直 拼接， 获得融合待检图像； S4、 利用卡子边界检测模型对融合待检图像进行检测， 获取折角塞门卡子边界信息； S5、 根据折角塞门卡子边界信息判断融合待检图像是否存在底、 侧部卡子， 若是， 检测 结果为折角塞门卡子未丢失， 若否， 检测结果 为折角塞门卡子 丢失， 进行告警。 2.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， 所述阀体边界检测模型采用CPNDet网络， CPNDet网络采用的损失函数为； 其中， Lα‑CIoU表示CPNDet网络损失， α为附加的幂次正则项， IoU为预测框与真实框的交 并比， ρ2(b， bgt)表示预测框中心点b与真实框中心点bgt的欧氏距离， c2表示预测框与真实框 最小外接矩形的对角线长度； ( β υ )表示纵横比一 致性损失。 3.根据权利要求2所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， wgt和hgt分别为真实框的宽和高， w和h分 别为预测框的宽和高。 4.根据权利要求3所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， 对阀体边界检测模型进行训练的方法包括： 对包含折角塞门卡子区域的工位图像进行 标记， 构建阀体边界检测训练集； 采用均值为0， 方差为0.01的正态分布模型对阀体边界检测模型的权重进行随机初始 化， 将阀体边界检测训练集中图像作为输入， 通过重复迭代优化， 直至得到阀体边界检测模 型权重的最佳值。 5.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， 所述卡子边界检测模型采用FasterRCNN网络， 采用多头自注意力检测金字塔替换 FasterRCN N网络中基于ResNet5 0的FPN骨干网络中的下采样结构； 多头自注意力检测金字塔包括图像区域分割模块、 图像局部特征序列化模块、 4个多头 自注意力特 征提取模块和3个图像局部特 征下采样模块； 图像区域分割模块， 与图像局部特征序列化模块连接， 用于接收输入图像， 输入图像为 维度(C， H， W)的图像， 对输入图像以P*P大小的矩形空间对图像进行分割， 并重组成维度 的图像局部特征集合， 并发送给图像局部特征序列化模块； C表示输入图像的通 道数， H表示输入图像的高度， W表示输入图像的宽度； 图像局部特征序列化模块， 与1号多头自注意力特征提取模块连接， 用于将接收的图像权　利　要　求　书 1/3 页 2 CN 115170828 A 2局部特征集合展平， 形成维度 的新集合， 将新集合进行转置操作， 生成序列化后 的图像局部特征集合， 维度为 将序列化后的图像局部特征集合发送至1号多头 自注意力特 征提取模块； 1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提 取， 提取出的特征向量输入至1号图像局部特征下采样模块； 1号多头自注意力特征提取模 块由2个多头相对位置编码自注意力模组堆叠组成； 1号图像局部特征下采样模块， 与2号多头自注意力特征提取模块连接， 用于对输入的 特征向量下采样后， 得到的特征向量输入至2号多头自注意力特征提取模块， 2号多头自注 意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成； 2号多头自注意力特征提取模块， 与2号图像局部特征下采样模块连接， 用于对输入的 特征向量进行 特征提取， 提取 出的特征向量输入至2号图像局部特 征下采样模块； 2号图像局部特征下采样模块， 与3号多头自注意力特征提取模块连接， 用于对输入的 特征向量下采样后， 得到的特征向量输入至3号多头自注意力特征提取模块， 3号多头自注 意力特征提取模块由6个多头相对位置编码自注意力模组堆叠组成； 3号多头自注意力特征提取模块， 与3号图像局部特征下采样模块连接， 用于对输入的 特征向量进行 特征提取， 提取 出的特征向量输入至 3号图像局部特 征下采样模块； 3号图像局部特征下采样模块， 与4号多头自注意力特征提取模块连接， 用于对输入的 特征向量下采样后， 得到的特征向量输入至4号多头自注意力特征提取模块， 4号多头自注 意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成； 4号多头自注意力特征提取模块， 用于对输入的特征向量进行特征提取， 提取出的特征 向量为多头自注意力检测金字塔获得 下采样结果。 6.根据权利要求5所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， 每个图像局部特征下采样模块包括相连接的下采样层和全连接层， 下采样层， 用于利用 数值为1、 间隔为1的空洞卷积模板对输入的图像 向量进行下采样， 输入的图像 向量的维度 为(H， W， C)， 输出维度为(H /2， W/2， 4C)的特 征向量至全连接层； 全连接层， 用于将维度为(H/2， W/2， 4C)的特征向量重整维度为(H/2， W/2， 2C)的特征向 量输出。 7.根据权利要求5所述的基于深度学习的折角塞门卡子丢失故障检测方法， 其特征在 于， 每个多头相对位置编码自注意力模组包括一个注入相对位置编码的多头自注意力层、 一个LayerN orm层和一个多层感知机； 注入相对位置编码的多头自注意力层包括num_heads个并行的单头自注意力层， 每个 单头自注意力层的输出为： 其中， 向量Qi＝X1WiQ， 向量Ki＝X1WiK， 向量Vi＝X1WiV， i表示单头自注意力层的索引值， WiQ、 WiK、 WiV表示三种线性投影变换， X1表示多头自注意力层的输入， 假设Qi、 Ki、 Vi的维度为 (M， L)， X1的维度为(M， N)， 那么有 而Bi为相对位置重要性参数， 维度为(M， M)， Bi的计算依赖相对位置索引表和相对位置 重要性数值表；权　利　要　求　书 2/3 页 3 CN 115170828 A 3