(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210725196.5 (22)申请日 2022.06.23 (71)申请人 国网智能电网研究院有限公司 地址 102209 北京市昌平区未来科技城 滨 河大道18号 申请人 国网山东省电力公司枣庄供电公司 　 国家电网有限公司 (72)发明人 张屹　张国梁　杜泽旭　吴鹏　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 王娜 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/50(2006.01) G06V 10/74(2022.01)G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 电气设备缺陷的检测方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开了电气设备缺陷的检测方法、 装 置、 电子设备及存储介质。 方法包括： 获取目标电 气设备进行检测得到目标图像组； 提取目标可见 光图像中的目标可见光特征， 以及目标红外图像 的目标红外特征， 并基于目标可见光特征和目标 红外特征生成目标融合特征； 检测目标融合特征 中的多个目标检测框特征， 并获取每个目标检测 框特征对应的特征词组； 从特征词组中， 获取与 目标检测框特征相匹配的特征词， 并作为目标电 气设备的缺陷检测结果。 本申请通过同时采集电 气设备的可将光图像和红外图像， 并按照差异性 权重将二者融合， 增强了暗光情况下的成像效 果， 保证利用检测框特征得到的特征词更全面， 同时提高了电气设备缺陷的检测准确性。 权利要求书2页 说明书10页 附图2页 CN 115115592 A 2022.09.27 CN 115115592 A 1.一种电气设备缺陷的检测方法， 其特 征在于， 包括： 获取目标电气设备进行检测得到目标图像组， 其中， 所述目标图像组至少包括目标可 见光图像以及目标红外图像； 提取所述目标可见光图像中的目标可见光特征， 以及所述目标红外图像的目标红外特 征， 并基于所述目标 可见光特征和所述目标红外特 征生成目标融合特 征； 检测所述目标融合特征中的多个目标检测框特征， 并获取每个目标检测框特征对应的 特征词组， 其中， 所述特征词组包括至少一个所述 目标检测框特征对应的用于描述电气设 备缺陷的特 征词； 从所述特征词组中， 获取与所述目标检测框特征相匹配的特征词， 并作为所述目标电 气设备的缺陷检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述目标可见光特征以及所述目标红外特 征均为多尺度特 征； 所述基于所述目标 可见光特征和所述目标红外特 征生成目标融合特 征， 包括： 将所述目标可见光特征与所述目标红外特征中一一对应的尺度特征输入预先训练好 的权重模型， 以使所述权重模型基于一一对应的尺度特征确定所述目标可见光特征和所述 目标红外特 征对应的差异性权 重； 按照所述差异性权 重对所述目标红外特 征进行卷积计算， 得到初始融合特 征； 融合所述目标 可见光特征以及所述初始融合特 征， 得到目标融合特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述检测所述目标融合特征中的多个目标 检测框特 征， 包括： 通过预先训练 的图像检测模型对所述目标融合特征进行检测， 得到所述目标融合特征 对应的图像 检测结果， 其中， 所述图像 检测结果包括： 至少一个目标检测框； 提取所述目标检测框内的图像特 征作为所述目标检测框特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述获取每个目标检测框特征对应的特征 词组， 包括： 获取所述目标检测框特 征包括的多个子特 征； 查询与所述子特 征对应的至少一个候选特 征词； 基于所述 候选特征词构建所述目标检测框特 征对应的特 征词组。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述特征词组的全部特征词， 得 到所述目标检测框特 征相匹配的目标缺陷类别， 包括： 利用所述特征词组包括的特征词与 所述目标检测框特征构建目标检测序列， 并通过注 意力网络模型对所述目标检测序列进 行分析， 得到所述目标检测框特征与每个特征词之间 的相关度； 获取每个特征词对应的相关度阈值， 对比每个特征词与目标检测框特征之间的相关度 与所述相关度阈值， 并将相关度大于所述相关度阈值的特征词确定为输入向量， 其中， 所述 相关度阈值的计算公式为： t2＝t1+α×(t'‑t1), α ＝0.1， t1为初始相关度阈值， t'为相关度 阈值平均值， t2为相关度阈值； 将所述输入向量输入预先训练的分类模型， 得到所述目标缺陷类别， 其中， 所述目标缺 陷类别是所述分类模型根据基于所述输入向量对应的相关度计算所述输入向量对应候选权　利　要　求　书 1/2 页 2 CN 115115592 A 2缺陷类别的缺陷分数， 并基于缺陷分数确定的。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 获取电气设备的第一 缺陷类别对应的第一训练样本图像； 获取所述第一训练样本 图像对应的第一标注信息， 其中， 所述第一标注信息包括第一 缺陷类别的第一图像特 征， 以及用于描述所述第一 缺陷类别的第一预设特 征词； 利用所述第 一训练样本图像以及第 一所述标注信 息训练预设深度 学习网络模型， 以使 所述预设深度学习网络模型学习第一图像特征与第一预设特征词之间的关联关系得到所 述分类模型。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 获取电气设备的第 二缺陷类别对应的第 二训练样本图像， 所述第 二训练样本图像的数 量小于所述第一训练样本图像； 获取所述第二训练样本 图像对应的第二标注信息， 其中， 所述第二标注信息包括第二 缺陷类别的图像特 征， 以及用于描述所述第二 缺陷类别的第二预设特 征词； 利用所述第 二训练样本图像以及第 二所述标注信 息训练预设深度 学习网络模型， 以使 所述预设深度学习网络模型学习第二图像特征与第二预设特征词之 间的关联关系， 得到所 述分类模型。 8.一种电气设备缺陷的检测装置， 其特 征在于， 包括： 获取模块， 用于获取目标电气设备进行检测得到目标图像组， 其中， 所述目标图像组至 少包括目标 可见光图像以及目标红外图像； 提取模块， 用于提取所述目标可见光图像中的目标可见光特征， 以及所述目标红外 图 像的目标红外特 征， 并基于所述目标 可见光特征和所述目标红外特 征生成目标融合图像； 检测模块， 用于检测所述目标融合图像中的多个目标检测框特征， 并获取每个目标检 测框特征对应的特征词组， 其中， 所述特征词组包括至少一个所述 目标检测框特征对应的 用于描述电气设备缺陷的特 征词； 处理模块， 用于基于所述特征词组的全部特征词， 得到所述目标检测框特征相匹配的 目标缺陷类别， 并作为所述目标电气设备的缺陷检测结果。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 所述程序运行时 执行上述权利要求1至7中任一项所述的方法步骤。 10.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总 线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 其中： 存储器， 用于存放计算机程序； 处理器， 用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方 法步骤。权　利　要　求　书 2/2 页 3 CN 115115592 A 3