(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626040.1 (22)申请日 2022.06.02 (71)申请人 中国电力科 学研究院有限公司 地址 100192 北京市海淀区清河小营东路 15号 (72)发明人 潘明明　覃剑　田世明　陈宋宋　 袁金斗　 (74)专利代理 机构 北京安博达知识产权代理有 限公司 1 1271 专利代理师 徐国文 (51)Int.Cl. G06F 16/36(2019.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06F 40/295(2020.01) (54)发明名称 智能多模态融合用电检查方法、 装置、 系统、 设备及介质 (57)摘要 本发明提供一种智能多模态融合用电检查 方法、 装置、 系统、 设备及介质， 包括： 基于用电安 全检查请求涉及的用电设备通过上下文感知 的 隐患识别获取用电设备的安全管 理规程； 基于安 全管理规程对用电设备的电气数据和非电气数 据进行分析确定针对所述用电设备的用电安全 检查请求结果， 本发明可以结合电气量及非电气 量因素， 查询用电设备安全态势， 并对用电设备 安全隐患进行有效检测； 本发明采用半监督的非 电气量隐患识别方法， 实现使用少量标注数据结 合大量未标注数据进行模型训练的目的， 解决用 电场景非电气量样本数据不足的问题； 本发明应 用知识图谱技术， 针对当前用电设备状态及安全 隐患进行操作推荐， 可以安全的指导下一步处 理。 权利要求书3页 说明书13页 附图5页 CN 115114448 A 2022.09.27 CN 115114448 A 1.一种智能多模态融合用电检查方法， 其特 征在于， 包括： 当接收到用电安全检查请求时： 基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设 备的安全管理规 程； 根据所述用电安全检查请求涉及的请求类型， 基于安全管理规程对所述用电安全检查 请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安 全检查请求结果； 其中， 所述用电安全检查请求包括请求类型、 用电设备、 所述用电设备的电气数据和非 电气数据。 2.如权利要求1所述的方法， 其特征在于， 当所述用电安全检查请求涉及的请求类型包 括： 隐患查询或操作推荐时， 所述基于安全管理规程对所述用电安全检查请求涉及的用电 设备的电气数据和非电气数据进 行分析确定针对所述用电设备的用电安全检查请求结果， 包括： 基于所述电气数据进行第一 隐患识别； 基于所述非电气数据， 利用预先训练好的隐患 识别任务模型进 行第二隐患识别； 对第一隐患识别结果和 第二隐患识别结果进行融合得到 所述用电设备的隐患识别结果； 基于所述电气数据、 非电气数据、 请求类型、 所述安全管理规程和隐患识别结果， 利用 预先构建的知识图谱进行处 理得到所述请求类型对应的用电安全检查请求结果； 其中， 所述隐患识别任务模型利用半监督检测学习 对有标签的历史非电气数据和无标 签的历史非电气数据训练得到； 所述标签包括： 用电设备的隐患信息； 所述隐患信息包括： 正常、 异常、 存在隐患。 3.如权利要求2所述的方法， 其特 征在于， 所述隐患识别任务模型的训练， 包括： 以有标签的历史非电气数据作为训练集进行训练得到隐患识别任务模型； 基于所述隐患识别任务模型对无标签的历史非电气数据利用单阶段目标检测或双阶 段目标检测进 行预测得到隐患信息及所述隐患信息对应的置信度、 有标签的历史非电气数 据对应的标记损失和无 标签的历史非电气数据对应的无 标记损失； 以所述标记损失和无 标记损失的加权和作为 一致性约束损失； 以最大置信度对应的隐患信息为无标签的历史非电气数据的伪标签并加入训练集对 所述任务模型继续训练， 直到所述任务模型达 到最优； 所述标记损失和无 标记损失由半监 督目标检测模型计算得到 。 4.如权利要求3所述的方法， 其特 征在于， 所述单阶段目标检测过程包括： 分别将训练集中的用电设备的图像数据及反转后的图像数据输入单阶段分类器中进 行预测得到隐患信息以及所述隐患信息下的置信度； 对有标签的历史非电气数据和无 标签的历史非电气数据分别进行目标检测损失计算； 其中， 所述历史非电气数据为用电设备对应的图像数据。 5.如权利要求3所述的方法， 其特 征在于， 所述双阶段目标检测过程包括： 以训练集中用电设备的图像数据及反转后的图像数据作为输入数据， 利用CNN网络进 行训练得到隐患信息； 并且对有标签的历史非电气数据和无标签的历史非电气数据分别进 行目标检测损失计算； 其中， 所述历史非电气数据为用电设备对应的图像数据。权　利　要　求　书 1/3 页 2 CN 115114448 A 26.如权利要求2所述的方法， 其特征在于， 所述基于所述电气数据、 非电气数据、 请求类 型、 所述安全管理规程和隐患识别结果， 利用预先构建的知识图谱进行处理得到所述请求 类型对应的用电安全检查请求结果， 包括： 利用预先构建的知识图谱从所述电气数据、 非电气数据、 安全管理规程和隐患识别结 果进行消岐处 理； 基于消岐后的电气数据或非电气数据结合安全规程和隐患识别结果及用电安全逻辑 进行规则判断， 得到请求类型对应的用电安全检查请求结果。 7.如权利要求6所述的方法， 其特 征在于， 当请求类型为隐患查询时所述用电安全检查请求结果 为隐患查询结果； 当请求类型为操作推荐时， 所述用电安全检查请求结果为排除用电隐患相应的推荐操 作结果。 8.如权利要求6所述的方法， 其特征在于， 所述利用预先构建的知识图谱从所述电气数 据、 非电气数据、 安全管理规 程和隐患识别结果进行消岐处 理， 包括： 从所述电气数据、 非电气数据、 安全管理规 程和隐患识别结果中提取实体指称； 基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、 全局消岐后确定对应 的目标实体。 9.如权利要求2所述的方法， 其特征在于， 所述基于每个实体指称利用预先构建的知识 图谱分别进行局部消岐、 全局 消岐后确定对应的目标实体， 包括： 基于每个实体指称分别执 行如下操作： 基于所述实体指称从预 先构建的知识图谱中选择至少一个实体作为 候选实体； 利用深度学习的方法得到各实体指称和候选实体的局部相似度概 率； 基于所有的实体指称与对应的候选实体之间的关联度确定全局关联度； 将所述候选实体的局部相似度概率与候选实体的全局关联度相乘， 取最大值对应的候 选实体为目标实体， 并将所述实体指称与目标实体链接； 所述知识图谱 包括： 若干实体及各实体的关联关系。 10.如权利要求1所述的方法， 其特征在于， 当所述请求类型为状态查询时， 所述基于安 全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析 确定针对所述用电设备的用电安全检查请求结果， 包括： 采集所述用电设备的电气运行状态和非电气运行状态； 基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所 述用电设备状态。 11.一种智能多模态融合用电检查装置， 其特征在于， 包括： 上下文感知的隐患识别模 块和规程管理模块； 上下文感知的隐患识别模块， 用于当接收到用电安全检查请求时： 调用所述规程管理 模块， 并接 收所述规程管理模块返回的安全管理规程； 还用于基于所述用电安全检查请求 涉及的请求类型调用相应的模块以执行： 基于安全管理规程对所述用电安全检查请求涉及 的用电设备 的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请 求结果； 所述规程管理模块， 用于基于用电安全检查请求涉及的用电设备通过上下文感知的隐权　利　要　求　书 2/3 页 3 CN 115114448 A 3