(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864531.X (22)申请日 2022.07.21 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 苏翔博　孙昊　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 目标识别方法及装置、 电子设备和介质 (57)摘要 本公开提供了一种目标识别方法、 装置、 电 子设备、 计算机可读存储介质和计算机程序产 品， 涉及人工智能技术领域， 尤其涉及图像处理、 计算机视觉和深度学习等技术领域， 可应用于智 慧城市、 智能交通、 智能安防等场景。 实现方案 为： 获取包括待识别目标的图像； 将图像输入经 训练的多任务神经网络模型中的主干网络获得 第一图像特征； 将特征金字塔网络增强后的图像 特征基于通道信息分为第一部分特征和第二部 分特征； 将第二部分特征分别输入到全局自注意 力感知网络以及局部感知网络； 将全局图像特征 和局部图像特征进行融合后与第一部分特征基 于通道信息合并获得第二图像特征； 将第二图像 特征分别输入多个检测头网络以获得相应的识 别结果。 权利要求书4页 说明书12页 附图9页 CN 115170819 A 2022.10.11 CN 115170819 A 1.一种目标识别方法， 包括： 获取包括待识别目标的图像； 将所述图像输入经训练 的多任务神经网络模型中的主干网络， 获得多个通道的第 一图 像特征； 将所述第一图像特征输入所述多任务神经网络模型中的特征金字塔网络， 获得增强图 像特征； 将所述增强图像特征输入所述多任务神经网络模型中的分解网络， 以将所述增强图像 特征基于通道信息分为第一部分特 征和第二部分特 征； 将所述第二部分特征分别输入到所述多任务神经网络模型中的全局自注意力感知网 络以及局部感知网络， 以获得全局图像特 征和局部图像特 征； 将所述全局图像特征和局部图像特征输入所述多任务神经网络模型中的融合网络， 以 获得融合图像特 征； 将所述融合图像特征和所述第一部分特征输入所述多任务神经网络模型中的合并网 络以基于通道信息合并， 获得第二图像特 征； 以及 将所述第二图像特征分别输入所述多任务神经网络模型中的多个检测头网络， 以分别 获得相应的识别结果。 2.如权利要求1所述的方法， 其中， 所述多个检测头网络包括目标识别网络以及目标交 互行为识别网络 。 3.如权利要求2所述的方法， 其中， 所述待识别目标包括人体和物体中的至少一个， 并 且， 所述目标识别网络包括以下项中的至少一项： 人脸检测网络、 人脸属性识别网络、 人体 检测网络、 人体属性识别网络、 单人动作识别网络、 物体检测网络以及物体属 性识别网络； 以及 所述目标交互行为识别网络包括以下项中的至少一项： 第一交互行为识别网络、 第二 交互行为识别网络， 其中， 所述第一交互行为识别网络用于输出交互行为、 以及交互中心点分别到产生交 互行为的两个人体中心 点之间的向量， 其中所述交互中心点为所述两个人体中心点之 间连 线的中心点； 所述第二交互行为识别网络用于输出交互行为、 以及交互中心点分别 到产生交互行为 的人体中心 点和物体中心点之 间的向量， 其中所述交互中心 点为所述人体中心 点和所述物 体中点之间连线的中心点。 4.如权利要求3所述的方法， 其中， 所述人脸检测网络和人脸属性识别网络共享浅层卷积网络的参数； 以及 所述人体检测网络、 所述人体属性识别网络和所述单人动作识别网络共享浅层卷积网 络的参数。 5.如权利要求1所述的方法， 其中， 所述全局自注意力感知网络包括多头自注意力模 块、 LayerN orm模块以及前馈网络模块。 6.如权利要求1所述的方法， 其中， 所述局部感知网络包括卷积层和批量归一化层， 其 中， 将所述第二部分特 征输入到所述多任务神经网络模型中的局部感知网络包括：权　利　要　求　书 1/4 页 2 CN 115170819 A 2将所述第二部分特 征输入到所述卷积层， 以获得第三图像特 征； 将所述第三图像特 征与所述第二部分特 征进行融合， 以获得第四图像特 征； 以及 将所述第四图像特 征输入所述批量归一 化层， 以获得 所述局部图像特 征。 7.一种神经网络模型训练方法， 包括： 初始化待训练的多任务神经网络模型， 所述多任务神经网络模型包括主干网络、 特征 金字塔网络、 分解网络、 全局自注 意力感知网络、 局部感知网络、 融合网络、 合并网络以及 多 个检测头网络； 获取包括多个待识别目标的样本图像以及所述样本图像所对应的标签数据； 将所述样本图像输入中的主干网络， 以获得多个通道的第一图像特 征； 将所述第一图像特 征输入所述特 征金字塔网络， 以获得增强图像特 征； 将所述增强图像特征输入所述分解网络， 以将所述增强图像特征基于通道信 息分为第 一部分特 征和第二部分特 征； 将所述第二部分特征分别输入到所述全局自注意力感知网络以及所述局部感知网络， 以获得全局图像特 征和局部图像特 征； 将所述全局图像特 征和局部图像特 征输入所述融合网络， 以获得融合图像特 征； 将所述融合图像特征和所述第 一部分特征输入所述合并网络， 以基于通道信 息进行合 并， 获得第二图像特 征； 将所述第二图像特征分别输入所述多个检测头网络， 以分别获得相应的识别结果； 以 及 基于所述识别结果以及所述标签数据调节所述多任务神经网络模型的参数。 8.如权利要求7所述的方法， 其中， 所述多个待识别目标存在交互行为， 所述标签数据 包括目标检测框、 交互中心 点、 所述交互中心 点到存在交互行为的检测框中心 点的向量， 其 中所述交 互中心点 为所述存在交 互行为的检测框中心点之间连线的中心点。 9.如权利要求8所述的方法， 其中， 所述多个检测头网络包括目标识别网络以及目标交 互行为识别网络 。 10.如权利要求7所述的方法， 其中， 所述局部感知网络包括卷积层和批量归一化层， 其 中， 将所述第二部分特 征输入到所述多任务神经网络模型中的局部感知网络包括： 将所述第二部分特 征输入到所述卷积层， 以获得第三图像特 征； 将所述第三图像特 征与所述第二部分特 征进行融合， 以获得第四图像特 征； 以及 将所述第四图像特 征输入所述批量归一 化层， 以获得 所述局部图像特 征。 11.一种目标识别装置， 包括： 第一获取 单元， 配置为获取包括待识别目标的图像； 第一特征提取单元， 配置为将所述图像输入经训练 的多任务神经网络模型中的主干网 络， 获得多个通道的第一图像特 征； 第一增强单元， 配置为将所述第 一图像特征输入所述多任务神经网络模型中的特征金 字塔网络， 获得增强图像特 征； 第一分解单元， 配置为将所述增强图像特征输入所述多任务神经网络模型中的分解网 络， 以将所述增强图像特 征基于通道信息分为第一部分特 征和第二部分特 征； 第一感知单元， 配置为将所述第 二部分特征分别 输入到所述多任务神经网络模型中的权　利　要　求　书 2/4 页 3 CN 115170819 A 3