(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210862950.X (22)申请日 2022.07.21 (71)申请人 广州大学 地址 510006 广东省广州市番禺区大 学城 外环西路23 0号 (72)发明人 彭伟龙　李聪　陈庆丰　方美娥　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 郭成文 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/20(2022.01) G06V 10/46(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01) G06T 17/00(2006.01) G06T 17/20(2006.01) G06N 3/04(2006.01) G06F 3/01(2006.01) (54)发明名称 基于三维人-物网格拓扑增强的人物交互检 测方法 (57)摘要 本发明公开了一种基于三维人 ‑物网格拓扑 增强的人物交互检测方法， 包括： 获取单张图片 中的人体与物体的视觉特征； 获取单张图片中的 人体三维结构与物体三维结构， 融合构建初始三 维人‑物一体网格拓扑模 型； 基于增强三维人 ‑物 一体网格拓扑获取三维人体的拓扑特征和三维 人‑物的拓扑特征； 将视觉 特征与拓扑特征融合， 获取增强三维人 ‑物一体网格拓扑模型； 对增强 三维人‑物一体网格拓扑模型进行训练， 并基于 训练后的模 型获取识别结果。 本发 明采用了自底 而上的拓 扑特征提取， 在提取三维人体姿态上取 得了高效的效果。 在HOI检测问题上融合了三维 人物体网格特征， 有效提高了HOI的识别性能， 在 HICO_DET基准数据集上 取得了较高的精确度。 权利要求书1页 说明书4页 附图2页 CN 115170817 A 2022.10.11 CN 115170817 A 1.一种基于三维人 ‑物网格拓扑增强的人物交互检测方法， 其特征在于， 包括以下步 骤： 获取单张图片中的人体与物体的视 觉特征； 获取所述单张图片中的人体三维结构与物体三维结构， 融合构建初始三维人 ‑物一体 网格拓扑模型； 基于所述增强三维人 ‑物一体网格拓扑获取三维人体的拓扑特征和三维人 ‑物的拓扑 特征； 将所述视 觉特征与拓扑 特征融合， 获取增强三维人 ‑物一体网格拓扑模型； 对所述增强三维人 ‑物一体网格拓扑模型进行训练， 并基于训练后的模型获取识别结 果。 2.根据权利要求1所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 基于卷积神经网络获得所述视觉特征， 其中， 所述视觉特征包括人体外观特征、 物体外 观特征、 人物空间特 征。 3.根据权利要求1所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 所述人体三 维结构的获取过程包括： 获取所述单张图片中的人体边界框， 通过姿态评估 方法获得二维姿态信息； 获取图片 中的人体信息， 基于人体信息与对应的所述二维姿态信 息， 获得所述人体三维结构。 4.根据权利要求1所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 采用Mesh CNN网络自底而上提取三维人体的拓扑 特征和三维人 ‑物的拓扑 特征。 5.根据权利要求2所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 采用交互行为识别对模型进行训练， 其中， 训练时采用二元交叉熵损失函数， 训练分为 三个分支， 包括人体、 物体、 空间； 产生的总损失为人体、 物体、 空间三个分支的损失之和。 6.根据权利要求5所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 进行特征融合的过程包括： 将所述人体外观特征和与所述三维人体的拓扑特征进行特 征融合； 将所述人物空间特 征与所述 三维人‑物的拓扑 特征进行特征融合。 7.根据权利要求6所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 基于训练后的增强三维人 ‑物一体网格拓扑模型， 获得交互类型识别的置信度， 在置信 度层面上加权计算获得最终识别结果， 其中， 基于人体、 物体、 空间三个分支的动作得分以 及交互对中人体和物体的置信度进行加权计算。 8.根据权利要求3所述的基于三维人 ‑物网格拓扑增强的人物 交互检测方法， 其特征在 于， 采用Smpl ify‑X方法获得 所述人体三维结构。权　利　要　求　书 1/1 页 2 CN 115170817 A 2基于三维人 ‑物网格拓扑增强的 人物交互检测方 法 技术领域 [0001]本发明属于人物交互检测领域， 涉及计算机视觉领域和深度神经网络领域， 特别 是涉及一种基于三维人 ‑物网格拓扑增强的人物交 互检测方法。 背景技术 [0002]人物交互检测(Human ‑Object Interact ion， 简写H OI)作为机器视觉的高级任务， 对机器更加深层次地理解世界至关重要。 人物交互检测不仅需要定位、 识别场景中人和物 体， 更重要的是还要推断场景中人和物体的交互关系。 人物交互检测的研究对安防系统、 视 频检索等多个领域有重要意 义。 [0003]对于交互行为识别， 经典的方法证明了场景中人和物体 的视觉特征、 空间位置特 征的必要性。 但是， 随着场景的复杂化， 面临的难点也比较多。 比如场景中的多 人、 多物的候 选对筛选问题， 粗粒度的位置特征带来的误检问题， 数据集的 限制带来的长尾分布问题等。 而为了解决场景中的诸多问题， 越来越有效方法被提出。 比如加入人体姿态信息， 以更加细 粒度的特征推断人物交互行为。 借鉴注意力机制的思想， 获取更丰富、 有效的人物特征。 借 鉴图神经网络的思想， 解决人物候选对筛 选问题。 [0004]然而基于二维视觉 的行为理解一直受到视角问题的干扰， 对某一交互动作， 在不 同角度拍摄的姿态在图像上差异巨大。 由于图像特征缺少几何信息， 缺 乏构建拓扑 的连接 信息。 发明内容 [0005]本发明的目的是提供一种基于三维人 ‑物网格拓扑增强的人物交互检测方法， 以 解决上述现有技 术存在的问题。 [0006]为实现上述目的， 本发明提供了一种基于三维人 ‑物网格拓扑增强的人物交互检 测方法， 包括： [0007]获取单张图片中的人体与物体的视 觉特征； [0008]获取所述单张图片中的人体三维结构与物体三维结构， 融合构建初始三维人 ‑物 一体网格拓扑模型； [0009]基于所述增强三维人 ‑物一体网格拓扑获取三维人体的拓扑特征和三维人 ‑物的 拓扑特征； 将所述视 觉特征与拓扑 特征融合， 获取增强三维人 ‑物一体网格拓扑模型； [0010]对所述增强三维人 ‑物一体网格拓扑模型进行训练， 并基于训练后的模型获取识 别结果。 [0011]可选的， 基于卷积神经网络获得所述视觉特征， 其中， 所述视觉特征包括人体外观 特征、 物体外观特 征、 人物空间特 征。 [0012]可选的， 所述人体三维结构的获取过程包括： 获取所述单张图片中的人体边界框， 通过姿态评估方法获得二维姿态信息； 获取图片 中的人体信息， 基于人体信息与对应的所 述二维姿态信息， 获得 所述人体三维结构。说　明　书 1/4 页 3 CN 115170817 A 3