(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084183 6.9 (22)申请日 2022.07.18 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 冯子亮　单强达　许重阳　蓝田野　 潘悦　唐玄霜　黎光耀　董佳乐　 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于骨骼和轮廓特征融合的步态识别 方法 (57)摘要 本发明提供了一种基于骨骼和轮廓特征融 合的步态识别方法， 融合了行人轮廓图识别方法 和骨骼关键点识别方法的优点， 先提取行人骨骼 关键点特征和行人轮廓图特征， 再将其送入神经 网络， 在网络中间进行融合， 实现基于步态的行 人识别； 本方法可解决步态识别中易受服装、 视 角和携带物 等因素影响识别效果的问题， 使 得处 于携带物、 服装、 视角等因素影响下的步态识别 精度有了显著提升， 具有识别精度高、 鲁棒性强 等优点。 权利要求书1页 说明书4页 附图4页 CN 115050101 A 2022.09.13 CN 115050101 A 1.一种基于骨骼和轮廓特 征融合的步态 识别方法， 其特 征在于， 包括以下步骤： 步骤1， 使用基于神经网络的姿态估计算法对视频进行处理， 得到每帧图象中的行人骨 骼关键点 位置； 步骤2， 使用骨骼关键点位置数据进行计算， 生成关键点移动速度、 骨骼长度与角度数 据； 步骤3， 通过图卷积神经网络对行人骨骼关键点数据进行特征提取， 生成行人骨骼关键 点特征图； 步骤4， 使用基于神经网络的实例分割方法对原始视频数据进行处理， 生成行人的轮廓 图； 步骤5， 对行 人轮廓图进行归一 化处理； 步骤6， 采用局部轮廓特征提取器对归一化后的行人轮廓图进行特征提取， 并使用时间 特征聚合注意力模块对其进行 特征压缩； 生成行 人轮廓特 征图； 步骤7， 将行人骨骼关键点特征图和行人轮廓特征图进行拼接， 使用分离全连接层和局 部注意力机制引导两者融合， 生成最终的步态特 征； 步骤8， 使用欧式距离， 比对计算生成的步态特征与数据库中的步态特征， 选取出距离 最小的步态特 征对应的行 人， 作为最终的识别结果。 2.基于权利要求1所述的方法， 其特征在于， 步骤1所述基于神经网络的姿态估计算法， 包括： 采用具有 并行的多子网络结构的特征提取模型， 使用骨骼关键点的高斯热力图作为标 签进行模型训练； 最后通过寻找高斯热力图中的峰值 点来确定行 人骨骼关键点 位置。 3.基于权利要求1所述的方法， 其特 征在于， 步骤3所述图卷积神经网络， 包括： 先将骨骼关键点位置、 速度、 骨骼长度与角度这三组骨骼关键点数据， 作为三个输入分 别顺序经过批正则化模块、 初始 化模块、 两个带注意力机制的图卷积神经网络模块， 进行特 征提取； 然后在网络的中部进 行融合， 最后通过一条共享的主干网络， 即两个带注意力机制 的图卷积神经网络模块， 生成最终的行 人骨骼关键点特 征图。 4.基于权利要求1所述的方法， 其特征在于， 步骤4所述基于神经网络的实例分割方法， 包括： 采用轻量化的实例分割 模型对原始视频中的每一帧进行特征提取， 得到相应的行人轮 廓图。 5.基于权利要求1所述的方法， 其特征在于， 步骤5所述对行人轮廓图进行归一化处理， 包括： 先剪除垂直方向上的多余像素并放缩到合适的尺寸， 再剪除水平方向上多余的像素得 到最终的图片尺寸。 6.基于权利要求1所述的方法， 其特征在于， 步骤6所述时间特征聚合注意力模块， 包 括： 先通过最大值函数、 均值函数和中值函数三种基础函数对输入进行全局特征收集， 然 后在时间维度上进行复制并将三者拼接到一起； 最后通过1*1的卷积进行通道压缩并生成 注意力图。权　利　要　求　书 1/1 页 2 CN 115050101 A 2一种基于骨骼和轮廓特征融合的步态识别方 法 技术领域 [0001]本发明属于计算机视觉领域， 尤其涉及一种基于骨骼和轮廓特征融合的步态识别 方法。 背景技术 [0002]步态识别通常是指根据行人行走时的步态来识别来行人的过程， 是计算机视觉领 域一个重要的研究和应用方向， 广泛应用于场景监控、 行人识别等领域的视频分析， 具有广 阔的应用前 景和使用价 值。 [0003]步态识别技术可分为基于模型的方法、 基于行人轮廓图的方法、 基于步态能量图 的方法、 基于步态 熵图的方法、 基于骨骼关键点的方法等类别。 [0004]基于行人轮廓图的方法是一种常用方法， 它通过背景分离或实例分割技术对视频 中的行人进行实例提取， 生成行人轮廓图， 然后通过卷积神经网络对步态特征进行提取和 识别； 该方法具有较好的识别效果， 但在拍摄角度、 行人衣着或携带物等发生变化时， 识别 率会明显下降。 [0005]基于骨骼关键点的方法是另一种常用方法， 它通过姿态估计方法来进行骨骼关键 点信息提取， 通过对关键点运动变化的识别来实现对行人步态的识别； 该方法对行人衣着 打扮具有较高的鲁棒 性； 但是在受遮挡时识别率 也会受到严重影响。 [0006]为了解决步态识别中易受服装、 视角和携带物等因素影响识别效果的问题， 考虑 到多模态特征融合具有鲁棒性强和稳定性好等优点， 本发明提出一种多模态特征融合的步 态识别方法， 先提取行人骨骼关键点特征， 以及行人轮廓图特征， 再将其送入神经网络， 在 网络中间进 行融合， 可实现的基于步态的行人识别； 该方法具有识别精度高、 鲁棒性 强等优 点。 发明内容 [0007]一种基于骨骼和轮廓特 征融合的步态 识别方法， 其特 征在于， 包括以下步骤。 [0008]步骤1， 采用基于神经网络的姿态估计算法对视频进行处理， 得到每帧图像中的行 人骨骼关键点 位置， 包括： 基于神经网络 的姿态估计算法， 采用具有并行的多子网络结构的特征提取模型， 使用骨骼关键点的高斯热力图作为标签进 行模型训练； 最后通过寻找高斯热力图中的峰值 点来确定行 人骨骼关键点 位置。 [0009]步骤2， 使用骨骼关键点位置数据进行计算， 生成关键点移动速度、 骨骼长度与角 度数据； 骨骼关键点的位置、 速度、 骨骼长度与角度统称为骨骼关键点数据。 [0010]步骤3， 通过图卷积神经网络对行 人骨骼关键点数据进行 特征提取， 包括： 将骨骼关键点位置、 速度、 骨骼长度与角度这三组骨骼关键点数据， 作为三个输入 分别顺序经过批正则化模块、 初始 化模块、 两个带注意力机制的图卷积神经网络模块， 进 行 特征提取； 然后在网络的中部进 行融合， 最后通过一条共享的主干网络， 即两个带注意力机说　明　书 1/4 页 3 CN 115050101 A 3