(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210764323.2 (22)申请日 2022.06.30 (71)申请人 深圳市优必选科技股份有限公司 地址 518000 广东省深圳市南 山区学苑大 道1001号南山智园C1栋16、 2 2楼 (72)发明人 蔡诗晗　葛利刚　付春江　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 肖遥 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 一种人体姿态估计方法、 人体姿态估计装置 及智能设备 (57)摘要 本申请公开了一种人体姿态估计方法、 装 置、 智能设备及计算机可读存储介质。 其中， 该方 法包括： 将待处理人体图像输入已训练的姿态估 计模型， 该模 型包括特征金字塔网络及轻量级的 骨干网络， 骨干网络用于提取待处理人体图像中 多个层级的特征， 特征金字塔网络用于融合骨干 网络所提取的不同层级的特征； 根据骨干网络输 出的最深层的特征得到第一估计结果， 该结果用 于指示各个人体关键点在待处理人体图像中是 否可见； 根据特征金字塔网络输出的热力图及偏 移图得到第二估计结果， 该结果用于指示各个人 体关键点在待处理人体图像中的坐标。 通过本申 请方案， 可在嵌入式的智能设备上 实现快速且准 确度较高的人体姿态估计 。 权利要求书2页 说明书12页 附图3页 CN 115205968 A 2022.10.18 CN 115205968 A 1.一种人体姿态估计方法， 其特 征在于， 包括： 将待处理人体图像输入已训练的姿态估计模型， 所述姿态估计模型包括： 特征金字塔 网络及轻量级的骨干网络， 其中， 所述骨干网络用于提取所述待处理人体图像中多个层级 的特征， 所述特 征金字塔网络用于融合所述骨干网络所提取的不同层级的特 征； 根据所述骨干网络输出的最深层的特征得到第 一估计结果， 所述第 一估计结果用于指 示各个人体关键点在所述待处 理人体图像中是否可 见； 根据所述特征金字塔网络输出的热力图及偏移图得到第 二估计结果， 所述第 二估计结 果用于指示各个人体关键点在所述待处理人体图像中的坐标， 所述热力图用于预测各个人 体关键点的像素级位置， 所述偏移图用于预测各个人体关键点的像素级位置在亚像素级的 局部偏移量。 2.如权利要求1所述的人体姿态估计方法， 其特征在于， 所述骨干网络的指定的卷积层 引入有注意力机制； 针对每 个指定的所述卷积层， 所述注意力机制的过程包括： 计算所述卷积层的原 始的输入特 征在每个特征通道上的全局特 征； 根据所有所述全局特 征， 计算各个所述特 征通道的重标定系数； 根据各个所述重标定系数， 分别在各个所述特征通道上对所述原始的输入特征进行重 标定， 得到所述卷积层的新的输入特 征。 3.如权利要求2所述的人体姿态估计方法， 其特征在于， 所述计算所述卷积层的原始的 输入特征在每个特征通道上的全局特 征， 包括： 针对每个所述特征通道， 将所述特征通道所对应的滤波核与所述原始的输入特征相 乘， 得到所述特 征通道的变换 特征； 对所述特征通道的变换特征进行全局平均池化操作， 得到所述原始的输入特征在所述 特征通道的全局特 征。 4.如权利要求2所述的人体姿态估计方法， 其特征在于， 所述根据所有所述全局特征， 计算各个所述特 征通道的重标定系数， 包括： 对所有所述全局特征依次进行第一卷积处理、 第一激活处理、 第二卷积处理及第二激 活处理， 得到各个所述特征通道的重标定系数， 所述第一卷积处理用于降低维度， 所述第二 卷积处理用于恢复维度， 所述第一激活处理及所述第二激活处理用于学习不同所述特征通 道之间的非线性关系。 5.如权利要求1所述的人体姿态估计方法， 其特征在于， 所述骨干网络所采用的激活函 数为： 其中， x用于表示所述激活函数的输入， Activati on(x)用于表示所述激活函数的输出。 6.如权利要求1所述的人体姿态估计方法， 其特征在于， 所述姿态估计模型在训练过程 中针对所述热力图及所述偏移图所采用的损失函数为： 其中， P为所述姿态估计模型预测的人体关键点位置； G为真实的人体关键点位置； S为 预设的人体关键点对集合； i,j∈S用于表示i及j分别为所述人体 关键点对集合中的一个人权　利　要　求　书 1/2 页 2 CN 115205968 A 2体关键点对所对应的两个不同人体关键点。 7.如权利要求1所述的人体姿态估计方法， 其特征在于， 所述姿态估计模型的训练过程 包括： 获取原始的样本图像； 对所述原 始的样本图像进行 数据增强处 理， 得到处 理后的样本图像； 根据所述数据增强处理， 更新所述原始 的样本图像的标签数据， 得到所述处理后的样 本图像的标签数据； 根据所述处理后的样本图像及所述处理后的样本图像的标签数据对所述姿态估计模 型进行训练。 8.一种人体姿态估计装置， 其特 征在于， 包括： 输入模块， 用于将待处理人体图像输入已训练的姿态估计模型， 所述姿态估计模型包 括： 特征金字塔网络及轻量级的骨干网络， 其中， 所述骨干网络用于提取所述待处理人体图 像中多个层级的特征， 所述特征金字塔网络用于融合所述骨干网络所提取的不同层级的特 征； 第一确定模块， 用于根据所述骨干网络输出的最深层的特征得到第一估计结果， 所述 第一估计结果用于指示各个人体关键点在所述待处 理人体图像中是否可 见； 第二确定模块， 用于根据所述特征金字塔网络输出的热力图及偏移图得到第 二估计结 果， 所述第二估计结果用于指示各个人体关键点在所述待处理人体图像中的坐标， 所述热 力图用于预测各个人体关键点的像素级位置， 所述偏移图用于预测各个人体关键点的像素 级位置在亚像素级的局部偏移量。 9.一种智能设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115205968 A 3