(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210868671.4 (22)申请日 2022.07.22 (71)申请人 福州大学 地址 362251 福建省泉州市晋 江市金井镇 水城路1号 (72)发明人 林志坚　杜小勇　陈小培　陈平平　 张海忠　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 蔡学俊　薛金才 (51)Int.Cl. G06V 40/10(2022.01) G06F 17/16(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 基于三维手部关键点和图像特征融合的手 势特征提取方法 (57)摘要 本发明提供了一种基于三维手部关键点和 图像特征融合的手势特征提取方法， 使用 MediaPipe  hands三维手部关键点提取网络从单 一的RGB手势图片中回归出21个手部关键点的三 维坐标， 并根据这些坐标点构造手指弯曲角度特 征以及手指交叉特征作为手势局部特征。 同时根 据图像分割算法辅以手部关键点的定位， 得到二 值化的手部图像， 并计算图像的7个Hu不变矩， 作 为手势图像的全局特征。 最后将手势的局部特征 与全局特征进行融合， 得到融合后的手势特征。 应用本技术方案可得到一种更具表征意义的静 态手势特 征。 权利要求书4页 说明书9页 附图2页 CN 115240224 A 2022.10.25 CN 115240224 A 1.基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 包括以下 步骤： 步骤1:采用MediaPipe  hands作为三维手部关键点提取网络， 获得21个手部关键点坐 标； 步骤2:根据几何数 学方法计算手指关节的弯曲角度以及交叉 特征； 步骤3:利用综合多要素的图像处理方法对原始的手势图像进行分割， 然后对分割后的 手势图像进行二 值化处理， 在二值化的图像上提取图像特 征； 步骤4:采用级联的方式将三维手部关键点构造的手指局部特征与手势图像的全局特 征相融合， 得到融合的静态手势特 征。 2.根据权利要求1所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， MediaPipe  hands由一个手掌检测网络Blaze  Palm与一个 回归网络组成的手 部关键点检测网络， 包含手部的图像数据经过该网络模型推理后产生21个手部关键点的3 维坐标， 以及左右手信息； 坐标的顺序如下： 第一个坐标是手腕， 也就是底点， 拇指的坐标从 底部开始是1至5， 食指从底点开始是6至9； 手部 关键点在图像上的坐标系为： 原 点为图像左 上角， 水平向右为x轴正方向， 竖直向下为y轴正方向， 垂直图片向里为z轴正方向。 3.根据权利要求1所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 将所有坐标点归一化到以手腕关键点为坐标原点的坐标系中， 并将手掌图像 旋转到一个固定的视图上。 4.根据权利要求3所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 所述 步骤2具体包括以下步骤： 步骤21:采用改进的Min ‑Max归一化方法， 将所有坐标点映射到[0,1]的区间， 改进的 Min‑Max归一化公式如公式(1)所示 其中xi,n是归一化之前的数据， min(xi)、 max(xi)分别代表该数组中的最小值和最大值， i代表维度数， n是 该维度中数据的个数， x ′i,n是归一化后的数据； 随后根据坐标变换公式， 即将图像坐标系从以图像左上角为原点的右手坐标系， 变换 到以手腕关键点 为原点的右手坐标系； 坐标变换公式如式(2)所示 其中xi、 yi、 zi为21个手部 关键点变换前的坐标， x0、 y0、 z0为手腕关键点的坐标， x ′i、 y′i、 z′i为21个手部关键点变换后的坐标； 步骤22:以手腕关键点、 食指掌指关键点、 小指掌指关键点构成的平面代表手掌平面； 定义手腕关键点指向食指、 小指掌指关键点连线的中点的向量作为手掌正方向， 该方向上 的单位向量 定义手腕关键点指向食指关键点和小指关键点的向量分别为 根据 MediaPipe  hands得到的左右手信息， 分别计算两个向量的外积， 若是右手则是 若是权　利　要　求　书 1/4 页 2 CN 115240224 A 2左手则是 计算结果即是手掌法向量， 其 单位向量记为 定义 为手掌水平向量， 记为 由向量 作为手部的随体坐标系； 最后得到坐标系 旋转到坐标系 时的旋转矩阵， 将所有关键点按公式(3)进行旋转， 得到手势的正视图 图像； 其中[x,y,z]为关键点在固定坐标系下的坐标， [x ′,y′,z′]为关键点在随体坐标系下 的坐标； 步骤23:计算每个手指关节 的弯曲角度， 通过连接各个手指关节关键点得到代表手指 骨骼的向量， 之后通过向量夹角计算 公式得到各个手指关节的弯曲角度以及相邻手指间的 角度； 步骤24:将每个手指的向量 投影到xOy平面上， 根据线段交叉公式判断每个手指是否 交叉。 5.根据权利要求4所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 所述步骤23具体为： 定义手腕关键点到 掌指关键点的向量为 指掌关键点到 近侧指间关键点的向量为 指掌关键点到指尖关键点的向量为 其中i＝0,1 ···5； 则俯仰角α 通过计算 向量 与 之间的夹角得到， 指形角β 通过计算向量 与 之间的夹角 得到； 由每 个手指的 向量计算相邻手指的夹角 θ 。 6.根据权利要求1所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 所述 步骤3具体包括以下步骤： 步骤31:手势分割方案为： 首先根据手部关键点在X与Y轴上的最大最小值构成一个矩 形， 并截取矩形部分的图像， 随后将 裁剪后的图像由RGB空间转换为YCbCr色彩空间， 随后使 用OTSU自适应阈值分割算法分割获得二值化的手部区域， 并通过图像腐蚀膨胀算法消除二 值图像中的孤立噪声和边缘凸起， 最后使用最大连通域算法， 从而消除图像中的小型类肤 色区域， 找到图像中的手势区域； 步骤32:在获得去噪的二值化手部图像后， 计算手部图像的7个Hu不变矩， 得到整体手 势图像的形状特 征。 7.根据权利要求6所述的基于三维手部关键点和图像特征融合的手势特征提取方法， 其特征在于， 步骤31具体包括以下步骤： 步骤311:根据 步骤2获得的手部关键点坐标， 得到X与Y方向上的最大值和最小值： xmax、 xmin、 ymax、 ymin， 在图像上截取范围为[xmin～xmax,ymin～ymax]内的图像， 对手势图像进行初步 的分割； 步骤312:截取后的手势图像为RGB色彩空间， 需要将该图像转换到YCbCr色彩空间后进 行肤色分割， 通过线性转换从RGB色彩空间到YCbCr色彩空间转换， 转换公 式公式如公式(4) 所示权　利　要　求　书 2/4 页 3 CN 115240224 A 3