(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087981 1.8 (22)申请日 2022.07.25 (71)申请人 安徽交欣科技股份有限公司 地址 230000 安徽省合肥市包河区骆岗街 道五台山路7 7号富煌新视 觉A座 (72)发明人 刘磊　任子晖　王卫　高洪昌　 罗晶晶　倪金林　闫其筠　朱仪韵　 朱雪月　蒋梦媛　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 戴义保 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/30(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于ROI- KNN卷积神经网络的面部表情识别 方法 (57)摘要 本发明公开了基于ROI ‑KNN卷积神经网络的 面部表情识别方法， 该方法包括以下步骤： S1、 获 取驾驶过程中的驾驶员的视频影像数据； S2、 对 所述视频影像数据进行人脸定位， 提取人脸特征 区域； S3、 按预设时间间隔截取所述人脸特征区 域的视频帧作为面部图像数据； S4、 对所述面部 图像数据进行增强校正， 得到面部表情图像； S5、 将所述面部表情图像输入训练后的深度卷积神 经网络模型； S6、 输 出驾驶员面部表情识别结果。 通过结合 感兴趣区域和K最近邻算法构建的深度 卷积神经网络模 型， 能提高人脸表情数据在识别 模型中训练效果， 从而降低由于面部表情训练数 据过少造成的深度卷积神经网络泛化能力不足 的问题， 提高面部表情识别的效率。 权利要求书3页 说明书9页 附图1页 CN 114944005 A 2022.08.26 CN 114944005 A 1.基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在于， 该方法包括以下步 骤： S1、 获取驾驶过程中的驾驶员的视频影 像数据； S2、 对所述视频影 像数据进行 人脸定位， 提取 人脸特征区域； S3、 按预设时间 间隔截取 所述人脸特 征区域的视频帧作为 面部图像数据； S4、 对所述 面部图像数据进行增强校正， 得到面部表情图像； S5、 将所述面部表情图像输入训练后的深度卷积神经网络模型， 得到驾驶员面部表情 识别结果； S6、 输出所述驾驶员面部表情识别结果。 2.根据权利要求1所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述对所述视频影 像数据进行 人脸定位， 提取 人脸特征区域， 包括以下步骤： S21、 将所述视频影像数据中驾驶员发生移动的头部作为运动目标， 并利用特征对象法 对所述运动目标进行检测与分割； S22、 利用双阈值 算法提取 所述运动目标的边 缘图像； S23、 利用平方投影函数计算所述 边缘图像的投影函数； S24、 检测所述投影函数中灰度变化率最高的区域作为人脸区域， 并进行分割得到人脸 特征区域。 3.根据权利要求2所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述利用平方投影函数计算所述 边缘图像的投影， 运 算表达式包括： 其中， F(x， y)表示 边缘图像像素点坐标函数； (x， y)表示 边缘图像中像素点 坐标； 表示边缘图像灰度区域的垂直平方投影； 表示边缘图像灰度区域的水平 平方投影； 表示垂直积分投影， 其关系式为 ； 表示水平积分投影， 其关系式为 ； i表示边缘图像中第i个 像素点； y1与y2分别表示垂直平方投影的首尾纵坐标； x1与x2分别表示水平 平方投影的首尾横坐标； xi表示第i个 像素点的横坐标； yi表示第i个 像素点的纵坐标。 4.根据权利要求1所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述对所述 面部图像数据进行增强校正， 得到面部表情图像， 包括以下步骤： S41、 采用各向异性扩散滤波器对所述 面部图像数据进行增强；权　利　要　求　书 1/3 页 2 CN 114944005 A 2S42、 对增强后所述 面部图像数据进行二 值化处理； S43、 利用圆形模板对所述面部图像数据进行扫描， 左右对称的寻找最大单一灰度级区 域， 并取中心点 坐标作为近似位置， 实现眼睛捕捉 粗定位； S44、 在左右两个所述近似位置坐标邻域内进行圆霍夫变换， 寻找圆心位置， 并将两个 圆心位置的坐标分别作为左右眼睛中心位置； S45、 计算左右眼睛中心位置间的夹角， 利用线性插值法将所述面部图像数据进行旋 转， 得到面部表情图像。 5.根据权利要求4所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述采用各向异性扩散滤波器对所述 面部图像数据进行增强的运 算表达式为： 其中， 表示 （m， n） 位置上第t次迭代的像素值； 表示d方向上的扩散系数； 表示迭代操作的步长； 表示方向d上的梯度值； D表示计算梯度时所选取的方向 向量 t表示迭代次数； d表示D的子集。 6.根据权利要求4所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述计算左右眼睛中心位置间的夹角的计算表达式为： 其中， 表示左右眼睛中心位置之间的水平夹角； tg表示正切运算符； 表示右眼的中心位置坐标； 表示左眼的中心位置坐标。 7.根据权利要求1所述的基于ROI ‑KNN卷积神经网络的面部表情识别方法， 其特征在 于， 所述深度卷积神经网络模型的构建与训练包括以下步骤： S51、 采集大量标注后的人脸数据， 构建人脸数据集； S52、 对所述人脸数据进行 人脸检测与局部区域 提取， 得到表情数据图像； S53、 对所述表情数据图像进行关键点检测与标记； S54、 利用标记后的所述表情数据图像组建训练集与测试集， 得到有标记的表情数据图 像训练集与有标记的表情数据图像测试集； S55、 基于感兴趣区域算法对所述表情数据图像进行区域分割， 实现所述训练集的扩 充； S56、 构建卷积神经网络模型并导入 扩充后的训练集进行训练； S57、 利用K最邻近分类算法中的贪心投票机制融合测试集对所述卷积神经网络模型进 行测试； S58、 通过大数据平台获取未进行上述标记过程的表情数据， 形成未标记的表情数据权　利　要　求　书 2/3 页 3 CN 114944005 A 3