(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823389.4 (22)申请日 2022.07.13 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 伍世宾　周宸　陈远旭　 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 陈涛 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面色分类方法、 装置、 计算机可读程序介质 及电子设备 (57)摘要 本公开涉及人工智能领域， 揭示了一种面色 分类方法、 装置、 计算机可读程序介质及电子设 备。 该方法包括： 将目标用户的待分类人脸图像 输入至全局神经网络中， 得到全局神经网络的最 后一个卷积层输出的第一特征图； 将待分类人脸 图像分割为多个人脸区域图像， 并将多个人脸区 域图像输入至局部神经网络中， 得到局部神经网 络的最后一个卷积层输出的与每个人脸区域图 像对应的第二特征图； 对第一特征图和各第二特 征图分别进行聚合操作， 得到第一特征向量和第 二特征向量； 对第一特征向量、 第二特征向量和 第三特征向量进行级联， 得到目标特征向量； 对 目标特征向量进行分类， 得到面色分类结果。 此 方法提高了面色 分类的准确性。 权利要求书2页 说明书13页 附图7页 CN 115100723 A 2022.09.23 CN 115100723 A 1.一种面色 分类方法， 其特 征在于， 所述方法包括： 将目标用户的待分类人脸图像输入至全局神经网络 中， 得到所述全局神经网络的最后 一个卷积层输出的第一特 征图； 将待分类人脸图像分割为多个人脸 区域图像， 并将所述多个人脸 区域图像输入至局部 神经网络中， 得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的 第二特征图； 对所述第一特 征图进行聚合操作， 得到第一特 征向量； 对各所述第二特 征图进行聚合操作， 得到第二特 征向量； 获取根据所述目标用户的关联信息生成的第三特 征向量； 对所述第一特征向量、 所述第二特征向量和所述第三特征向量进行级联， 得到目标特 征向量； 对所述目标 特征向量进行分类， 得到面色 分类结果。 2.根据权利要求1所述的面色分类方法， 其特征在于， 所述局部神经网络是通过如下方 式训练得到的： 获取人脸区域样本集， 所述人脸区域样本集包括多个人脸区域样本， 所述人脸区域样 本包括由人脸图像分割而成的多个人脸区域图像和与所述人脸图像对应的疾病类别标签 和面色类别标签； 将所述人脸区域样本中的各人脸区域图像分别输入至所述局部神经网络 中， 得到与 各 人脸区域图像对应的分类结果； 根据与各人脸区域图像对应的分类结果和所述面色类别标签确定各人脸区域图像对 应的交叉熵损失， 并根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所 述人脸区域样本对应的整体交叉熵损失； 根据与各人脸区域样本对应的整体交叉熵损 失， 得到局部神经网络损 失， 并根据所述 局部神经网络损失更新所述局部神经网络的参数， 以对所述局部神经网络进行训练。 3.根据权利要求2所述的面色分类方法， 其特征在于， 所述根据 各人脸区域图像对应的 交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失， 包括： 根据所述疾病类别标签确定各 人脸区域图像对应的权值； 根据各人脸区域图像对应的交叉熵损失和权值确定与所述人脸区域样本对应的整体 交叉熵损失。 4.根据权利要求2或3所述的面色分类方法， 其特征在于， 所述全局神经网络是通过如 下方式训练得到的： 获取人脸图像样本集， 所述人脸图像样本集包括多个人脸图像样本， 所述人脸图像样 本包括人脸图像和与所述人脸图像对应的面色类别标签； 将各所述人脸图像样本 中的人脸图像分别 输入至所述全局神经网络 中， 得到与各人脸 图像对应的分类结果； 根据与各人脸图像对应的分类结果和各人脸图像对应的面色类别标签确定全局神经 网络损失； 根据所述全局神经网络损失和所述局部神经网络损失确定出全局损失， 并根据 所述全 局损失更新所述全局 神经网络的参数， 以对所述全局 神经网络进行训练。权　利　要　求　书 1/2 页 2 CN 115100723 A 25.根据权利要求4所述的面色分类方法， 其特征在于， 所述将各所述人脸图像样本 中的 人脸图像分别输入至所述全局 神经网络中， 得到与各 人脸图像对应的分类结果， 包括： 获取所述局部神经网络输出的与 各人脸图像对应的第 二特征图集合， 所述第 二特征图 集合包括多个第二特 征图； 基于通道注意力 机制对各所述第 二特征图集合进行处理， 得到包括多个注意力特征图 的注意力特 征图集合； 将各所述人脸图像样本 中的人脸图像分别 输入至所述全局神经网络 中， 得到所述全局 神经网络的最后一个卷积层输出的与各 人脸图像对应的第一特 征图； 针对每一人脸图像， 通过所述全局神经网络 中的融合模块将所述人脸图像对应的所述 第一特征图与所述人脸图像对应的注意力特征图集合进行融合， 得到与所述人脸图像对应 的融合特 征； 获取所述全局神经网络输出的与 各融合特征对应的分类结果， 作为与 各人脸图像对应 的分类结果。 6.根据权利要求1 ‑5任意一项所述的面色分类方法， 其特征在于， 所述多个人脸区域图 像为中医领域内与五脏分别对应的面部区域图像。 7.根据权利要求1 ‑5任意一项所述的面色分类方法， 其特征在于， 所述对所述第 一特征 图进行聚合操作， 得到第一特 征向量， 包括： 利用1×1卷积模块对所述第一特 征图进行 卷积， 得到第一特 征向量。 8.一种面色 分类装置， 其特 征在于， 所述装置包括： 输入模块， 被配置为将目标用户的待分类人脸图像输入至全局神经网络中， 得到所述 全局神经网络的最后一个卷积层输出的第一特 征图； 分割模块， 被配置为将待分类人脸图像分割为多个人脸区域图像， 并将所述多个人脸 区域图像输入至局部神经网络中， 得到所述局部神经网络的最后一个卷积层输出的与每个 人脸区域图像对应的第二特 征图； 第一聚合模块， 被 配置为对所述第一特 征图进行聚合操作， 得到第一特 征向量； 第二聚合模块， 被 配置为对各 所述第二特 征图进行聚合操作， 得到第二特 征向量； 获取模块， 被 配置为获取根据所述目标用户的关联信息生成的第三特 征向量； 级联模块， 被配置为对所述第一特征向量、 所述第二特征向量和所述第三特征向量进 行级联， 得到目标 特征向量； 分类模块， 被 配置为对所述目标 特征向量进行分类， 得到面色 分类结果。 9.一种计算机可读程序介质， 其特征在于， 其存储有计算机程序指令， 当所述计算机程 序指令被 计算机执 行时， 使计算机执 行根据权利要求1至7中任一项所述的方法。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执 行时， 实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115100723 A 3