(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221086158 8.4 (22)申请日 2022.07.20 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 吴铭宇　陈思宏　陈宸　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张海秀 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备以及可读存 储介质 (57)摘要 本申请实施例提供了一种图像处理方法、 装 置、 电子设备以及可读 存储介质， 涉及人工智能、 多媒体、 以及云技术等领域。 该方法包括： 基于待 处理图像， 提取待处理图像对应的至少两种模态 的数据特征； 根据每种模态的数据特征， 确定每 种模态的数据特征的权重， 其中， 每种模态对应 的权重表征了该模态的数据特征对于图像处理 任务的贡献度； 根据各模态的数据特征以及对应 的权重， 确定每种模态的目标特征； 基于各模态 的目标特征， 确定待处理图像对应于图像处理任 务的处理结果。 基于本申请实施例提供的该方 法， 能够有效提高图像处 理效果。 权利要求书4页 说明书27页 附图5页 CN 115223020 A 2022.10.21 CN 115223020 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取待处 理图像； 基于所述待处 理图像， 提取 所述待处 理图像对应的至少两种模态的数据特 征； 对于每种模态的数据 特征， 根据该模态的数据 特征， 确定该模态的数据 特征的权重， 每 种模态的数据特 征的权重表征了该模态的数据特 征对于图像处 理任务的贡献度； 根据各模态的数据特 征以及对应的权 重， 确定每种模态的目标 特征； 基于各模态的目标 特征， 确定所述待处 理图像对应于所述图像处 理任务的处 理结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据各模态的数据特征以及对应的权 重， 确定每种模态的目标 特征， 包括： 对于每种 模态的数据 特征， 确定该模态的数据特征与 所述至少两种模态的数据 特征中 每种模态的数据特 征之间的关联性； 对于每种 模态的数据 特征， 根据该模态的数据特征与 所述至少两种模态的数据 特征中 每种模态的数据特征之 间的关联性， 对所述至少两种模态的数据特征中各模态的数据特征 进行加权融合， 得到该模态的融合后的特 征； 采用每种模态对应的权重， 对相应模态的融合后的特征进行加权， 得到每种模态的目 标特征。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述待处理图像， 提取所述待处 理图像对应的至少两种模态的数据特 征， 包括： 对所述待处理图像对应的以下信 息中的至少一项信 息进行特征提取， 得到每项信 息的 信息特征， 将每项信息的信息特 征作为一种模态的数据特 征： 所述待处 理图像； 所述待处 理图像对应的文本； 至少一个图像块中的每个图像块， 每个所述图像块为所述待处理图像中一个目标对象 所在的图像区域。 4.根据权利要求1至3 中任一项所述的方法， 其特征在于， 所述基于所述待处理图像， 提 取得到所述待处 理图像的至少两种模态的数据特 征， 包括： 对所述待处 理图像进行 特征提取， 得到所述待处 理图像的全局图像特 征； 基于所述全局图像特征， 预测所述待处理图像中与所述图像处理任务关联的目标图像 区域； 对所述目标图像区域进行特征提取， 得到关键 图像特征， 将所述关键 图像特征作为一 种模态的数据特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述全局图像特征包括多个特征图， 所述 基于所述全局图像特征， 预测所述待处理图像与所述图像处理任务关联的目标图像区域， 包括： 通过将所述多个特征图中相同位置的特征点的特征值进行融合， 得到融合后的特征 图； 基于所述融合后的特征图， 确定所述融合后的特征图中每个特征点的权重， 每个特征 点的权重表征了该 特征点对应的图像区域与所述图像处 理任务的关联程度； 根据所述融合特 征图中各个特 征点的权 重， 确定所述待处 理图像中的目标图像区域。权　利　要　求　书 1/4 页 2 CN 115223020 A 26.根据权利要求3所述的方法， 其特征在于， 所述至少一项信息包括所述文本， 所述对 所述至少一项信息中的各项信息分别进行 特征提取， 得到每项信息的信息特 征， 包括： 对所述文本中的每 个文本单 元进行特征提取， 得到每 个文本单 元的局部特 征； 对于所述文本进行全局特 征提取， 得到所述文本的全局特 征； 将所述文本的全局特征和各个文本单元的局部特征融合， 得到所述文本的文本特征， 将所述文本特 征作为一种模态的数据特 征。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述文本的全局特征和各个文本单 元的局部特 征融合， 得到所述文本的文本特 征， 包括： 将所述文本的全局特 征和各个文本单 元的局部特 征融合， 得到融合特 征； 通过对所述融合特征再次进行特征提取， 将所述融合特征转换至与 所述图像处理任务 对应的特 征空间， 将再次提取后的特 征作为所述文本的文本特 征。 8.根据权利要求1所述的方法， 其特征在于， 对于每种模态的数据特征， 所述根据该模 态的数据特 征， 确定该模态的数据特 征的权重， 包括： 若该模态 的数据特征为图像特征， 基于该图像特征中的每个特征图， 确定每个特征图 的权重； 采用该图像特征中每个特征图的权重， 对相应的特征图进 行加权， 基于加权后的各 特征图， 确定该图像特 征的权重； 若该模态 的数据特征为文本特征， 根据该文本特征中各个特征点的特征值， 确定该文 本特征的权重。 9.根据权利要求1至3以及6至8中任一项所述的方法， 其特征在于， 所述方法是通过调 用训练好的图像处 理模型实现的， 所述图像处 理模型是通过以下 方式训练得到的： 获取训练样本集， 所述训练样本集包括多个带有标签的样本 图像， 每个所述样本 图像 的标签表征了该样本图像对应于所述图像任务的真实处 理结果； 基于所述训练样本集对神经网络模型重复执行训练操作， 直至满足训练结束条件， 将 满足训练结束条件时的神经网络模型作为训练好的图像处理模型， 其中， 所述训练操作包 括以下步骤： 对于每个所述样本图像， 提取 所述样本图像对应的至少两种模态的样本特 征； 对于每个所述样本 图像， 根据该样本 图像的每种模态的样本特征， 确定该样本 图像的 该模态的样本特 征的权重； 对于每个所述样本 图像， 基于该样本 图像的每种模态的样本特征以及对应的权重， 确 定该样本图像的每种模态的目标样本特 征； 对于每个所述样本 图像， 基于该样本 图像的各模态的目标样本特征， 预测该样本 图像 对应于所述图像处 理任务的第一处 理结果； 基于各所述样本 图像的标签和各模态对应的权重， 确定第一训练损 失， 基于各所述样 本图像的标签和第一处理结果， 确定第二训练损失， 根据所述第一训练损失和所述第二训 练损失， 得到训练总损失； 若不满足所述训练结束条件， 则 基于所述训练总损失对神经网络模型的模型参数进行 调整。 10.根据权利要求9所述的方法， 其特征在于， 所述神经网络模型包括第一网络模型和 第二网络模型， 其中， 所述第一网络模型为预 先训练好的；权　利　要　求　书 2/4 页 3 CN 115223020 A 3