(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822335.6 (22)申请日 2022.07.12 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 舒畅　陈又新　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉　石良武 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/55(2019.01) G06F 16/58(2019.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像描述方法、 装置、 设备和介质 (57)摘要 本申请的图像描述方法、 装置、 设备和介质， 其中方法包括： 获取输入图像； 对输入 图像的区 域特征进行编码， 得到区域特征编码。 对输入 图 像的网格特征进行编码， 得到网格特征编码。 根 据区域特征编码和网格特征编码对区域特征和 网格特征进行融合， 得到图像特征。 根据文本适 应性特征将图像特征和预处理历史单词进行融 合， 得到图像文字融合结果。 对图像文字融合结 果进行分类， 得到图像描述结果。 通过将区域特 征和网格特征进行互补， 使 得图像特征能够覆盖 更多的图像内容。 通过文本适应性特征指导图像 特征和预处理历史单词的融合过程， 能够使 得图 像文字融合结果更加准确， 从而减少图像描述结 果的歧义。 权利要求书2页 说明书11页 附图5页 CN 115186061 A 2022.10.14 CN 115186061 A 1.一种图像描述方法， 其特 征在于， 包括： 获取输入图像； 对所述输入图像的区域特 征进行编码， 得到区域特 征编码； 对所述输入图像的网格特 征进行编码， 得到网格特 征编码； 根据所述区域特征编码和所述网格特征编码对所述区域特征和所述网格特征进行融 合， 得到图像特 征； 根据文本适应性特征将所述图像特征和预处理历史单词进行融合， 得到图像文字 融合 结果； 对所述图像文字融合结果进行分类， 得到图像描述结果。 2.根据权利要求1所述的图像描述方法， 其特征在于， 所述根据 所述区域特征编码和所 述网格特 征编码对所述区域特 征和所述网格特 征进行融合， 得到图像特 征， 包括： 将所述区域特征和所述 区域特征编码输入记忆自注意力层， 对所述区域特征进行权重 调节， 得到 权重调节区域特 征； 将所述网格特征和所述网格特征编码输入所述记忆自注意力层， 对所述网格特征进行 权重调节， 得到 权重调节网格特 征； 将所述权 重调节区域特 征输入前馈神经网络层进行修 正， 得到修 正区域特 征； 将所述权 重调节网格特 征输入前馈神经网络层进行修 正， 得到修 正网格特 征； 将所述修正区域特征和所述修正网格特征进行交互调 整， 得到交互区域特征和交互网 格特征； 根据所述交 互区域特 征和所述交 互网格特 征得到所述图像特 征。 3.根据权利要求2所述的图像描述方法， 其特征在于， 所述将所述修正 区域特征和所述 修正网格特 征进行交 互调整， 得到交 互区域特 征和交互网格特 征， 包括： 根据所述 修正网格特 征对所述 修正区域特 征进行权 重调节， 得到所述交 互区域特 征； 根据所述 修正区域特 征对所述 修正网格特 征进行权 重调节， 得到所述交 互网格特 征。 4.根据权利要求3所述的图像描述方法， 其特征在于， 所述根据 所述交互区域特征和所 述交互网格特 征得到所述图像特 征， 包括： 将所述交 互区域特 征输入前馈神经网络层进行修 正， 得到修 正交互区域特 征； 将所述交 互网格特 征输入前馈神经网络层进行修 正， 得到修 正交互网格特 征； 将所述修正交互区域特征和所述交互区域特征输入拼接及正则化层进行拼接及正则 化， 得到正则化 拼接区域特 征； 将所述修正网格区域特征和所述网格区域特征输入所述拼接及正则化层进行拼接及 正则化， 得到正则化 拼接网格特 征； 将所述正则化拼接区域特征和所述正则化拼接网格特征进行组合， 得到所述图像特 征。 5.根据权利要求4所述的图像描述方法， 其特征在于， 所述根据文本适应性特征将所述 图像特征和预处 理历史单词进行融合之前， 还 包括： 将历史图像描述结果 集合进行词编码和位置编码， 得到历史单词向量 集合； 将所述历史单词向量集合输入掩膜自注意力层， 根据时间顺序对所述历史单词向量集 合进行筛 选， 得到筛选后单词向量 集合； 将所述筛选后单词向量集合和所述历史单词向量集合输入所述拼接及正则化层进行权　利　要　求　书 1/2 页 2 CN 115186061 A 2拼接和正则化， 得到预处 理历史单词。 6.根据权利要求4所述的图像描述方法， 其特征在于， 所述对所述图像文字 融合结果进 行分类， 得到图像描述结果， 包括： 基于多头注意力机制对所述图像文字融合结果进行特征提取， 得到图像文字融合特 征； 将所述图像文字 融合特征依次通过所述前馈神经网络层、 所述拼接及正则化层和归一 化指数函数层进行分类， 得到图像描述结果。 7.根据权利要求6所述的图像描述方法， 其特征在于， 所述基于多头注意力 机制对所述 图像文字融合结果进行 特征提取， 得到图像文字融合特 征， 包括： 根据所述多头注意力机制提取 所述图像文字融合结果中的文字特 征和所述图像特 征； 将提取的所述文字特 征和所述图像特 征进行融合， 得到所述图像文字融合特 征。 8.一种图像描述装置， 其特 征在于， 包括： 输入图像获取模块， 用于获取输入图像； 区域特征编码模块， 用于对所述输入图像的区域特 征进行编码， 得到区域特 征编码； 网格特征编码模块， 用于对所述输入图像的网格特 征进行编码， 得到网格特 征编码； 图像特征提取模块， 用于根据 所述区域特征编码和所述网格特征编码对所述 区域特征 和所述网格特 征进行融合， 得到图像特 征； 图像文字 融合结果计算模块， 用于根据文本适应性特征将所述图像特征和预处理历史 单词进行融合， 得到图像文字融合结果； 描述结果 生成模块， 用于对所述图像文字融合结果进行分类， 得到图像描述结果。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求 1至7中任一项 所述的图像描述方法的 步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的图像描述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115186061 A 3