(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210886196.3 (22)申请日 2022.07.26 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 牛玉贞　郑路伟　林闽沪　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于前景参考图像的合成图像和谐化 方法及系统 (57)摘要 本发明涉及一种基于前景参考图像的合成 图像和谐化方法及系统， 该方法包括： 利用原始 合成图像的前景掩膜及目标检测预训练模型对 原始合成图像进行处理， 得到前景图像的参考图 像， 并对真实标签图像、 原始合成图像和参考图 像进行图像预处理， 得到训练集； 构建基于前景 参考图像的双分支合成图像和谐化网络， 该网络 由三个部分组成， 分别为背景特征提取融合模 块、 前景参考图像特征提取融合模块和双分支特 征融合微调模块； 构建合 成图像和谐化网络的目 标损失函数； 使用训练集图像训练所述合成图像 和谐化网络； 将新的合成图像进行前景参考图像 提取， 然后输入训练好的合成图像和谐化模型， 输出经过和谐化的图像。 该方法及系统有利于提 高合成图像和谐化质量。 权利要求书5页 说明书12页 附图3页 CN 115205544 A 2022.10.18 CN 115205544 A 1.一种基于前 景参考图像的合成图像和谐化方法， 其特 征在于， 包括以下步骤： 步骤A、 利用原始合成图像的前景掩膜以及目标检测预训练模型对原始合成图像进行 处理， 得到前景图像的参考图像， 并对真实标签图像、 原始 合成图像和参考图像进 行图像预 处理， 得到训练集； 步骤B、 构建基于前景参考图像的双 分支合成图像和谐化网络， 所述合成图像和谐化网 络由三个部分组成， 分别为背景特征提取融合模块、 前景参考图像特征提取融合模块和双 分支特征融合微调模块； 步骤C、 构建合成图像和谐化网络的目标损失函数； 步骤D、 使用训练集图像训练所述合成图像和谐化网络， 得到训练好的合成图像和谐化 模型； 步骤E、 将新的合成图像进行前景参考图像提取， 然后输入训练好的合成图像和谐化模 型， 输出经过和谐化的图像。 2.根据权利要求1所述的一种基于前景参考图像的合成图像和谐化方法， 其特征在于， 所述步骤A具体包括以下步骤： 步骤A1、 将真实标签图像、 原始合成图像和前景掩膜的尺寸调整到统一的H ×W像素大 小； 步骤A2、 利用前景掩膜将原始合成图像背景部分的像素值置为0， 得到前景图像， 再利 用yolov5目标检测预训练模 型提取前景图像中的单个前景目标， 之后将前景掩膜取反得到 背景掩膜， 利用背景掩膜将原始合成图像前景部分的像素值置为0， 得到背景图像， 再利用 yolov5目标检测预训练模 型提取背景图像中的多个背 景目标， 将所有目标的尺 寸统一调整 到H×W像素大小， 计算前景目标和 每个背景目标的余弦相似度， 将最高值的背景目标作为 原始合成图像的参 考图像； 计算 余弦相似度值cos( θ )的公式如下： 其中， A和B分别表示向量 化的前景目标和背景目标， n表示图像的像素个数， 即H ×W； 步骤A3、 将所有待训练原始合成图像、 参考图像和前景掩膜进行统一的随机翻转操作， 对原始合成图像和参 考图像进行增强； 步骤A4、 将所有原始合成图像和参考图像进行归一化处理， 给定原始合成图像或参考 图像I(i,j)， 其归一 化处理后的图像为 计算归一 化值 的公式如下： 其中， (i,j)表示像素的位置 。 3.根据权利要求1所述的一种基于前景参考图像的合成图像和谐化方法， 其特征在于， 所述步骤B具体包括以下步骤： 步骤B1、 构建背景特征提取融合模块， 所述背景特征提取融合模块由一个编码器、 一个 解码器和一个输出 卷积块组成， 用于提取合成图像背景 特征并与前 景特征融合； 步骤B2、 构建前景参考图像特征提取融合模块， 所述前景参考图像特征提取融合模块权　利　要　求　书 1/5 页 2 CN 115205544 A 2由一个编码器、 两个对齐模块、 两个残差块、 一个参考图像特征融合层和一个解码器组成， 用于提取 前景参考图像特 征并与前 景特征融合； 步骤B3、 构建双分支特征融合微调模块， 所述双分支特征融合微调模块由三个卷积块 组成， 用于融合双分支特 征并进行微调。 4.根据权利要求3所述的一种基于前景参考图像的合成图像和谐化方法， 其特征在于， 所述步骤B1具体实现步骤如下： 步骤B11、 构建背景特征提取融合模块， 所述背景特征提取融合模块的输入为归一化后 的真实标签图像I、 原始合成图像 和前景掩膜M， 原始合成图像 的尺寸大小为H ×W×3， 前 景掩膜M的尺寸大小为H ×W×1， 输出尺寸大小为H ×W×3的和谐化的图像 所述背景特征 提取融合模块由一个编码器、 一个解码器和一个输出卷积块组成， 编码器包含8个卷积块， 解码器包 含7个反卷积块； 步骤B12、 构建步骤B11中用到的编码器， 所述编码器包含8个卷积块， 将原始合成图像 依次输入到编码器的卷积块中， 第t个卷积块得到特征图Xt， X1到X4的尺寸大小为 X5到X8的尺寸大小为 其中t表示编码器中的第t个卷积 块； 所述编码器输出尺寸大小为1 ×1×512的特征图X8； 步骤B13、 构建步骤B11中用到的解码器， 所述解码器包含7个反卷积块， 对于解码器中 第一个反卷积块， 将步骤B12得到的特征图X8送入解码器的第一个反卷积块中， 得到特征图 将特征图 和特征图X7沿通道维度拼接后， 送入解码器的第二个反卷积块中； 同理， 解 码器中的第t个反卷积块的输入为前一个反卷积块的输出特征 和对应编码器的输出特 征X9‑t沿通道维度的拼接， 输出为 特征图 到 的尺寸大小为 到 的尺寸大小为 解码器最终输出尺寸大小为 的特征图 将特征图 和特征图X1沿通道维度拼接后送入最后的输出卷积块， 得到尺寸大小为H × W×3的和谐化图像 步骤B14、 构 建步骤B12中编码器中的卷积块， 所述编码器中的卷积块由卷积层、 正则化 层和激活层按序组成； 所述卷积层采用卷积核大小为4 ×4， 步长为2， 填充为1的卷积， 所述 正则化层采用实例正则化算法， 所述激活层采用LeakyRelu激活函数； 特别地， 编码器中的 第一个卷积块 不包含正则化层； 步骤B15、 构 建步骤B13中解码器中的反卷积块， 所述解码器中的反卷积块由反卷积层、 背景特征融合层和 激活层按序组成； 所述反卷积层采用卷积核大小为4 ×4， 步长为2， 填充 为1的反卷积， 所述激活层采用Relu激活函数； 编码器中的最后三个反卷积块由反卷积层、 背景特征融合层、 激活层和通道注意力层 按序组成； 所述通道注意力层由一个卷积核大小为1 ×1， 步长为1的卷积和sigmoid函数组 成； 计算公式如下： 其中， Conv1表示卷积核大小为1 ×1的卷积， BFI N表示背景 特征融合层；权　利　要　求　书 2/5 页 3 CN 115205544 A 3