(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026241.4 (22)申请日 2022.08.25 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 唐梦云 (51)Int.Cl. G06Q 30/06(2012.01) G06T 3/00(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 训练试衣模 型的方法、 虚拟试衣 方法及相关 装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练试衣模型的方法、 虚拟试衣方法及相 关装置， 试衣网络图像生成网络、 衣服变形网络 和融合模块， 采用若干个图像组对应的模特轮廓 图像、 衣服图像对试衣网络进行训练， 得到试衣 模型。 其中， 将体态文本信息与身体躯干图结合 得到的模特轮廓图像能够反映模特身形轮廓和 体态特征， 从而， 模特轮廓图像输入衣服变形网 络中指导衣服变形， 使 得衣服的变形符合人体轮 廓特征和体态特征。 采用若干个图像组以上述方 式对试衣网络进行训练， 基于损失和的反向传 播， 约束试衣网络收敛。 从而， 训练得到的试衣模 型能够使得试穿衣服更加贴合人体轮廓， 符合人 体体态， 试衣效果更加真实准确。 权利要求书3页 说明书19页 附图4页 CN 115439179 A 2022.12.06 CN 115439179 A 1.一种训练试衣模型的方法， 其特征在于， 试衣 网络包括图像生成网络、 衣服变形网络 和融合模块； 所述方法包括： 获取若干个图像组， 所述图像组包括衣服图像和模特图像， 所述模特图像中的模特穿 有所述衣服图像中的衣服， 所述模特图像对应有体态文本信息； 对所述体态文本信息进行特征编码， 得到体态特征图； 并从所述模特图像中提取出身 体躯干图； 将所述体态特征图和所述身体躯干图输入所述图像生成网络进行先编码后 解码处理， 得到模特轮廓图像； 将所述模特轮廓图像和所述衣服图像输入衣服变形网络以对所述衣服图像中的衣服 进行变形， 得到衣服变形图像； 将所述衣服变形图像和所述模特轮廓图像输入所述融合模块进行融合处理， 得到预测 试衣图像； 采用损失函数计算所述预测试衣图像和所述模特图像之间的损失， 并根据所述若干个 图像组对应的损失和， 对所述试衣网络进行迭代训练， 直至收敛， 得到所述试衣 模型。 2.根据权利要求1所述的方法， 其特征在于， 所述体态文本信息对应有体态轮廓图像， 所述试衣网络还包括风格迁移网络， 所述风格迁移网络用于对输入的图像进 行特征提取输 出不同尺寸的多个特 征图； 所述方法还 包括： 采用所述风格迁移网络分别对所述体态轮廓图像和所述模特轮廓图像进行特征提取， 得到多个 体态轮廓特 征图和多个模特轮廓特 征图； 所述采用损失函数计算所述预测试衣图像和所述模特图像之间的损失， 包括： 采用所述损失函数计算所述多个体态轮廓特征图和所述多个模特轮廓特征图之间的 风格迁移损失。 3.根据权利要求2所述的方法， 其特征在于， 所述采用损失函数计算所述预测试衣图像 和所述模特图像之间的损失， 还 包括： 采用所述损失函数计算所述衣服变形图像中衣服和所述模特图像中衣服之间的衣服 变形损失； 采用所述损失函数计算所述模特图像和所述预测试衣图像之间的重构损失。 4.根据权利要求3所述的方法， 其特 征在于， 所述损失函数包括： Loss＝ λ0Lstyle+λ1Lwarp+λ2Lrec； 其中， Lrec＝||Y‑R||1； 其中， λ0、 λ1和 λ2为超参数， Lstyle为所述风格迁移损失， Lwarp为所述衣服变形损失， Lrec为权　利　要　求　书 1/3 页 2 CN 115439179 A 2所述重构损失， H为所述体态轮廓图像， 为所述模特轮廓图像， VGG为所述风格迁移网络， V 是所述风格迁移网络的总层数， Fi和Ri分别是所述风格迁移网络的第i层中的激活量和元素 数， 是所述模特图像中衣服， 是所述衣服变形图像中衣服， 是所述模特图像中衣 服轮廓， 是所述衣服变形图像中衣服轮廓， Y是所述模特图像， R是所述预测试衣图 像。 5.根据权利要求1 ‑4任意一项所述的方法， 其特征在于， 所述试衣网络还包括多层感知 机模块； 所述对所述体态文本信息进行 特征编码， 得到体态特 征图， 包括： 采用词袋模型对所述体态文本信息中的各词语进行编码， 得到文本编码； 采用所述多层感知机模块对所述文本编码进行 特征提取， 得到所述体态特 征图。 6.根据权利要求1 ‑4任意一项所述的方法， 其特征在于， 所述衣服变形网络包括 Transformer模块、 特 征匹配模块和变形模块； 将所述模特轮廓图像和所述衣服图像输入衣服变形网络以对所述衣服图像中的衣服 进行变形， 得到衣服变形图像， 包括： 将所述模特轮廓图像和所述衣服图像输入所述Transformer模块， 分别得到第一模特 轮廓特征图和第一衣服特 征图； 将所述第一模特轮廓特征图和所述第一衣服特征图输入所述特征匹配模块进行特征 匹配关联， 得到关联矩阵， 所述关联矩阵反映模特和衣服之间的像素点关联匹配情况； 所述变形模块 根据所述关联矩阵对所述衣服图像进行变形， 得到所述衣服变形图像。 7.根据权利要求6所述的方法， 其特征在于， 所述试衣网络还包括特征提取模块， 在所 述将所述模特轮廓图像和所述衣服图像输入所述Transformer模块， 分别 得到第一模特轮 廓特征图和第一衣服特 征图的步骤之前， 所述方法还 包括： 采用所述特征提取模块对所述模特轮廓图像进行特征提取， 得到第二模特轮廓特征 图； 采用所述特 征提取模块对所述衣服图像进行 特征提取， 得到第二衣服特 征图； 所述将所述模特轮廓图像和所述衣服图像输入所述Transformer模块， 分别得到第一 模特轮廓特 征图和第一衣服特 征图， 包括： 将所述第二模特轮廓特征 图和所述第二衣服特征图输入所述Transformer模块， 分别 得到所述第一模特轮廓特 征图和所述第一衣服特 征图。 8.一种虚拟试衣方法， 其特 征在于， 包括： 获取试穿者图像、 待试衣服图像和试穿 者体态文本信息； 对所述试穿者体态文本信息进行特征编码， 得到试穿者体态特征图； 并从所述试穿者 图像中提取 出试穿者身体躯 干图； 将所述试穿者体态特征图和所述试穿者身体躯干 图输入试衣模型， 生成试衣图像， 其 中， 所述试衣 模型采用如权利要求1 ‑7中任意一项训练试衣 模型的方法训练得到 。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中，权　利　要　求　书 2/3 页 3 CN 115439179 A 3