(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988946.8 (22)申请日 2022.08.17 (71)申请人 江西科骏实业有限公司 地址 330100 江西省南昌市新建区长堎镇 子实路1589号2栋 (72)发明人 高跃　罗军　黄晋　肖罡　杨钦文　 刘小兰　魏志宇　万可谦　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 胡君 (51)Int.Cl. G06T 17/00(2006.01) G06V 20/64(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义识别的三维模型重建方法及 系统 (57)摘要 本发明公开一种基于语义识别的三维模型 重建方法及系统， 该方法步骤包括： S01.获取对 目标物体进行拍摄所得到的图像数据以及点云 数据并进行特征提取， 得到图像特征以及点云特 征； S02.根据图像特征以及点云特征建立关联图 编码器， 将图像特征与点云特征编码成融合特 征， 得到目标物体的语义识别特征； S03.将语义 识别特征输入至预先构建的三维模 型数据库中， 得到语义识别特征模板； S04.将语义识别特征以 及语义识别特征模板输入至预先构建的解码器 网络中， 恢复得到目标物体的三维模型， 实现目 标物体三维模 型的重建。 本发明具有实现方法简 单、 成本低且重建效率以及精度高且灵活性强等 优点。 权利要求书2页 说明书6页 附图1页 CN 115423938 A 2022.12.02 CN 115423938 A 1.一种基于语义识别的三维模型重建方法， 其特 征在于， 步骤 包括： S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取， 得到 图像特征以及点云特 征； S02.根据 所述图像特征以及点云特征建立关联图编码器， 由所述关联图编码器将所述 图像特征与所述 点云特征编码成融合特 征， 得到目标物体的语义识别特 征； S03.将步骤S02得到的所述语义识别特征输入至预先构建的三维模型数据库中， 得到 与所述语义识别特征匹配的语义识别特征模板， 所述三 维模型数据库中存储有不同物体所 对应的语义识别特 征模板； S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预 先构建的解码器网络中进行训练， 恢复得到目标物体的三维模型， 实现目标物体三维模型 的重建。 2.根据权利要求1所述的基于语义识别的三维模型重建方法， 其特征在于， 所述步骤 S01中， 对点云数据进行特征提取时， 先将点云数据切分为多个块的集合， 然后对切分得到 的每个分块中点进行统计 计算， 提取 得到对应各分块的点云特 征。 3.根据权利要求1所述的基于语义识别的三维模型重建方法， 其特征在于， 所述步骤 S02中， 根据所述图像特 征以及点云特 征建立关联图编码器包括： 将步骤S01得到的所有的所述图像特征以及点云特征分别划分为多个节点， 每一个节 点与最近邻节点构建形成边， 构建得到关联图子图编码器； 分别以各所述关联图子图编码器的输出特征作为节点， 每一个节点与最近邻节点构建 形成边， 构建得到父图编 码器， 由所述父图编 码器输出编 码形成的融合特征， 即为目标物体 的语义识别特 征。 4.根据权利要求3所述的基于语义识别的三维模型重建方法， 其特征在于， 所述关联图 子图编码器按照下式构建得到： 其中， 表示将点云数据划分为多个分块后第pi个分块区域内的点云特征对应的节 点， 表示第i个图像特征向量对应的节点， P表示所有的点云数据， epart表示关联图子图 编码器的网络模型。 5.根据权利要求3所述的基于语义识别的三维模型重建方法， 其特征在于， 所述父图编 码器按照下式构建得到： 其中， egraph表示父图编码器的网络模型， 表示第gi‑1个关联图子图编码器的输出特 征对应的节点， Ci表示全部节点， Ri表示全部节点之间的关联关系。 6.根据权利要求3或4或5中任意一项所述的基于语义识别的三维模型重建方法， 其特 征在于， 所述解码器网络使用所述父图编码器作为节点构建得到， 输出恢复出 的目标物体 的三维模型。 7.根据权利要求6所述的基于语义识别的三维模型重建方法， 其特征在于， 所述解码器 网络按照下式构建得到：权　利　要　求　书 1/2 页 2 CN 115423938 A 2其中， dgraph表示解码器网络的图网络模型， 表示第pj个父图编码器的输出特征对 应的节点， pj表示点云中的点云块特征， P ′表示恢复出的全部点云， 表示最终重建 出的第pj个分块区域 点云数据和第j个图像数据。 8.根据权利要求1～5中任意一项所述的基于语义识别的三维模型重建方法， 其特征在 于， 所述步骤S04中， 采用几何损失函数对网络进行训练， 所述几何损失函数为： 其中， CD表示几何损失的计算， pi， p′j分别表示重建点云和真实点云， 和 分别表 示重建点云和真实点云的点数， xi， xj分别表示点云中的两个点， 表示xi， xj两个 点之间的欧氏距离 。 9.一种基于语义识别的三维模型重建系统， 其特 征在于， 包括： 特征提取模块， 用于获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行 特征提取， 得到图像特 征以及点云特 征； 语义识别模块， 用于根据所述图像特征以及点云特征建立关联图编码器， 由所述关联 图编码器将所述图像特征与所述点云特征编码成融合特征， 得到目标物体的语义识别特 征； 模板匹配模块， 用于将语义识别模块得到的所述语义识别特征输入至预先构建的三维 模型数据库中， 得到与所述语义识别特征匹配的语义识别特征模板， 所述三维模型数据库 中存储有不同物体所对应的语义识别特 征模板； 三维重建模块， 用于将所述语义识别模块得到的语义识别特征以及所述模板匹配模块 得到的语义识别特征模板输入至预先构建的解码 器网络中进 行训练， 恢复得到目标物体的 三维模型， 实现目标物体三维模型的重建。 10.一种计算机系统， 包括处理器以及存储器， 所述存储器用于存储计算机程序， 其特 征在于， 所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方 法。权　利　要　求　书 2/2 页 3 CN 115423938 A 3