(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079182 2.0 (22)申请日 2022.07.05 (71)申请人 苏州大学 地址 215000 江苏省苏州市相城区济学路8 号 (72)发明人 孙荣川　陆锦宇　郁树梅　孙立宁　 (74)专利代理 机构 苏州见山知识产权代理事务 所(特殊普通 合伙) 32421 专利代理师 袁丽花 (51)Int.Cl. G06T 17/05(2011.01) G06T 17/00(2006.01) G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 20/40(2022.01)G06V 10/46(2022.01) (54)发明名称 基于视觉特征的空地多机器人地图融合方 法 (57)摘要 本发明提供了基于视觉特征的空地多机器 人地图融合方法， 其利用地面移动机器人和无人 机独立采集数据并创建各自的子地图； 根据相应 的子地图， 分别构建相应的子地图数学模型， 并 对不同子地图数学模型进行图像视频检测闭环 关联处理， 得到UGV子地图与UAV子地图之间的关 联矩阵； 再根据关联矩阵， 对UGV子地 图和UAV子 地图进行融合， 得到全局立体栅格地图； 上述方 法分别通过UGV和UAV使用算法构建局部子地图， 局部地图拥有误差小、 精度高的特性， 通过数据 关联将各自的子地图进行融合， 最终能够合并成 精度较高的全局一致性地图， 使得利用本方法得 到的地图更加完整， 并且具有更小的误差 。 权利要求书2页 说明书13页 附图9页 CN 115222905 A 2022.10.21 CN 115222905 A 1.基于视觉特征的空地多机器人地图融合方法， 其特 征在于， 其包括如下步骤： 步骤S1， 通过地面移动 机器人UGV和无人机UAV分别独立进行数据采集， 从而得到UGV数 据和UAV数据； 步骤S2， 对所述UGV数据进行分析处理， 构建形成UGV子地图； 对所述UAV数据进行分析 处理， 构建形成UA V子地图； 步骤S3， 根据所述UGV子地图， 构建UGV子地图数学模型； 根据所述UAV子地图， 构建UAV 子地图数学模 型； 对所述UGV子地图数学模 型和所述UAV子地图数学模型进 行图像视频检测 闭环关联处 理， 得到所述UGV子地图与所述UA V子地图之间的关联矩阵； 步骤S4， 根据所述关联矩阵， 对所述UGV子地图和所述UAV子地图进行融合， 得到全局立 体栅格地图。 2.如权利要求1所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S1中， 通过地面移动机器人UGV和无人机UAV分别独立进行数据采集， 从而 得到UGV数据和UA V数据具体包括： 当地面移动机器人UGV在室内场景的地面进行移动过程中， 指示所述地面移动机器人 UGV的激光雷达设备对室内场景进行扫描检测， 得到UGV激光雷达数据； 当无人机UAV在所述室内场景进行飞行过程中， 指示所述无人机UAV的摄像设备对所述 室内场景进行拍摄， 得到UA V图像数据。 3.如权利要求2所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S2中， 对所述UGV数据进行分析处 理， 构建形成UGV子地图具体包括： 利用Cartographer算法对所述UGV激光雷达数据进行处理， 根据UGV激光雷达数据包含 的每个激光雷达数据帧， 生成对应的局部子地图； 计算连续两个局部子地图之间的变换矩 阵； 再根据所述变换矩阵， 将所有局部 子地图， 共同构建形成UGV子地图。 4.如权利要求3所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S2中， 计算连续两个局部子地图之间的变换矩阵具体包括： 计算所述激光 雷达设备在时间上连续的两次扫描检测得到的两个激光雷达数据帧分别对应的两个局部 子地图之间的变换矩阵； 其中， 所述变换矩阵是指两个局部子地图在室内场景对应的三维 空间上的三维空间坐标变换矩阵。 5.如权利要求 4所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S2中， 根据所述变换矩阵， 将所有局部子地 图， 共同构建形成UGV子地 图具 体包括： 根据所述变换矩阵， 对所有局部子地图中所有连续的两个局部子地图分别进行拼接， 从而构建形成UGV子地图。 6.如权利要求5所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S2中， 对所述UA V数据进行分析处 理， 构建形成UA V子地图具体包括： 利用RGBD  SLAM方法， 将所述UAV图像数据的每一帧图像与其对应的拍摄景深进行关 联， 提取得到每一 帧图像的2D特征点对应的深度信息， 从而将每一帧图像的2D特征点转换 为3D特征点； 再根据每一帧图像的所有3D特征点信息， 将所述UAV图像数据的所有帧图像组合转换 为3D形式的UA V子地图。权　利　要　求　书 1/2 页 2 CN 115222905 A 27.如权利要求6所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S3中， 根据所述UGV子地图， 构建UGV子地图数 学模型具体包括： 以所述UGV 子地图对应的坐标系C1为基准， 从所述UGV 子地图中提取得到点 云数据、 图像 像素数据、 图像深度数据和位姿数据， 从而构建形成UGV子地图数 学模型。 8.如权利要求7 所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S3中， 根据所述UA V子地图， 构建UA V子地图数 学模型具体包括： 以所述UAV 子地图对应的坐标系C2为基准， 从所述UAV 子地图中提取得到点 云数据、 图像 像素数据、 图像深度数据和位姿数据， 从而构建形成UA V子地图数 学模型。 9.如权利要求8所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S3中， 对所述UGV子地图数学模型和所述UAV子地图数学模型进行图像视频 检测闭环关联处 理， 得到所述UGV子地图与所述UA V子地图之间的关联矩阵具体包括： 从所述UGV子地图数学模型和所述UAV子地 图数学模型各自对应的图像序列中分别提 取得到相应的ORB特 征； 基于所述ORB特 征， 确定所述UGV子地图与所述UA V子地图之间所有相似的图像； 根据所述UGV子地图与所述UAV子地图之间所有相似 的图像， 构建所述UGV子地图与所 述UAV子地图之间的全局约束； 根据所述全局约束， 得到将所述UAV子地图进行坐标转换到所述UGV子地图上的变换矩 阵最优解， 并将所述变换矩 阵最优解作为所述UGV子地图与所述UAV子地图之间的关联矩 阵。 10.如权利要求9所述的基于 视觉特征的空地多机器人地图融合方法， 其特 征在于： 在所述步骤S4中， 根据所述关联矩阵， 对所述UGV子地图和所述UAV子地图进行融合， 得 到全局立体栅格地图具体包括： 根据所述关联矩阵， 将所述UAV子地 图转换到所述UGV子地 图的坐标系后； 再按照立体 栅格地图融合方法， 将所述UGV子地图和所述UAV子地图进行全局地图融合， 从而得到地空 多机器人全局一 致性地图。权　利　要　求　书 2/2 页 3 CN 115222905 A 3