(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210805473.3 (22)申请日 2022.07.08 (71)申请人 南京视道信息技 术有限公司 地址 211199 江苏省南京市江宁区东 山街 道天印大道696号7楼F座 申请人 电子科技大 学长三角研究院 （湖州） (72)发明人 方黎勇　王煜文　孙俊男　王思维　 方总平　 (74)专利代理 机构 重庆天成卓越专利代理事务 所(普通合伙) 50240 专利代理师 王宏松 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于PointNet网络优化的语义地图构 建方法 (57)摘要 本发明提出了一种基于PointNet网络优化 的语义地图构建方法， 包括以下步骤： S1， 数据采 集和预处理； S2， 根据图像获得环境原始点云地 图； S3， 原始点云数据降采样； S4， 降采样中心邻 域提取； S5， 点 云语义分割； S6， 输 出点云地图； 本 发明提高了点云分割网络PointNet网络对点云 局部特征的描述， 提高了点云地图的精度。 权利要求书3页 说明书6页 附图3页 CN 115131666 A 2022.09.30 CN 115131666 A 1.一种基于Po intNet网络优化的语义 地图构建方法， 其特 征在于， 包括以下步骤： S1， 数据采集和预处理： 将采集的数据转换为jpg格式并保存图像， 然后将图像大小进 行统一转换， 再使用光度标定对图像进行增强得到预处 理的图像； S2， 根据图像获得环境原始点云地图： 将预处理的图像输入视觉SLAM算法DS O中进行三 维重建， 得到原 始的点云地图； S3， 原始点云数据降采样： 对原始的点云地图中的原始点云数据进行降采样得到中心 点， 然后保存每一个中心 点之间的距离， 存储为一个中心间距矩阵； 并以KD树为数据结构将 采样的中心点存 储并排序； S4， 降采样中心邻域提取： 将原始点云数据、 降采样得到的中心点和中心间距矩阵输入 优化的PointNet网络， 依照中心点存储顺序将每一个中心点进行遍历， 在遍历中计算K值， 以K值确定中心点的邻域， 从而得到不同邻域的点云集 合； S5， 点云语义分割： 将不同邻域的点云集合输入PointNet网络进行语义分割， 并通过特 征提取层、 最大池化、 以及特 征融合层， 最终得到点云的分类； S6， 输出点云地图。 2.根据权利要求1所述的一种基于PointNet网络优化的语义地 图构建方法， 其特征在 于， S3包括以下步骤： S31， 首先从数据集合A中随机选择一个点作为第一个采样点； 之后将第一个点放入集 合C中， 此时M＝1； S32， 对采样后剩下的点集合A ‑C与集合C进行距离计算， 选择距离最大的点作 为下一个 采样点， 并将所述采样点后放入集 合C中； 所述距离计算距离是根据两点之间的距离确定下一个采样点p， d为集合A ‑C中距离C最 大的距离： d＝max(d1j) j＝1,2,3. ..,N‑1 S33， 判断采样点数量是否达到设定值， 若达到则结束采样， 执行步骤S36； 若未达到则 进行下一步骤； S34， 继续从数据集合A中随机选择一个点作 为采样点， 此 时集合C中的点数大于等于2， 依次求解集合A ‑C中的点到集合C中各个点的距离， 求出点到集合距离最大的点即为采样 点； pi＝min(di1,di2,…dij) j＝1,2,3 …N‑M pi表示集合C中第i个点到集 合A‑C中所有点距离的最小值； dij表示集合C中第i个点到集 合A‑C中第j个点的距离； 最后求取 所有pi的最大值即可 得到点到集 合的距离， 计算公式为： D＝max(pi) i＝1,2,3…M D表示pi中的最大值； S35， 判断采样点数量是否达到设定值， 若达到则结束采样， 执行步骤S36； 若未达到则 跳转执行步骤S34； S36， 保存每一个中心点之间的距离， 存储为一个上三角矩阵M， 并以KD树为数据结构， 将采样的中心点存 储并排序。 3.根据权利要求1所述的一种基于PointNet网络优化的语义地 图构建方法， 其特征在权　利　要　求　书 1/3 页 2 CN 115131666 A 2于， S4包括以下步骤： S41， 输入原始点云数据、 降采样得到的中心点和中心间距矩阵到优化的PointNet网 络； S42， 依照 中心点存储顺序将每一个中心点进行遍历， 在遍历中计算K值， 与此同时， 计 算原始点云数据附近 点距离Ci的欧式距离， 并对计算的数据进行排序， 选择小 于Ki的数据加 入以Ci为中心的邻域； 当遍历完集合C中的所有中心点， 即可确定以Ci为中心数据的邻域； Ci 表示第i个中心点， Ki为第i个中心点对应的K值。 4.根据权利 要求1或3所述的一种基于PointNet网络优化的语义地图构 建方法， 其特征 在于， 所述中心间距 矩阵的表达式如下： 其中gij代表第i个中心点与第j个中心点之间的距离， i ＝1,2，…n‑1， j＝1,2， …n； n代表所有中心点的个数。 5.根据权利要求3所述的一种基于PointNet网络优化的语义地 图构建方法， 其特征在 于， 计算K值的方法如下： Ki＝α·ki+θ 其中α 为权 重系数； θ 为偏移常数； Ki为第i个中心点对应的K值， 用于进行邻域的确定， 1≤i≤n； ki为为第i个中心点的初始K值， 其计算方法如式所示： s＝σ×n， 表示以中心点周围s个中心点 为依据却 确定初始K值； l表示区域间距； min(ei)l表示所有中心点与第i个中心点距离的集 合e中第l小的距离 。 6.根据权利要求1所述的一种基于PointNet网络优化的语义地 图构建方法， 其特征在 于， S5包括： S51， 将不同邻域的点云集合输入PointNet网络进行语义分割， 输出不同邻域的局部特 征； S52， 将输出的所有特征输入特征提取层进行进一步的特征提取， 并通过最大池化得到 原始点云数据的全局特 征； S53， 将全局特征与之前得到的点云局部特征进行特征融合， 将融合后的数据输入特征 提取层进 行数据压缩， 然后 将压缩后的数据经过输出层， 得到每一个点云对应的类别， 从而 完成语义 地图的构建。 7.根据权利要求1所述的一种基于PointNet网络优化的语义地 图构建方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115131666 A 3