(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210743615.8 (22)申请日 2022.06.27 (71)申请人 深圳见得空间科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 罗磊　宋南　 (74)专利代理 机构 深圳市弘为力创知识产权代 理事务所(普通 合伙) 44751 专利代理师 康晓春 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 点云目标的检测方法、 装置、 设备及存储介 质 (57)摘要 本申请涉及自动驾驶技术领域， 本申请提供 一种点云目标的检测方法、 装置、 设备及存储介 质， 所述方法获取局部点云特征和全局体素特 征； 基于预设双编码器与解码器算法， 融合局部 点云特征和全局体素特征， 生成三维目标框， 并 完成场景中点云目标的检测。 通过上述方式， 本 发明通过点 云网络和三位稀 疏卷积网络， 分别获 取局部点云特征和全局体素特征后， 通过预设双 编码器与融合解码器算法， 生 成融合多模态特征 的三维目标框， 并以此完成待检测场景中点云目 标的检测。 由此， 采用多模态融合确定三维目标 框， 提高了点云目标的检测方法的精度与效率， 解决了目前点云目标的检测方法的精度低且效 率低的技 术问题。 权利要求书3页 说明书9页 附图2页 CN 115082885 A 2022.09.20 CN 115082885 A 1.一种点云目标的检测方法， 其特 征在于， 所述检测方法包括以下步骤： 通过三维稀疏卷积神经网络处理所述待确定场景的三维体素网格， 得到所述待确定场 景的全局体素 特征， 并生成目标提 议框； 通过点云网络处 理待检测场景的原 始点云， 得到所述待检测场景的局部点云特 征； 基于预设双编码器与融合解码器算法， 融合所述局部点云特征和所述全局体素特征， 对所述目标提议框进行调整， 生成三维目标框， 并基于所述三维目标框完成所述待检测场 景中点云目标的检测。 2.如权利要求1所述的点云目标的检测方法， 其特征在于， 所述通过三维稀疏卷积神经 网络处理所述待确定场景 的三维体素网格， 得到所述待确定场景 的全局体素特征， 并生成 目标提议框， 包括： 将所述待检测点云空间划分成规则的体素表达形式， 其中仅保留含有点的体素网格， 而其余体素则被认为是空体素； 对于每个所述空体素， 采用其所包含点的平均特征作为其初始输入特征， 随后采用所 述三维稀疏 卷积神经网络感知体素网格并给 出所述待确定图像的目标提 议框。 3.如权利要求2所述的点云目标的检测方法， 其特征在于， 所述对于每个所述空体素， 采用其所包含点的平均特征作为其初始输入特征， 随后采用所述三 维稀疏卷积神经网络感 知体素网格并给 出所述待确定图像的粗略提 议框， 包括： 将 所 述 三 维 输 出 特 征 有 高 度 维 压 缩 至 二 维 空 间 得 到 二 维 图 像 表 征 为 将所述二维图像表征输入用于鸟瞰图目标检测的二维RPN网络， 逐层的输出具体表示 为 各层均采用3 ×3 卷积以减小学习参数， 得到进一步细化的特征图用于后续的预测， 其中， 所述二维RPN网络 网络由四层二维卷积神经网络搭建， 采用U ‑Net网络结构； 通过基于锚框的分类和回归得到RPN网络检测出的物体提议， 即对每一个像素点都预 先设置一个对应的锚框， 对该锚框做微调以实现精准的定位， 因此对于大小为 的特 征图， 一共 会有 个预定义框 。 4.如权利要求2所述的点云目标的检测方法， 其特征在于， 所述将所述待检测点云空间 划分成规则的体素表达形式， 其中仅保留含有点的体素网格， 而其余体素则被认为是空体 素， 包括： 采用Spconv库堆叠4层所述三维稀疏卷积模块， 其中每个稀疏卷积模块包含两层子流 型卷积和一层用于逐步下采样的稀疏卷积模块； 假设输入的体素张量表示为L ×W×H×C， 那么该三维稀疏 卷积的网络 输出可以表示 为 5.如权利要求1所述的点云目标的检测方法， 其特征在于， 所述通过点云网络处理待检 测场景的原 始点云， 得到所述待检测场景的局部点云特 征， 包括：权　利　要　求　书 1/3 页 2 CN 115082885 A 2利用最远点采样策略从所述原始点云中均匀采样固定点云数为 每一层 局部点云特征提取模块的输入依次为上一层的输出， 而当前层的输出为后续最远点采样的 点集； 通过所述局部点云特征提取模块提取待检测场景的各层点云的局部点云特征， 且逐层 扩大以得到全局点云语义信息， 设点云中存在点pi， 设Si为在以点pi为中心， 半径为r的球邻 域内部的点所构成的集 合。 6.如权利要求5所述的点云目标的检测方法， 其特征在于， 所述通过所述局部点云特征 提取模块提取待检测 场景的各层点云的局部点云特征， 且逐层 扩大以得到全局点云语义信 息， 设点云中存在点pi， 设Si为在以点pi为中心， 半径为r的球邻域内部的点所构成的集合， 包括： 从集合Si中随机采样k个点组成集 合S′i； 通过多层感知机对该邻域内采样的点进行特征融合提取， 计算得到点pi的输出特征， 计 算公式如下： f(pi)＝MLP(maxj＝1， ...， k{MLP(fj)})    (1) 首先采用多层感知机对点局域内的k个点的特征做进一步的特征提取得到对应的n维 映射特征， 然后在特征维度采用最大池化处理得到以pi为中心， r为半径的邻域的最大信息 表征， 随后采用多层感知机进一步抽象该最大信息表征的n维高维特征以获取点pi的输出 特征； 逐层对点云重复FPS采样到对应点数， 并对采样得到的点聚合邻域特征， 实现点云信息 的高维几何特 征提取。 7.如权利要求1所述的点云目标的检测方法， 其特征在于， 所述基于预设双编码器与融 合解码器算法， 融合所述局部点云特征和所述全局体素特征， 对所述目标提议框进 行调整， 生成三维目标框， 并基于所述三维目标框完成所述待检测场景中点云目标的检测之后， 还 包括： 给定融合特征及目标提议框， 设计微调网络进一步精确回归物体的空间信息， 过滤掉 可能存在的误检物体； 对于每个所述目标提议框 取其中的点集Gi， 并采用最大池化提取全局特征， 计算得到物 体Gi的输出特征， 计算公式如下： f(Gi)＝MLP(maxj＝1， ...， k{MLP(fj)})    (2) 并通过置信度预测和所述目标提议框的回归分支分别获取所述待检测场景的精确信 息。 8.一种点云目标的检测装置， 其特 征在于， 所述 点云目标的检测装置包括： 体素特征提取模块， 用于通过三维稀疏卷积神经网络处理所述待确定场景的三维体素 网格， 得到所述待确定场景的全局体素 特征， 并生成目标提 议框； 点云特征提取模块， 用于通过点云网络处理待检测场景的原始点云， 得到所述待检测 场景的局部点云特 征； 特征融合模块， 用于基于预设双编码器与融合解码器算法， 融合所述局部点云特征和 所述全局体素特征， 对所述目标提议框进 行调整， 生成三 维目标框， 并基于所述三 维目标框权　利　要　求　书 2/3 页 3 CN 115082885 A 3