(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210859823.4 (22)申请日 2022.07.20 (71)申请人 北京迈格威科技有限公司 地址 100086 北京市海淀区科 学院南路2号 3层317 (72)发明人 戴雨辰　周建力　卢彦斌　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 王婷婷 (51)Int.Cl. G06T 17/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) (54)发明名称 一种障碍物检测方法、 电子设备、 存储介质 及程序产品 (57)摘要 本申请提供了一种障碍物检测方法、 电子设 备、 存储介质及程序产品， 旨在提高障碍物检测 的精度和范围， 并降低成本。 所述方法包括： 获得 当前车辆的摄像头所拍摄的不同视角的多个图 像； 对所述多个图像分别进行特征提取， 得到多 个图像特征； 将所述多个图像特征转换为同一视 角的多个图像特征， 基于所述同一视角的多个图 像特征得到特征图； 基于所述特征图进行目标检 测， 得到目标检测结果， 所述目标检测结果包括： 障碍物的类型和/或位置信息 。 权利要求书2页 说明书11页 附图3页 CN 115330976 A 2022.11.11 CN 115330976 A 1.一种障碍物检测方法， 其特 征在于， 包括： 获得当前 车辆的摄 像头所拍摄的不同视角的多个图像； 对所述多个图像分别进行 特征提取， 得到多个图像特 征； 将所述多个图像特征转换为同一视角的多个图像特征， 基于所述同一视角的多个图像 特征得到特征图； 基于所述特征图进行目标检测， 得到目标检测结果， 所述目标检测结果包括： 障碍物的 类型和/或位置信息 。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获得所述当前 车辆的车 载雷达采集的点云数据； 对所述点云数据进行提取， 得到点云特 征图； 所述基于所述特 征图进行目标检测， 得到目标检测结果， 包括： 将所述点云特征图与所述特 征图融合， 得到融合特 征图； 对所述融合特 征图进行处 理， 得到所述目标检测结果。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 将所述点云数据对应的点云空间， 切分为多个空间子块， 获取每个所述空间子块所对 应的点云数据； 所述对所述 点云数据进行提取， 得到点云特 征图， 包括： 对各个所述空间子块所对应的点云数据分别进行特征提取， 得到多个空间子块的点云 特征图； 所述将所述 点云特征图与所述特 征图融合， 得到融合特 征图， 包括： 基于所述多个空间子块与 所述特征图的视角之间的空间 映射关系， 将每个所述空间子 块的点云特 征图与所述特 征图中相映射的特 征子图相融合， 得到融合特 征图。 4.根据权利要求1 ‑3任一所述的方法， 其特征在于， 所述将所述多个图像特征转换为同 一视角的多个图像特 征， 包括： 通过障碍物检测模型， 将所述多个图像特 征转换为同一视角的多个图像特 征； 所述障碍物检测模型基于单个时刻的图像样本训练得到； 其中， 每个时刻的所述图像样本包括在多个视角下拍摄的图像样本， 所述障碍物检测 模型的模型参数至少包括： 用于将所述在多个视角下拍摄的图像样本各自的图像特征转换 为同一视角的对应图像特 征的模型参数。 5.根据权利要求4所述的方法， 其特征在于， 所述目标检测结果是通过所述障碍物检测 模型和所述特 征图得到的； 所述障碍物检测模型还基于与所述图像样本时间同步的雷达点云样本训练得到； 所述与所述图像样本时间同步的雷达点云样本通过以下 方式获取： 获得携带障碍物标签的雷达点云地图， 所述雷达点云地图是根据样本车辆在多个时刻 的雷达点云数据生成的， 所述障碍物标签为在所述多个时刻期间所述样本车辆周围出现的 障碍物的标签； 基于所述样本车辆在所述多个时刻的定位数据， 将所述携带障碍物标签的雷达点云地 图映射到所述多个时刻， 得到所述多个时刻各自的障碍物标签， 或者， 从所述携带障碍物标 签的雷达点云地图中， 获取所述多个时刻各自的障碍物标签， 每个时刻的所述障碍物标签权　利　要　求　书 1/2 页 2 CN 115330976 A 2为在该时刻所述样本车辆周围出现的障碍物的标签； 根据所述多个时刻各自的障碍物标签， 对所述多个时刻各自的雷达点云数据进行标 记， 得到所述多个时刻的携带障碍物标签的雷达点云样本； 获得所述样本车辆的车载摄像头在所述多个时刻拍摄的图像样本， 将所述多个时刻的 图像样本与所述多个时刻的携带障碍物标签的雷达点云样本进行时间同步。 6.根据权利要求5所述的方法， 其特征在于， 所述获得携带障碍物标签的雷达点云地 图， 包括： 对所述样本车辆在多个时刻的雷达点云数据进行拼接， 得到初始点云地图； 根据所述样本车辆的摄像头在所述多个时刻拍摄的图像样本， 对所述初始点云地图进 行色彩填充， 得到色彩填充后的点云地图， 所述色彩填充后的点云地图中不同障碍物用不 同颜色表示； 获得用户对所述色彩填充后的点云地图进行障碍物标注后的携带障碍物标签的雷达 点云地图。 7.根据权利要求5所述的方法， 其特征在于， 针对所述多个时刻中每个时刻的雷达点云 样本， 所述将所述多个时刻的图像样本与所述多个时刻的携带障碍物标签的雷达点云样本 进行时间同步之前， 还 包括： 根据该时刻的携带障碍物标签的雷达点云样本， 确定所述障碍物标签对应的障碍物在 多个视角下的深度信息； 根据确定出的所述深度信息， 对该时刻的在多个视角下拍摄的图像样本分别进行标 记， 得到多个视角下的携带深度标签的图像样本； 所述将所述多个时刻的图像样本与所述多个时刻的携带障碍物标签的雷达点云样本 进行时间同步， 包括： 将所述多个时刻的在多个视角下携带深度标签的图像样本与所述多个时刻的携带障 碍物标签的雷达点云样本进行时间同步； 所述障碍物检测模型的模型参数 是根据所述深度标签和所述障碍物标签而更新的。 8.根据权利要求1 ‑7任一所述的方法， 其特征在于， 所述同一视角的多个图像特征为同 一俯视视角的多个图像特 征。 9.根据权利要求1 ‑8任一所述的方法， 其特征在于， 所述位置信息包括： 外形规整的障 碍物在所述图像中的位置信息， 和/或， 外形不规整的障碍物在所述图像中覆盖的图像区 域。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上的计算机程序， 其特征 在于， 所述处理器执行所述计算机程序以实现权利要求 1至9中任一项 所述的障碍物检测方 法。 11.一种计算机可读存储介质， 其上存储有计算机程序/指令， 其特征在于， 该计算机程 序/指令被处 理器执行时实现如权利要求1至9中任一项所述的障碍物检测方法。 12.一种计算机程序产品， 包括计算机程序/指令， 其特征在于， 该计算机程序/指令被 处理器执行时实现如权利要求1至9中任一项所述的障碍物检测方法。权　利　要　求　书 2/2 页 3 CN 115330976 A 3