(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210659849.4 (22)申请日 2022.06.13 (71)申请人 北京易航远智科技有限公司 地址 100020 北京市朝阳区酒仙桥北路7号 60幢一层0 30 (72)发明人 邓立凯　朱垠吉　梁义辉　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 赵越 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/74(2022.01)G06T 7/246(2017.01) G06T 7/60(2017.01) G06T 7/66(2017.01) (54)发明名称 多相机重叠视域下障碍物融合方法、 系统、 设备和介质 (57)摘要 本发明涉及智能驾驶技术领域， 具体涉及多 相机重叠视域下障碍物融合方法、 系统、 设备和 介质。 首先获取相机采集的原始图像， 并计算原 始图像中每个障碍物目标的测量值， 对障碍物目 标进行匹配， 匹配成功， 当前障碍物目标正在做 跨相机运动， 根据历史融合列表中存储的历史融 合结果， 对当前障碍物目标的测量值进行补偿修 正， 对补偿修正后的测量值， 进行数据融合， 并存 储在历史融合列表中； 匹配失败， 当前障碍物目 标未做跨相机运动， 对当前障碍物目标的测量值 进行滤波， 并将滤波后的测量值存储在历史融合 列表中， 通过对当前障碍物目标的测量值进行补 偿修正以减少测量误差， 对补偿修正后的测量 值， 进行数据融合， 从而提高了融合结果的精准 度。 权利要求书3页 说明书12页 附图6页 CN 114943952 A 2022.08.26 CN 114943952 A 1.一种多相机 重叠视域下障碍物融合方法， 其特 征在于， 包括： 获取相机采集的原 始图像； 计算所述原 始图像中每 个障碍物目标的测量 值； 对不同相机下的障碍物目标进行匹配， 若匹配成功， 判定当前障碍物目标正在做跨相 机运动； 若匹配失败， 判定当前障碍物目标 未做跨相机运动； 若判定当前障碍物目标未做跨相机运动， 对当前障碍物目标的测量值进行滤波， 并将 滤波后的测量 值存储在历史融合列表中； 若判定当前障碍物目标正在做跨相机运动， 根据 所述历史融合列表中存储的历史融合 结果， 对当前障碍物目标的测量值进行补偿修正； 对补偿修正后的测量值， 进行数据融合， 并将融合结果存 储在所述历史融合列表中。 2.根据权利要求1所述的方法， 其特征在于， 所述计算所述原始图像中每个障碍物目标 的测量值， 包括： 对所述原始图像中的障碍物目标进行检测和识别， 得到每个障碍物目标的3D框信息， 所述3D框信息包括障碍物目标的接地 点； 计算每个障碍物目标的接地点在车辆坐标系下的接地点坐标， 及， 每个障碍物目标的 宽长尺寸和航向角； 将每个障碍物目标在车辆坐标系下的接地点坐标、 每个障碍物目标的宽长尺寸和航向 角作为每 个障碍物目标的测量 值。 3.根据权利要求2所述的方法， 其特征在于， 所述对当前障碍物目标的测量值进行补偿 修正， 包括： 获取当前障碍物目标的历史融合结果， 所述历史融合结果至少包括： 障碍物目标的跟 踪ID、 宽长尺寸、 航向角、 宽 长尺寸服从的数据分布参数； 计算当前障碍物目标每 个接地点的定位置信度； 根据所述定位置信度和历史融合结果， 依次对当前障碍物目标的宽长尺寸、 航向角和 车辆坐标系下的接地 点坐标进行补偿修 正。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 根据补偿修 正后的车辆坐标系下的接地 点坐标， 计算当前障碍物目标的中心点 坐标； 对当前障碍物目标的中心点坐标和补偿修正后的航向角进行卡尔曼滤波， 并参考测量 噪声， 得到当前障碍物目标 滤波后的中心点 坐标和航向角； 则， 所述对修 正后的测量 值进行数据融合， 具体为： 对当前障碍物目标 滤波后的中心点 坐标和航向角进行 数据融合。 5.根据权利要求4所述的方法， 其特征在于， 所述对当前障碍物目标的中心点坐标和补 偿修正后的航向角进行卡尔曼滤波， 并参考测 量噪声， 得到当前障碍物目标滤波后的中心 点坐标和航向角， 包括： 将当前障碍物目标的中心点坐标和补偿修正后的航向角， 输入到第一卡尔曼滤波器， 以使所述第一卡尔曼滤波器通过CTRV运动模型对当前障碍物目标在当前时刻的位置进行 预测， 得到预测后的中心点 坐标和航向角； 及， 使所述第一卡尔曼滤波器根据当前融合结果反馈的测量噪声， 更新预测后的中心点坐 标和航向角， 输出 滤波后的中心点 坐标和航向角。权　利　要　求　书 1/3 页 2 CN 114943952 A 26.根据权利要求5所述的方法， 其特征在于， 所述对补偿修正后的测量值进行数据融 合， 包括： 判断两个待融合的障碍物目标的历史匹配次数， 若历史匹配次数大于等于阈值， 则将 两个待融合的障碍物目标的中心 点坐标和航向角输入到第二卡尔曼滤波器进 行数据融合， 将两个待融合的障碍物目标的宽 长尺寸输入到尺寸滤波器进行 数据融合； 若历史匹配次数小于阈值， 则将两个待融合的障碍物目标的接地点坐标进行融合， 根 据融合后的接地点坐标重新计算当前障碍物目标的中心 点坐标和航向角， 将重新计算得到 的中心点坐标和航向角输入到第二卡尔曼滤波器进行数据融合， 将重新计算得到的宽长尺 寸输入到尺寸滤波器进行 数据融合。 7.根据权利要求6所述的方法， 其特征在于， 所述将两个待融合的障碍物目标的接地点 坐标进行融合， 包括： 对两个待融合的障碍物目标长度方向的两个接地点， 分别选取定位置信度高的接地点 坐标作为融合后的第一接地 点坐标和第二接地 点坐标。 8.根据权利要求7所述的方法， 其特征在于， 所述根据融合后的接地点坐标重新计算当 前障碍物目标的中心点 坐标和航向角， 包括： 根据融合后的第 一接地点坐标和第 二接地点坐标， 重新计算当前障碍物目标的长度及 航向角； 对两个待融合的障碍物目标的宽度， 选取定位置信度高的接地点所对应的宽度作为融 合后的宽度； 根据融合后的第二接地点坐标、 宽度及重新计算的航向角， 计算当前障碍物目标宽度 方向的接地 点坐标， 作为融合后的第三接地 点坐标； 根据融合后的第 一接地点坐标和第 三接地点坐标， 重新计算当前障碍物目标的中心点 坐标。 9.根据权利要求6～8任一项所述的方法， 其特 征在于， 还 包括： 将数据融合前后中心点 坐标的差值的绝对值作为中心点 坐标的测量 误差； 将数据融合前后航向角的差值的绝对值作为 航向角的测量 误差。 10.一种多相机 重叠视域下障碍物融合系统， 其特 征在于， 包括： 获取模块， 用于获取相机采集的原 始图像； 计算模块， 用于计算所述原 始图像中每 个障碍物目标的测量 值； 匹配模块， 用于对不同相机下的障碍物目标进行匹配， 若匹配成功， 判定当前障碍物目 标正在做跨相机运动； 若匹配失败， 判定当前障碍物目标 未做跨相机运动； 处理模块， 用于若判定当前障碍物目标未做跨相机运动， 对当前障碍物目标的测量值 进行滤波， 并将滤波后的测量 值存储在历史融合列表中； 还用于若判定当前障碍物目标正在做跨相机运动， 根据 所述历史融合列表中存储的历 史融合结果， 对当前障碍物目标的测量值进 行补偿修正； 对补偿修正后的测量值， 进 行数据 融合， 并将融合结果存 储在所述历史融合列表中。 11.一种电子设备， 其特 征在于， 包括： 通信模块、 处 理器和存 储器， 其中， 所述存 储器中存 储有程序指令； 所述处理器用于执行存储器 中存储的程序指令， 执行如权利要求1～9任一项所述的方权　利　要　求　书 2/3 页 3 CN 114943952 A 3