(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210959712.0 (22)申请日 2022.08.11 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市高新园区凌工 路2号 (72)发明人 安毅　马明磊　 (74)专利代理 机构 大连星海专利事务所有限公 司 21208 专利代理师 王树本　徐雪莲 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多模态信息融合及语义分割的车载料 堆体积计算方法 (57)摘要 本发明属于环境感知与智能化工业检测技 术领域， 一种基于多模态信息融合及语义分割的 车载料堆体积计算方法， 包括以下步骤： (1)矿用 卡车作业环境数据集的采集与建立， (2)通过深 度卷积神经网络进行语义分割， (3)通过泊松重 建将离散的料堆表面点云重建为平面， (4)计算 车载料堆体积。 本发明具有以下优点： 一是针对 传统点云分割算法容易忽略除激光雷达传感器 之外的摄像机获取的丰富视觉信息的问题， 将颜 色信息嵌入数据层用以提高实时点云分割的性 能； 二是， 本发明基于三维表面重建技术， 并结合 三维点云数据的几何特征识别实现了车载料堆 体积的高效、 高精度计算。 权利要求书3页 说明书6页 附图5页 CN 115439603 A 2022.12.06 CN 115439603 A 1.一种基于多模态信息融合及语义分割的车载料堆体积计算方法， 其特征在于包括以 下步骤： 步骤1、 矿用卡车作业环境数据集的采集与建立， 通过激光雷达与相机搭建三维环境感 知系统来采集电铲正常工作环境下 的点云及图像数据， 矿用卡车作业环境数据集的建立， 具体包括以下子步骤： (a)数据标注， 将在矿用卡车复杂作 业环境下采集到的2 100幅点云数据中的点云分为9 个类别， 分别为料堆、 地面、 车、 人、 杂点、 墙、 楼梯、 车上的料以及电铲本身， 通过手动标注的 方式为点云中的每 个点打上相应的类别标签； (b)三维彩色点云融合， 对于一个真实的场景而言， 由三维彩色激光扫描系统同步获取 该场景的一帧三维激光点云数据和对应的一帧二维图像数据， 记p＝[x， y， z]T为一帧点云 数据中的一个激光点， 其齐次坐标表示为 激光点p投影到像素坐标系下 的点q＝[u， v]T， 通过公式(1)进行描述， 式中， 为三维激光坐标系到像素坐标系之 间的几何映射关系， 也称之为单应性矩阵， 其中A为相机内参矩阵， 由相机标定获得， 和 分别表示单应性矩阵H的对应行的行向量， 则三维彩色激光点的坐标形式pc， 通过公式(2) 进行描述， pc＝[x， y， z， R(u， v)， G(u， v)， B(u， v)]T         (2) 式中， R(u， v)、 G(u， v)和B(u， v)分别表示投影像素点 的三维颜色信息， 值得指出的是， 随着激光点的距离越来越远， 由于标定误差和 三维激光及相 机的测量误差同时作用， 导致 数据融合的精度会有 所降低， 对真实场景的三维激光点云中每个激光点通过单应性矩阵逐 一进行投影， 找到与之对应的投影 像素点， 将激光 点进行染色获取三维彩色点云； 步骤2、 通过深度卷积神经网络进行语义分割， 是以传统的point ‑net语义分割网络为 框架， 同时结合注 意力机制， 基于点云的位置及颜色信息进 行语义分割， 实现电铲在复杂环 境下对矿用卡车 的感知和识别， 并提取出卸货矿卡及其车载料堆表面点云数据， 具体包括 以下子步骤： (a)特征增强， 增加了颜色特征作为辅助特征， 输入端中使用包含颜色信息的三维三色 点云数据(1 ×6)代替原 始point‑net网络中只包 含位置信息的点云数据(1 ×3)； (b)编码端共包含5个卷积层， 其 中Conv1参数为卷积核尺寸1 ×6、 步长[1， 1]、 边缘不填 充、 输出通道数64； Conv2、 Conv3参数均为卷积核尺寸1 ×1、 步长[1， 1]、 边缘不填充、 输出通 道数64； Conv4的参数为卷积核尺寸1 ×1、 步长[1， 1]、 边缘不填充、 输出通道数128； Conv5的 参数为卷积核尺寸1 ×1、 步长[1， 1]、 边缘不填充、 输出通道数1024； 以上各卷积层均采用 Leaky_ReLU激活函数进行激活； 池化层Maxpool1的参数为输入点的数量(4096) ×1最大池权　利　要　求　书 1/3 页 2 CN 115439603 A 2化、 步长[2， 2]、 无填充； 然后经 过两个全连接层输出为128维的特 征向量； (c)解码端首先先经历两个卷积层Conv6、 Conv7， 其中Conv6的参数为卷积核尺寸1 ×1、 步长[1， 1]、 边缘不填充、 输出通道数512； Conv7的参数为卷积核尺寸1 ×1、 步长[1， 1]、 边缘 不填充、 输出通道数256， 且均采用Leaky_ReLU激活函数进行激活； 接着为了防止过拟合先 进行Dropout操作， 比率设为0.7； 然后通过一个卷积层Conv8， 其参数为卷积核尺寸1 ×1、 步 长[1， 1]、 边 缘不填充、 输出通道数9； 最后删掉维度为1的维， 返回网络参数； (d)插入注意力机制， 在网络中编码端的每次卷积层后都加入了一个注意力 模块(ECA ‑ Net)用以实时提高点云分割的性能， 该注意力模块首先通过全局平均池化将特征图由[h， w， c]的矩阵变为[1， 1， c]的向量， 其中h， w为特征图的尺寸， c为通道数； 接着自适应确定卷 积核大小 然后进行一维卷积得到对于特征图的每个通道的权重， 最后经 Sigmoid函数激活后， 将归一 化权重和原输入特 征图逐通道相乘生成加权后的特 征图； 步骤3、 通过泊松重建将离散的料堆表面点云重建为平面， 泊松重建是一项结合了全局 与局部匹配优点的重建方案， 核心思想是通过将物体表面的离散样本点信息转化到连续可 积的表面函数上， 从而构造出水密性的隐式表面， 该方法通过输入有向点云得到以三角网 格形式表示的隐式表面， 具体包括以下子步骤： (a)计算点云法向量， 通过激光雷达采集的点云数据是没有方向的， 为此需要手动计算 点云的法向量， 采用对每个离散点云使用六个相邻点拟合局部平面并求该平面的法向量， 通过求平面法向量近似代替 点云法向量的方法得到有向点云； (b)通过泊松重建重构车载料堆表面， 首先构造一个指示函数， 令其满足物体 内取值为 1， 其余为0， 现令 M为物体区域， 则指示 函数 χM， 通过公式(3)进行描述， 这样就把重构物体表面的问题转换为重构χM的问题， 同时χM的梯度又等于点云表面法 向量， 因此问题转化为求解自身梯度 和向量场 点云法向量最接近的指示函数 应用欧拉 ‑拉格朗日公式， 该问题会转化为一个标准的泊松问题， 通过公 式(4)进行描述， 通过对上式求解得到指示函数χM， 最后利用Mar chingCubes提取等值面的方法提取指示 函数 χM＝0的部分， 即可 得到表示物体表面的三角网格； 步骤4、 计算车载料堆体积， 通过步骤2中提取出的矿卡点云以及已知的矿卡尺寸， 可以 准确地判断出矿卡车厢底部平面的位置， 现以每个三角网格为一组， 分别将其三个顶点投 影到卡车铲斗所在平面， 即可形成多个六面体， 现通过对角线将每个六面体分为两个四面 体， 体积分别计为Vi1， Vi2， 以单个四面体为例： 已知四面体顶点坐标分别为(x1， y1， z1)， (x2， y2， z2)， (x3， y3， z3)， (x4， y4， z4)， 过点(x1， y1， z1)的三向量为a＝(x2 ‑x1， y2‑y1， z2‑ z1)， b＝(x3 ‑x1， y3‑y1， z3‑z1)， c＝(x4 ‑x1， y4‑y1， z4‑z1)， 则根据向量的混合积可得其体 积， 通过公式(5)进行描述， V＝|(a×b)·c|/6             (5)由上式计算可得形成的多面体的体积Vi＝Vi1+Vi2，权　利　要　求　书 2/3 页 3 CN 115439603 A 3