(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008106.7 (22)申请日 2022.08.22 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 赵池航　马欣怡　郑有凤　吴宇航　 苏子钧　纪强　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/00(2012.01) G06Q 50/26(2012.01) (54)发明名称 基于语义分割网络的高速公路沥青路面病 害分割方法 (57)摘要 本发明公开了一种基于语义分割网络的高 速公路沥青路面病害分割方法， 包括： 构建高速 公路沥青路面图像病害数据集； 替换FCN骨干网 络为Densenet121和Densenet201， 构建用于公路 沥青路面病害分割的FCN ‑D121‑PDS、 FCN‑D201‑ PDS网络模型； 替换Deeplabv3+骨干网络为 Mobilenet和DRN， 构建用于公路沥青路面病害分 割的DL‑D‑PDS、 DL‑M‑PDS网络模型； 进行模型训 练并优化参数， 优选FCN ‑D121‑PDS、 FCN‑D201‑ PDS、 DL‑D‑PDS、 DL‑M‑PDS网络模型进行高速公路 沥青路面病害分割； 改进Deeplabv3+网络结构， 进一步构建DL ‑M1‑PDS、 DL‑M2‑PDS公路沥青路面 病害分割网络并进行网络优选。 本发 明提出的基 于语义分割网络的高速公路沥青路面病害分割 方法， 具有较好的公路沥青 路面病害的细节信息 分割能力， 能够提高路面病害分割精度与平均交 并比， 对高速公路养护智能化发展提供技术支持。 权利要求书2页 说明书7页 附图4页 CN 115393588 A 2022.11.25 CN 115393588 A 1.基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 包括如下步骤： S1： 构建高速公路沥青路面图像病害数据集； S2： 替换FCN骨干网络为D ensenet121和D ensenet201， 构建用于公路沥青路面病害分割 的FCN‑D121‑PDS、 FCN‑D201‑PDS网络模型； S3： 替换Deeplabv3+骨干网络为Mobilenet和DRN， 构建用于公路沥青路面病害分割的 DL‑D‑PDS、 DL‑M‑PDS网络模型； S4： 进行模型训练并优化参数， 优选FCN ‑D121‑PDS、 FCN‑D201‑PDS、 DL‑D‑PDS、 DL‑M‑PDS 网络模型进行高速公路沥青路面病害分割； S5： 改进D eeplabv3+网络结构， 进一步构建DL ‑M1‑PDS、 DL‑M2‑PDS公路沥青路面病害分 割网络并进行网络优选 。 2.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述 步骤S1中构建高速公路沥青路面图像病害数据集的具体步骤如下： S1‑1： 将未经过数据增强的1651幅病害图像数据集作为语义分割数据集， 包含病害类 型有： 横裂、 纵裂、 网裂、 坑槽和其 他； S1‑2： 使用labelme软件对构建数据 集中有病害部分进行人工标注， 采用标注好的高速 公路沥青路面病害图像数据集， 按照7:2:1的比例分为训练集、 验证集、 测试集。 3.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述步骤S2中构建用于公路沥青路面病害分割的FCN ‑D121‑PDS网络模型， 其具体 为： 采用DenseNet ‑121作为骨干网络， 将其最后全连接层改为卷积层， 并进行上采样操作， 将高维特征图还原到原始大小， 再通过跳级连接方式， 将4个Dense  Block得到的特征图进 行连接并融合， 以此将DenseNet网络与FCN理念叠加， 得到用于路面病害分割的FCN ‑D121‑ PDS卷积神经网络 。 4.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述步骤S2中构建用于公路沥青路面病害分割的FCN ‑D201‑PDS网络模型， 其具体 为： 采用DenseNet ‑201作为骨干网络， 将其最后全连接层改为卷积层， 并进行上采样操作， 将高维特征图还原到原始大小， 再通过跳级连接方式， 将4个Dense  Block得到的特征图进 行连接并融合， 以此将DenseNet网络与FCN理念叠加， 得到用于路面病害分割的FCN ‑D201‑ PDS卷积神经网络 。 5.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述步骤S 3中构建用于公路沥青 路面病害分割的DL ‑D‑PDS网络模 型， 其具体为： 去 掉深度残差网络DRN最后的softmax分类层， 以之替换DeepLabv3 ‑Xception语义 分割网络的 骨干网络Xcepti on， 得到用于路面病害分割的DL ‑D‑PDS卷积神经网络 。 6.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述步骤S 3中构建用于公路沥青 路面病害分割的DL ‑M‑PDS网络模 型， 其具体为： 优 化Mobilenet  V3网络得到Mobilenet  V3‑small网络， 去掉softmax分类层， 以之替换 Deeplabv3+的骨干网络， 得到用于路面病害分割的DL ‑M‑PDS卷积神经网络 。 7.根据权利要求6所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述优化Mobilenet  V3得到Mobilenet  V3‑small网络的具体内容如下： 在bneck基 本结构中按需要加入空洞 卷积， 同时在每次bneck深度卷积之后添加额外的批量标准化和权　利　要　求　书 1/2 页 2 CN 115393588 A 2NL激活函数。 8.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述 步骤S4的具体步骤如下： S4‑1： 基于构建并标注好的高速公路沥青路面图像病害数据集， 通过损失函数曲线提 供验证集数据反馈， 依次调节模型迭代次数、 学习率、 衰减权 重超参数； S4‑2： 采用高速公路沥青路面图像病害测试集对训练得到的四个FCN ‑D121‑PDS、 FCN‑ D201‑PDS、 DL‑D‑PDS、 DL‑M‑PDS网络模型进行评价， 分别得到四个个网络模型的PA、 mIOU和 平均分割时间， 综合对比选取最优高速公路沥青路面病害分割方法。 9.根据权利要求8所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述 步骤S4‑2中PA、 mIOU的具体定义如下： ①PA指像素精度， 是指标记正确的像素占总像素的比值， 其计算方式为： 其中， 以病害像素点为正例， 正常像素点为负例， TP指被正确分类的正例， FP指被错误 分类的正例， TN指被正确分类的负例， FP 指本来是负例， 被错分为 正例； ②mIOU指均交并比， 是指所有类别的交并比IOU的平均值， 其计算方式为： 其中， k为类别数， 且k ＝1。 10.根据权利要求1所述的基于语义分割网络的高速公路沥青路面病害分割方法， 其特 征在于： 所述 步骤S5的具体步骤为： S5‑1： 取输出步幅output_stride为16， 空洞卷积步长rate为[2,3,5,7]， 记为DL ‑M1‑ PDS； S5‑2： 取输出步幅output_stride为16， 空洞卷积步长rate为[3,5,8,11]， 记为DL ‑M2‑ PDS； S5‑3： 基于构建并标注好的高速公路沥青路面图像病害数据集， 训练DL ‑M1‑PDS和DL‑ M2‑PDS网络模型， 参数与DL ‑M‑PDS参数一致； S5‑4： 采用高速公路沥青路面图像病害测试集对训练得到的DL ‑M1‑PDS和DL‑M2‑PDS网 络模型进行评价， 分别得到其PA、 mIOU和平均分割时间， 综合对比选取最优高速公路沥青路 面病害分割方法。权　利　要　求　书 2/2 页 3 CN 115393588 A 3