(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211053725.8 (22)申请日 2022.08.31 (71)申请人 石家庄铁道大 学 地址 050043 河北省石家庄市北二环东路 17号 申请人 中国铁路 设计集团有限公司 　 中铁十二局集团有限公司 (72)发明人 王保宪　赵维刚　徐飞　杨帅　 石德斌　谭兆　秦守鹏　薛骐　 李建军　张逆进　王彪　 (74)专利代理 机构 河北国维致远知识产权代理 有限公司 13137 专利代理师 秦春芳 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/44(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06T 7/62(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 混凝土裂缝检测与识别方法、 装置、 设备及 存储介质 (57)摘要 本发明提供一种混凝土裂缝检测与识别方 法、 装置、 设备及存储介质， 该方法包括： 获取预 设样本库中的多个裂缝图像样 本； 对每个裂缝图 像样本分别进行人工标记， 得到含有第一标记的 第一标签图像， 其中， 第一标记指示图像中的裂 缝； 对第一标签图像进行边缘检测， 得到含有第 二标记的第二标签图像， 其中， 第二标记指示图 像中裂缝的边缘； 基于每个裂缝图像样本及其第 一标签图像、 第二标签图像， 对预先构建的裂缝 检测与识别模 型进行训练， 得到训练好的裂缝检 测与识别模 型； 基于训练好的裂缝检测与识别模 型对待检测的图像进行裂缝检测与识别。 本发明 提供的裂缝检测与识别方法可以提高对细微裂 缝的检测与识别的精度。 权利要求书3页 说明书13页 附图3页 CN 115456972 A 2022.12.09 CN 115456972 A 1.一种混凝 土裂缝检测与识别方法， 其特 征在于， 包括： 获取预设样本库中的多个 裂缝图像样本； 对每个裂缝图像样本分别进行人工标记， 得到含有第 一标记的第一标签图像， 其中， 所 述第一标记指示图像中的裂缝； 对所述第 一标签图像进行边缘检测， 得到含有第 二标记的第 二标签图像， 其中， 所述第 二标记指示图像中裂缝的边 缘； 基于每个裂缝图像样本及其第一标签图像、 第二标签图像， 对预先构建的裂缝检测与 识别模型进 行训练， 得到训练好的裂缝检测与 识别模型； 其中， 所述裂缝检测与 识别模型为 基于通道卷积操作将Unet++的解码网络 分为主干 分割网络和边缘预测分支网络， 所述主干 分割网络用于提取所述每个裂缝图像样本的全部特征， 所述边缘预测分支网络用于提取所 述第一标签图像的边 缘裂缝特征； 基于训练好的所述裂缝检测与识别模型对待检测的图像进行裂缝检测与识别。 2.如权利要求1所述的检测与识别方法， 其特征在于， 所述基于每个裂缝图像样本及其 第一标签图像、 第二标签图像， 对预先构建的裂缝检测与 识别模型进 行训练， 得到训练好的 裂缝检测与识别模型， 还 包括： 基于所述第一标签图像中裂缝的裂缝面积、 以及第二标签图像中裂缝的边缘面积， 确 定与所述第一标签图像相对应的裂缝图像样本的训练权 重； 基于所述每个裂缝图像样本及其第一标签图像、 第二标签图像， 以及每个所述裂缝图 像样本的训练权 重对预先构建的裂缝检测与识别模型进行训练。 3.如权利要求2所述的检测与识别方法， 其特征在于， 所述与 所述第一标签图像相对应 的裂缝图像样本的训练权 重 λ为： λ＝0.1×P/Q； 其中， P为第二标签图像中裂缝的边 缘面积， Q为第一标签图像中裂缝的裂缝面积。 4.如权利要求2所述的检测与识别方法， 其特征在于， 所述基于所述每个裂缝图像样本 及其第一标签图像、 第二标签图像， 以及每个所述裂缝图像样本的训练权重对预先构建的 裂缝检测与识别模型进行训练， 还 包括： 基于所述第 一标签图像的真值图与第 三图像的分割结果， 构建所述主干分割网络的主 干损失函数； 其中， 所述第三图像为与所述第一标签图像相对应的裂缝图像样本经过所述 主干分割网络后得到的图像； 基于所述第 二标签图像的真值图与第四图像的交叉熵、 以及所述裂缝图像样本的训练 权重构建每层所述边缘预测分支网络的预测分支损失函数； 其中， 所述第四图像为与所述 第一标签图像相对应的裂缝图像样本经 过每层所述预测分支网络后得到的特 征图； 基于所述主干损失函数、 所述预测分支损失函数、 所述裂缝图像样本、 所述第 一标签图 像、 所述第二标签图像对预 先构建的裂缝检测与识别模型进行训练。 5.如权利要求4所述的检测与识别方法， 其特征在于， 所述基于所述第 一标签图像的真 值图与第三图像的分割结果， 构建所述主干分割网络的主干损失函数， 包括： 基于所述第一标签图像的真值图的像素数量与所述第三图像的分割结果的像素数量 的Dice相关系数， 构建所述主干分割网络的主干损失函数； 其中， 所述主干损失函数LDice为：权　利　要　求　书 1/3 页 2 CN 115456972 A 2X*为所述第三图像的分割结果， Y为所述第一标签图像的真值图， |X*|和|Y|分别为所述 第一标签图像 的真值图的像素数量与所述第三图像 的分割结果的像素数量， |X*∩Y|为所 述第一标签图像的真值图与所述第三图像的分割结果相交的像素 数量。 6.如权利 要求4所述的检测与识别方法， 其特征在于， 所述Unet ++为5层网络， 所述Unet ++解码网络的特征金字塔输出5层特征图， 每层特征图经过通道卷积处理后生成2个子解码 网络， 分别为所述主干分割网络和边 缘预测分支网络； 每层所述 边缘预测分支网络的预测分支损失函数Lb为： 其中， λn为所述裂缝图像样本的第n个图像的训练权重， 为所述裂缝图像样本中的第 n个图像经过第k层预测分支网络得到的第k层特 征图， 为所述裂缝图像样本的第n个图像 对应的第二标签图像矩阵， i、 j分别为 中的行和列， 0≤i≤M， 0≤j≤N， 1≤k≤5， n为正整 数， 为所述裂缝图像样本中的第n个图像经过第k层预测分支网络得到的第k层特征图 的每个位置的像素预测值， 为所述裂缝图像样本中的第n个图像的第二标签图像矩阵 的每个位置的真值图。 7.如权利 要求4所述的检测与识别方法， 其特征在于， 所述Unet ++为5层网络， 所述Unet ++解码网络的特征金字塔输出5层特征图， 每层特征图经过通道卷积处理后生成2个子解码 网络， 分别为所述主干分割网络和 边缘预测分支网络， 在所述边缘预测分支网络中还设有 nn.Parameter， 用于每层特 征图的权 重自适应； 每层所述 边缘预测分支网络的预测分支损失函数Lb为： 其中， λn为所述裂缝图像样本的第n个图像的训练权重， 为所述裂缝图像样 本中的第 n个图像经 过第k层预测分支网络得到的第k层特 征图， 为所述裂缝图像样本的第n个图像 对应的第二标签图像矩阵， i、 j 分别为 中的行和列， 0≤i≤M， 0≤j≤N， 1≤k≤5， n为正整 数， wk为每层特征图的权重， W＝{w1,w2,w3,w4,w5}, 为所述裂缝图像样本中的第n个图像 经过第k层预测分支网络得到的第k层特征图的每个位置的像素预测值， 为所述裂缝图 像样本中的第n个图像的第二标签图像矩阵的每 个位置的真值图。 8.一种混凝 土裂缝检测与识别装置， 其特 征在于， 包括： 获取模块， 用于获取 预设样本库中的多个 裂缝图像样本； 标记模块， 用于对每个裂缝图像样本分别进行人工标记， 得到含有第一标记的第一标 签图像， 其中， 所述第一标记指示图像中的裂缝； 边缘检测模块， 用于对所述第一标签图像进行边缘检测， 得到含有第二标记的第二标权　利　要　求　书 2/3 页 3 CN 115456972 A 3