(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210852895.6 (22)申请日 2022.07.20 (71)申请人 南京林业大 学 地址 210037 江苏省南京市玄武区龙蟠路 159号 (72)发明人 赵亚琴　赵文轩　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于轻量级长短距离注意力tran sformer网 络的火灾图像 检测方法 (57)摘要 一 种 基 于 轻 量 级 长 短 距 离 注 意 力 transformer网络的火灾图像检测方法， 先采集 火焰图片； 再使用火焰检测 网络进行检测， 步骤 包括： 1)利用设计的轻量级特征提取主干网络处 理输入待检测火焰图片， 并输出提取到的三个不 同分辨率的多尺度火焰特征； 2)构建基于BiFPN 的特征融合网络对前述多尺度火焰特征进行特 征融合处理， 并输出融合了三个不同分辨率层的 融合特征； 3)网络的分类层对前述融合特征进行 分类预测， 判断火焰的存在及其在图像中的位 置。 本发明中： 轻量级的主干网络结构提高了检 测速度； 长短注意力机制的transformer提高了 检测精度； 特征融合机制BiFPN， 提高了检测火灾 图像中小目标火焰的能力， 这提高了早期火灾和 远距离拍摄的火灾图像的识别准确率。 权利要求书3页 说明书6页 附图5页 CN 115171047 A 2022.10.11 CN 115171047 A 1.一种基于轻量级长短距离注意力transformer网络的火灾图像检测方法， 步骤包括： 先采集火焰图片； 然后使用火焰检测网络进行检测； 其特征是使用火焰检测网络检测火焰 图片的步骤 包括： 1)利用设计的轻量级特征提取主干网络处理输入待检测火焰图片， 并输出提取到的三 个不同分辨 率的多尺度火焰特 征； 2)构建基于BiFPN的特征融合网络对步骤1)得到的多尺度火焰特征进行特征融合处 理， 并输出融合了三个不同分辨 率层的融合特 征； 3)火焰检测网络的分类层对步骤2)得到的融合特征进行分类预测， 判断火焰的存在以 及其在图像中的位置； 所述步骤1)中： 1.1)使用一个标准卷积模块对输入火焰图片中的火焰特征进行特征预提取， 建立一个 可供网络学习的初始化特 征张量； 1.2)使用四组深度 可分离卷积模块对初始化特征张量进行深度 特征提取， 并缩减火焰 特征图的尺寸， 四个深度可分离卷积模块分为两个深度卷积步长为1的不改变特征图尺寸 的深度分离卷积模块和两个深度卷积步长为2的减半特 征图尺寸的深度可分离卷积模块； 1.3)将transfromer模块引入到深度可分离卷积模块， 构建基于长短距离注意机制的 轻量级transformer模块； transformer模块用于在不受拍摄距离的影 响的前提下提取火焰 图像的全局特 征； 1.4)将三组依次串行连接的长短距离注意机制轻量级transformer模块嵌入到火焰特 征提取主干网络， 提取火焰图像的局部和全局特 征； 1.5)每一组长短距离注意机制的轻量级transformer模块都使得输入的火焰特征图的 尺寸减半， 并将该分辨 率层的火焰特 征图输出至特 征融合模块； 通过步骤1.4)和步骤1.5)处理当前图片的火焰特征图之后， 得到三个不同分辨率的火 焰特征图， 并将这 三个不同分辨 率的火焰特 征图送入步骤2)进行处 理； 所述步骤2)中： 2.1)在特征融合网络中， 将步骤1.4)得到的三个不同分辨率火焰特征图先从低往高、 再从高往低依 次进行反卷积上采样和池化下采样， 并将输入与输出级联， 进而融合不同卷 积层火焰特 征信息； 2.2)重复步骤2.1)两次， 最终得到三个待检测火焰的特 征图。 2.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检 测方法， 其特征是步骤1.3)中， 使用transformer机制为深度可分离卷积模块添加全局注意 力， 构建基于 长短距离注意机制的轻量级 Transformer模块， 步骤 包括： 1.3.1)对于输入的火焰特征图 经过一个3 ×3卷积层和一个1 ×1卷积层进行 局部特征表达； 然后对处理后的特征进行通道分离操作， 沿着通道维度将火焰特征平均分 为两个尺寸完全相同的火焰特 征图 1.3.2)并行处 理： a、 使用一个深度可分离卷积模块对 fc进行局部特征信息提取， 输出特征图的每一个像 素仅获得感受野范围内的特征信息， 即获得局部注意力； 每一个像素所能获得的局部感受权　利　要　求　书 1/3 页 2 CN 115171047 A 2野尺寸rfm的计算方法用公式(1)计算： 其中， km表示第m层卷积核的尺寸， sn表示第n层的步长； b、 使用一个Transformer模 块对ft进行全局注意力信息提取， 输出特征图的每一个像 素 均获得输入特 征图的所有像素的信息， 步骤 包括： 首先， 对于输入火焰特 征ft， 先将它分成N个彼此不重 叠的p×p图块， 其中， 接着对所有的 图块进行词向量嵌入转化成p2×1的词向量并添加位置编码， 并将所有的 词向量拼接， 得到 然后， 对于每一个词向量， 通过三个权值矩阵WQ,WK,WV， 转变成计算注意力所需要的查 询向量q、 键向量 k和值向量v； 注意力a计算方法为： 最后， 对输出的注意力序列进行反编码获得和原始输入特征尺寸相同的全局注意力 图； 1.3.3)将a、 b两个 并行分支的输出特征图进行级联， 并通过一个1 ×1卷积层和一个3 × 3卷积层进行通道还原。 3.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检 测方法， 其特征是所述步骤2)中， 所述特征融合网络是将原始BiFPN网络的五层结构改为三 层串联结构； 所述步骤2.1)中， 对于步骤1)输出的三个火焰特征图 先对p2上采样到p1尺寸并与其级联得到p1′； 再对p1′上采样到p0尺寸并与其级 联得到p0′； 接着对p0′下采样到p1尺寸并与原p1′级联得到新的p1′； 再对新的p1′下采样到p2 尺寸并与其级联得到 上采样一次与新的p1′级联并和原始输入p1级联得到 上采 样一次并与p0′级联得到 最终输出 作为下一层 BiFPN的输入。 4.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检 测方法， 其特征是所述步骤3)中， 使用预测网络在三个分辨率层上分别对火焰进行分类和 定位， 并对输出 结果的得分排序， 最终经 过非极大值抑制层得到最终的预测结果。 5.根据权利要求1或4所述的基于轻量级长短距离注意力transformer网络的火灾图像 检测方法， 其特征是所述步骤3)中， 根据网络学习的结果， 疑似火焰区域被激活， 预测网络 在三个输出火焰特 征图 上进行火焰的位置信息回归与置信度预测， 步骤 包括： 3.1)每一个特征图的预测头都包含一个深度卷积和一个卷积回归， 最终对应每一个疑 似火焰区域输出五个预测值， 分别代 表预测火焰的四个位置坐标和一个置信度； 3.2)对于所有预测头预测的结果进行得分排序， 取出每一个疑似火焰判定区域得分大 于设定阈值的框， 并认定为此处存在火焰； 3.3)对于重叠度高的框认定为同一火焰区域并进行非极大值抑制， 最终得到置信度最权　利　要　求　书 2/3 页 3 CN 115171047 A 3