(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081981 1.9 (22)申请日 2022.07.13 (71)申请人 江苏科技大学 地址 212008 江苏省镇江市梦溪路2号 (72)发明人 储娇　左欣　钱萍　徐士豪　李明　 王智　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杨静 (51)Int.Cl. G06V 20/68(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多尺度轻量级网络的病虫害识别 方法 (57)摘要 本发明公开了一种基于多尺度轻量级网络 的病虫害识别方法， 首先， 利用无人机采集不同 种类的病虫害 图像并进行筛选和标记； 其次， 进 行图像预处理和数据增强； 接着， 构建多尺度轻 量级网络提取多尺度特征： 设计特征增强层最大 程度提取病虫害图像特征 ‑利用通道分离 ‑洗牌 模块增强特征表达能力 ‑利用双残差路径模块增 强特征传播和梯度传播 ‑结合全局注 意力上采样 模块融合多尺度特征， 重新校准特征通道的显著 性； 最后， 进行模型测试。 本发明增强病虫害图像 特征的表示能力， 拥有更少的参数量， 在实际应 用场景中可以有效提高识别精度， 且对于硬件设 备的要求更低， 更加适 合在移动平台部署应用。 权利要求书3页 说明书6页 附图4页 CN 115116054 A 2022.09.27 CN 115116054 A 1.一种基于多尺度轻量级网络的病虫害识别方法， 其特 征在于， 包 含有： 步骤1， 采集病虫害图像， 再进行 预处理， 之后分为训练集、 验证集和 测试集； 步骤2， 将步骤1得的训练集输入到多尺度轻量级网络进行训练， 多尺度轻量级网络包 含特征增强层、 通道分离 （split） ‑洗牌 （shuffle） 模块、 双残差路径模块、 全局注意力上采 样模块和分类层； 首先利用特征增强层提取多尺度特征： 通过特征增强层最大程度提取病虫害图像特 征， 其次利用通道分离 （split） ‑洗牌 （shuffle） 模块提升特征表达能力， 接着利用双残差路 径模块学习不同尺度 空间的判别信息， 增强特征传播和梯度传播； 然后利用全局注意力上 采样模块融合多尺度特征， 通过聚集低层次的空间细节， 对空间和通道关注点进 行编码， 重 新校准特 征通道的显著性； 最后把融合的特 征送入分类层进行病虫害分类； 步骤3， 在步骤2的训练过程中， 把步骤1获得的验证集输入到多尺度轻量级网络， 对多 尺度轻量级网络进行优化和性能评估； 步骤4， 重复步骤2和3， 当训练结束且损失达到收敛状态时， 保留在验证集上性能最好 的多尺度轻量级网络； 步骤5， 把步骤1得到的测试集输入步骤4获得的训练好的多尺度 轻量级网络 中， 得到最 终的病虫害识别结果。 2.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 所述步骤1包括： 首先利用无人机拍摄不同种类的病虫害图像， 去除模糊、 失焦、 主体丢失的图像后， 根 据该领域专家知识对剩余图像进行 标记； 再对上述标记好的病虫害图像数据集进行预处理， 包含图像尺寸调整、 灰度变换、 图像 滤波和图像锐化， 并采用图像旋转、 缩放、 噪声和色彩抖动等数据增强方法进一步扩充图像 数据集， 之后按照7： 2： 1的比例将其分为训练集、 验证集和 测试集。 3.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤2所述的特征增强层包括卷积层、 ReLU激活层、 BN层和池化层， 所述的利用特征增强层 提取多尺度特 征的工作方法如下： 首先利用两个大小为1 ×1×2的三维卷积层提取像素级特征； 其次利用两个大小分别 为1×5和5×1的卷积核， 以较小的计算量获得与单个卷积核尺寸为5 ×5的等效感受野， 来 提取区域级特征； 依次经过BN层和ReLU激活层， 通过残差操作融合像素级特征和区域级特 征； 再经过大小为1 ×1的卷积层提取融合特征Ff； 然后利用两个大小为2 ×1和1×2的二维 最大池化层提取图像级特征； 再依次经过BN层和ReLU激活层， 把图像级特征和融合特征Ff 通过残差操作融合， 经 过大小为1×1的卷积层后得到最终输出 特征。 4.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤2所述的通道分离 （split） ‑洗牌 （shuffle） 模块包括卷积层、 扩张卷积层、 BN层和ReLU 激活层； 所述的利用通道分离 （split） ‑洗牌 （shuffle） 模块提升特征表达 能力的工作方法 如下： 输入被分成两个分支， 各有一半的输入通道； 首先， 两个分支分别经过大小为1 ×3和3 ×1的卷积层， BN层和ReLU激活层； 其次， 两个分支分别经过大小为1 ×3和3×1的扩张卷积 层， BN层和ReLU层， 扩张卷积层用于增加接收域； 接着， 拼接两个 分支的输出特征， 把拼接后权　利　要　求　书 1/3 页 2 CN 115116054 A 2的特征和输入 特征通过残差操作融合后送入ReLU激活层； 最后， 进 行通道洗牌操作， 得到输 出特征图。 5.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤2所述的双残差路径块包含三个残差多尺度模块， 模块与模块之间采用残差连接的方 式， 通过将低级特征映射到高级空间， 最大限度地收集不同通道之 间的鉴别信息， 增强特征 传播和梯度传播； 残差多尺度模块包含PReLU激活层、 卷积层和深度卷积层； 所述的利用双 残差路径模块学习不同尺度空间的判别 信息， 增强特 征传播和梯度传播的工作方法如下： 首先， 输入经过PReLU激活层和1 ×1大小的卷积层； 其次， 将数据发送到4个并行分支， 最左边的分支包含一个3 ×3大小的卷积层， 其他分支包含两个大小为 1×1和3×3卷积层和 一个扩张速率r分别为2， 3和5的深度卷积； 然后， 前一个 分支的输出通过残差操作连接到下 一个分支， 直至处理完所有分支的输出； 最后， 将这些特征进行拼接， 通过残差操作和原始 输入融合， 得到 输出的特 征图。 6.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤2所述的全局注意力上采样模块包含空间注意模块和 通道注意模块， 所述的利用全局 注意力上采样模块融合多尺度特 征的工作方法如下： 首先低级特征经过1 ×1卷积操作和si gmoid函数得到空间注意图S； 其次， 高级特征X经 过转置卷积和空间注意图S相乘得到加权特征图XS； 接着， 对加权特征图XS进 行全局平均池 化操作， 经过1 ×1卷积操作和sigmoid函数得到通道注意图C； 最后， 通道注意图C和加 权特 征图XS相乘得到最终的融合特 征。 7.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤2所述的利用分类层进行病虫害分类的工作方法如下： 输入宽度为W， 高度为H的特征图， 利用卷积操作提取特征描述子， 得到W ×H个D维特征， 即大小为W ×H×D的特征图， 利用大小为1 ×1×D×K的卷积核和softmax激活函数得到W ×H ×K的软分配结果； 对W ×H×D的特征图经过聚类得到K个聚类中心， 聚类中心用向量表 示为 K×D； 然后利用W ×H×K的软分配结果去分配特征到聚类中心残差所占的权重； 按照聚类中 心进行加权求和， 得到K ×D维的全局图像表示， 利用softmax激活函数识别病虫害。 8.根据权利要求1所述的一种基于多尺度轻量级 网络的病虫害识别方法， 其特征在于， 步骤3所述的对多尺度轻量级网络进行优化和性能评估的工作方法如下： 目标损失函数选取交叉熵损失函数， 让模型预测结果不断逼近真实标签， 采用 Nesterov动量的随机梯度下降算法作为优化器， 把损失函数计算出的差值损失减小， 让损 失函数的收敛更稳定； 性能评价指标采用准确率 （precision） 、 召回率 （recall） 和F1 ‑ score， 各指标的计算公式如下： 权　利　要　求　书 2/3 页 3 CN 115116054 A 3