(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900356.5 (22)申请日 2022.07.28 (71)申请人 北京卫星信息 工程研究所 地址 100086 北京市海淀区知春路61号 (72)发明人 金世超　王进　贺广均　冯鹏铭　 符晗　常江　刘世烁　梁银川　 邹同元　张鹏　车程安　 (74)专利代理 机构 北京谨诚君睿知识产权代理 事务所 (特殊普通合伙) 11538 专利代理师 延慧 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 遥感图像目标细粒度识别方法、 系统、 设备 及存储介质 (57)摘要 本发明涉及一种遥感图像目标细粒度识别 方法、 系统、 设备及存储介质， 获取至少一幅图 像； 利用卷积神经网络提取所述图像的多尺度特 征； 利用Transformer对所述多尺度特征 图进行 编码； 利用特征融合金字塔网络对 所述的编码后 的多尺度特征图进行特征融合； 利用融合后的特 征图， 采用旋转框检测头提取目标； 利用旋转变 换 对 提 取的 目 标的 特 征 进 行 对 齐 ； 利 用 Transformer对旋转变 换后的目标特征图进行细 粒度分类， 得到目标细粒度识别结果。 本发明提 升了检测方法对目标局部特征和全局特征的整 体提取能力， 提高了目标细粒度识别精度， 可应 用于高分辨率遥感图像中的船只、 飞机等目标细 粒度识别。 权利要求书3页 说明书9页 附图4页 CN 115019182 A 2022.09.06 CN 115019182 A 1.一种遥感图像目标细粒度识别方法， 包括以下步骤： 步骤S1、 获取至少一幅高分辨 率遥感图像， 并将图像进行 预处理； 步骤S2、 提取图像中目标的多个尺度特征， 引入基于Transformer结构的自注意力机 制， 输出特征图； 步骤S3、 利用特 征融合金字塔， 完成特 征图融合处 理； 步骤S4、 采用Transformer编码层， 对 目标融合后的特征图进行编码， 利用构建的注意 力池化、 特征重组模块和新的Tr ansformer编码层， 对目标进行分类， 得到目标细粒度识别 结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述步骤S1中， 将图像进行预处理， 至少 包括： 将图像裁切成大小为6 08×608的切片， 并对切片进行归一 化处理。 3.根据权利要求1所述的方法， 其特 征在于， 在步骤S2中， 具体包括： 步骤S21、 以Resnet101作为主干网络， 提取图像中目标的4个尺度特征， 降采样4、 8、 16、 32倍的特 征P1， P2， P3， P4； 步骤S22、 分别对特征P1 ‑P4进行分 区， 基于Transformer结构的自注意力机制  ， 对每个 分区进行编码， 输出 特征图T1， T2， T3， T4。 4.根据权利要求3所述的方法， 其特征在于， 在步骤S22中， 对特征P1 ‑P4进行分区和编 码， 具体包括： 步骤S221、 将特征P1 ‑P4分别划分8 ×8、 4×4、 2×2、 1×1的分区， 每一个分区内部的再 划分成N×N的网格， 其中， N的取值与最小目标的相对尺寸有关， 目标越小， N越大； 步骤S222、 对每一个网格内的特征进行位置投影和序列化处理， 作为Transformer编码 结构中多头注意力机制的输入， 其公式为： ， 其中， 表示可学习的位置信息， E表示对切片原图做线性投影矩阵； 步骤S223、 将特征 输入到多头注意力机制中， 由Transformer编码成核心 内容， 包括 特征的查询Q、 键值K、 特 征值V矩阵， 其公式为： ， 其中， h表示第h个注意头， 表示矩阵的维度； 由Q， K， V计算各个特 征之间的自注意力权 重矩阵A， 其公式为： ， 其中， d表示特 征的维度； 步骤S224、 由自注意力权重A加权计算输出特征 ， 将特征矩阵拼接经过全连接层会权　利　要　求　书 1/3 页 2 CN 115019182 A 2得到输出 ， 其公式为： ， 其中， z表示输入特 征， 表示矩阵的维度； 步骤S225、 将多头注意力模块输出的特征经过多层感知机模块后， 就得到Transformer 编码后的特 征 ， 其公式为： ， 其中， MLP表达多层感知机 。 5.根据权利要求1所述的方法， 其特征在于， 在步骤S3中， 利用特征融合金字塔， 完成特 征图融合处 理， 具体包括： 步骤S31、 将 特征图T1、 T2、 T3、 T4输入One_CBS模块， 得到特征图O1、 O2、 O3、 O4， 其中One_ CBS模块包括1 ×1的卷积Co nv、 批归一 化Batch_Norm和激活函数Si LU； 步骤S32、 将得到特征图O1、 O2、 O3、 O4自上而下通过Up_CBS模块进行特征融合处理， 其 中Up_CBS模块包括上采样Upsample、 One_CBS模块和特 征层相加； 步骤S33、 在将由Up_CBS模块输出的特 征自下而上通过平均池化层进行融合处 理； 步骤S34、 融合后的各层特 征层通过One_CBS模块输出。 6.根据权利要求5所述的方法， 其特征在于， 在完成特征图融合处理后， 对融合后的特 征图进行目标检测处 理， 具体包括： 步骤S35、 采用旋转框检测头， 提取目标位置边框和方位方向， 利用非极大值抑制算法， 剔除重复检测目标； 步骤S36、 基于目标方向角度， 采用旋转变换， 对目标进行方位一致性校正和特征对齐， 消除目标 特征差异， 其公式为： ， 其中， 表示变换后的左边， 表示变换前的坐标， 变换前后坐标轴原点的相 对位置偏移量 ， 表示目标的方位方向角度， 范围为 （0， 3 60） 。 7.根据权利要求1所述的方法， 其特征在于， 在步骤S4中， 采用Transformer编码层， 对 目标融合后的特征图进行编码， 利用构建的注 意力池化、 特征重组模块和新的Transformer 编码层， 对目标进行分类， 具体包括： 步骤S41、 设计特征层重要性指数来评价某一个特征在自注意力中的重要性， 其公式 为：权　利　要　求　书 2/3 页 3 CN 115019182 A 3