(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210905193.X (22)申请日 2022.07.29 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 秦传波　李婉莹　郑斌　曾军英　 朱思齐　刘志　翁奇萍　谢梓源　 骆伟斌　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 冯健良 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/52(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) (54)发明名称 图像处理方法、 装置、 设备及 介质 (57)摘要 本申请实施例提供了图像处理方法、 装置、 设备及介质， 通过根据骨髓区图像学习局部信息 得到第一特征， 并根据骨髓区图像进行基于三维 体素的多头自注意力计算处理得到第二特征， 融 合第一特征和第二特征； 根据融合特征提取不同 尺度的多个骨髓信息， 将多个骨髓信息得到全局 特征； 根据融合特征和全局特征进行解码， 得到 解码特征； 根据解码特征计算图像处理模型的损 失函数值， 根据损失函数值调整图像处理模型的 参数； 能够有效地解决功能性了骨髓最强区和次 强区的形态变化大、 类别分布不平衡、 部分骨髓 体积尺寸过小、 功能性骨髓边界模糊等问题， 实 现准确有效地从CT图像中分割出功能性骨髓区。 权利要求书2页 说明书10页 附图6页 CN 115375897 A 2022.11.22 CN 115375897 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取骨髓区图像， 将所述骨髓区图像输入至图像处 理模型； 根据所述骨髓区图像学习局部信息， 得到第一特征， 并根据所述骨髓区图像进行基于 三维体素 的多头自注意力计算处理， 得到第二特征， 根据所述第一特征和所述第二特征得 到融合特 征； 根据所述融合特征提取不同尺度的多个骨髓信息， 将所述多个骨髓信息进行编码， 得 到全局特 征； 根据所述融合特 征和所述全局特 征进行解码， 得到解码特 征； 根据所述解码特征计算所述图像处理模型的损失函数值， 根据 所述损失函数值调 整所 述图像处 理模型的参数， 得到训练好的图像处 理模型； 获取待分割图像， 将所述待分割图像输入至训练好的图像处理模型， 得到骨髓区分割 图像。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述骨髓区图像进行基 于三维体素的多头自注意力计算处 理， 得到第二特 征， 包括： 根据三维体素对所述骨髓区图像进行重塑， 得到 重塑图像； 基于自注意力 机制的查询、 键、 值和相对位置编码， 根据所述重塑图像得到每个三维体 素的注意力值； 根据每个三维体素的注意力值， 得到所述第二特 征。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述第一特征和所述第 二特征得到融合特 征， 包括： 将所述骨髓区图像经 过卷积处理、 归一化处理和激活 处理得到卷积特 征； 拼接所述第一特 征和所述第二特 征， 得到注意力块特 征； 融合所述卷积特 征和所述注意力块特 征， 得到融合特 征。 4.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述融合特征提取不同 尺度的多个骨髓信息， 包括： 对所述融合特 征进行对应第一池化核的池化操作得到第一池化特 征； 对所述融合特征进行对应第 二池化核的池化操作得到第 二池化特征， 所述第 二池化核 的大小小于所述第一池化核； 对所述第一池化特 征通过三线性插值进行 上采样， 得到第一上采样特 征； 将所述第一上采样特 征和所述第二池化特 征作为多个骨髓信息 。 5.根据权利要求1所述的图像处理方法， 其特征在于， 所述将所述多个骨髓信 息进行编 码， 得到全局特 征， 包括： 对所述多个骨髓信 息进行线性投影， 得到包括降维特征和全局映射投影矩阵的空间编 码信息； 将所述降维特征和所述全局映射投影矩阵重塑， 对重塑后的所述降维特征和所述全局 映射投影矩阵执行矩阵乘法得到节点特征映射， 将所述节 点特征映射输入由MSA层和MLP层 组成的Transformer块， 得到第一子全局特 征； 根据所述多个骨髓信 息创建逆投影矩阵， 将所述第 一子全局特征和所述逆投影矩阵相 乘得到变换至原 始空间的第二子全局特 征；权　利　要　求　书 1/2 页 2 CN 115375897 A 2根据所述第二子全局特 征与所述多个骨髓信息， 得到所述全局特 征。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述融合特征和所述全 局特征进行解码， 得到解码特 征， 包括： 将所述融合特 征依次经 过多个上采样模块进行 上采样， 得到多个第二上采样特 征； 将多个所述全局特 征和多个所述第二上采样特 征一一对应地进行跳跃 连接； 从所述全局特征的关键采样位置提取关键采样特征， 将所述关键采样特征和所述第 二 上采样特 征进行矩阵相乘， 得到所述 解码特征。 7.根据权利要求1所述的图像处理方法， 其特征在于， 所述损失函数值包括Dice系数损 失函数值和交叉熵损失函数值。 8.一种图像处 理装置， 其特 征在于， 包括： 输入模块， 用于获取骨髓区图像， 将所述骨髓区图像输入至图像处 理模型； 编码模块， 用于根据 所述骨髓区图像学习局部信息， 得到第 一特征， 并根据所述骨髓区 图像进行基于三维体素 的多头自注意力计算处理， 得到第二特征， 根据所述第一特征和所 述第二特 征得到融合特 征； 全局特征获取模块， 用于根据所述融合特征提取不同尺度的多个骨髓信息， 将所述多 个骨髓信息进行编码， 得到全局特 征； 解码模块， 用于根据所述融合特 征和所述全局特 征进行解码， 得到解码特 征； 调参模块， 用于根据所述解码特征计算所述图像处理模型的损 失函数值， 根据所述损 失函数值调整所述图像处 理模型的参数， 得到训练好的图像处 理模型； 分割模块， 用于获取待分割图像， 将所述待分割图像输入至训练好的图像处理模型， 得 到骨髓区分割图像。 9.一种电子设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所 述的图像处 理方法。 10.一种计算机可读存储介质， 其特征在于， 存储有计算机可执行指令， 所述计算机可 执行指令用于执 行如权利要求1至7中任一项所述的图像处 理方法。权　利　要　求　书 2/2 页 3 CN 115375897 A 3