(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210849205.1 (22)申请日 2022.07.19 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 蔡德　韩骁　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/246(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/50(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 显微图像的处理方法、 装置、 计算机设备及 存储介质 (57)摘要 本申请公开了一种显微图像的处理方法、 装 置、 计算机设备及存储介质， 属于图像处理技术 领域。 本申请通过对显微图像中包含的目标对象 进行实例分割， 以确定出来每个目标对象的实例 图像即单实例分割结果， 并在单实例分割结果上 提取出来骨架形态信息， 以在骨架形态信息的基 础上进行运动分析和运动成分分解， 能够将每个 目标对象的当前所具有的复杂骨架形态， 分解成 多个预设的运动状态之间的组合， 整体处理流程 无需人工干预， 机器能够自动化实现， 极大了降 低了人力成本、 提升 了分析效率。 权利要求书4页 说明书35页 附图11页 CN 115205262 A 2022.10.18 CN 115205262 A 1.一种显微图像的处 理方法， 其特 征在于， 所述方法包括： 对显微图像进行实例分割， 得到包 含所述显微图像中目标对象的实例图像； 对所述实例图像中的目标对象进行骨架提取， 得到所述目标对象的骨架形态信息， 所 述骨架形态信息表征 所述目标对象的骨架所处的形态； 基于所述骨架形态信息， 对所述目标对象进行运动分析， 得到所述目标对象的运动成 分信息， 所述运动成分信息是指对所述骨架形态信息进行运动分解所得的作为主成分的多 种运动状态各自的特 征信息。 2.根据权利要求1所述的方法， 其特征在于， 所述实例图像包括所述目标对象的轮廓图 和掩膜图； 所述对显微图像进行实例分割， 得到包 含所述显微图像中目标对象的实例图像包括： 从所述显微图像中， 确定包 含所述目标对象的感兴趣区域ROI； 对所述ROI进行实例分割， 得到所述显微图像中包含的至少一个所述目标对象各自的 轮廓图和掩膜图。 3.根据权利要求2所述的方法， 其特征在于， 在所述ROI中包含互相重叠的多个目标对 象的情况下， 所述对所述 ROI进行实例分割， 得到所述显微图像中包含的至少一个所述目标 对象各自的轮廓图和掩膜图包括： 提取所述ROI的局部图像特 征； 将所述局部图像特征输入到双图层实例分割 模型中， 通过所述双图层实例分割 模型对 所述局部图像特征进 行处理， 输出所述 ROI中多个所述目标对象各自的轮廓图和掩膜图， 所 述双图层实例分割模型用于对不同对 象分别建立图层来获取每个对 象各自的实例分割结 果。 4.根据权利要求3所述的方法， 其特征在于， 所述ROI中包含互相重叠的遮挡对象和被 遮挡对象； 所述双图层实例分割 模型包括遮挡物图层网络和被遮挡物图层网络， 所述遮挡物图层 网络用于提取位于顶层的遮挡物的轮廓和掩膜， 所述被遮挡物图层网络用于提取位于底层 的被遮挡物的轮廓和掩膜； 所述将所述局部图像特征输入到双图层实例分割 模型中， 通过所述双图层实例分割 模 型对所述局部图像特征进行处理， 输出所述ROI中多个所述 目标对象各自的轮廓图和掩膜 图包括： 将所述局部图像特征输入所述遮挡物图层网络， 提取得到所述ROI中位于顶层的遮挡 对象的第一感知特征， 所述第一感知特征表征所述遮挡对象在实例分割任务上的图像特 征； 基于所述第一感知特 征， 获取所述遮挡对象的轮廓图和掩膜图； 将所述局部图像特征和所述第一感知特征融合所得的融合特征输入到所述被遮挡物 图层网络， 提取得到所述 ROI中位于底层的被遮挡对象的第二 感知特征， 所述第二 感知特征 表征所述被遮挡对象在实例分割任务上的图像特 征； 基于所述第二感知特 征， 获取所述被遮挡对象的轮廓图和掩膜图。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述局部图像特征输入所述遮挡物 图层网络， 提取 得到所述ROI中位于顶层的遮挡对象的第一感知特 征包括：权　利　要　求　书 1/4 页 2 CN 115205262 A 2将所述局部图像特征输入到所述遮挡物图层网络的第 一卷积层中， 通过所述第 一卷积 层对所述局部图像特 征进行卷积操作， 得到初始感知特 征； 将所述初始感知特征输入到所述遮挡物图层网络的第 一图卷积层中， 通过所述第 一图 卷积层中非局部算子对所述初始感知特 征进行卷积操作， 得到图卷积特 征； 将所述图卷积特征输入到所述遮挡物图层网络的第 二卷积层中， 通过所述第 二卷积层 对所述图卷积特 征进行卷积操作， 得到所述第一感知特 征。 6.根据权利要求4所述的方法， 其特征在于， 所述将所述局部图像特征和所述第 一感知 特征融合所得的融合特征输入到所述被遮挡物图层网络， 提取得到所述ROI中位于底层的 被遮挡对象的第二感知特 征包括： 将所述融合特征输入到所述被遮挡物图层网络的第 三卷积层中， 通过所述第 三卷积层 对所述融合特 征进行卷积操作， 得到感知交 互特征； 将所述感知交互特征输入到所述被遮挡物图层网络的第 二图卷积层中， 通过所述第 二 图卷积层中非局部算子对所述感知交 互特征进行卷积操作， 得到图卷积交 互特征； 将所述图卷积交互特征输入到所述被遮挡物图层网络的第四卷积层中， 通过所述第四 卷积层对所述图卷积交 互特征进行卷积操作， 得到所述第二感知特 征。 7.根据权利要求4所述的方法， 其特征在于， 所述基于所述第一感知特征， 获取所述遮 挡对象的轮廓图和掩膜图包括： 对所述第一感知特 征进行上采样操作， 得到所述遮挡对象的轮廓图和掩膜图； 所述基于所述第二感知特 征， 获取所述被遮挡对象的轮廓图和掩膜图包括： 对所述第二感知特 征进行上采样操作， 得到所述被遮挡对象的轮廓图和掩膜图。 8.根据权利要求3所述的方法， 其特征在于， 所述双图层实例分割 模型基于多个合成样 本图像训练得到， 所述合成样本图像中包含多个所述 目标对象， 所述合成样本图像基于多 个仅包含单目标对象的原 始图像合成得到 。 9.根据权利要求8所述的方法， 其特征在于， 在所述目标对象比原始图像中的背景 暗的 情况下， 所述合成样本图像中每个像素的像素值等于用于合成所述合成样本图像的多个原 始图像中相同位置像素中的最低像素值； 或， 在所述目标对象比原始图像中的背景亮的情况下， 所述合成样本图像中每个像素的像 素值等于所述多个原 始图像中相同位置像素中的最高像素值。 10.根据权利要求1所述的方法， 其特征在于， 所述对所述实例图像中的目标对象进行 骨架提取， 得到所述目标对象的骨架形态信息包括： 对所述ROI中的任一目标对象， 将所述实例图像输入到骨架提取模型中， 通过所述骨架 提取模型来对所述 目标对象进行骨架提取， 输出所述 目标对象的骨架形态图像， 所述骨架 提取模型用于基于目标对象的实例图像来预测目标对象的骨架形态； 基于所述骨架形态图像， 识别得到所述目标对象的骨架形态中的头部端点和尾部端 点； 将所述骨架形态图像、 所述头 部端点和所述尾部端点确定为所述骨架形态信息 。 11.根据权利要求10所述的方法， 其特征在于， 所述将所述实例图像输入到骨架提取模 型中， 通过所述骨架提取模型来对所述 目标对象进行骨架提取， 输出所述 目标对象的骨架 形态图像包括：权　利　要　求　书 2/4 页 3 CN 115205262 A 3