(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210850786.0 (22)申请日 2022.07.20 (65)同一申请的已公布的文献号 申请公布号 CN 115082426 A (43)申请公布日 2022.09.20 (73)专利权人 湖北经济学院 地址 430205 湖北省武汉市江夏区杨桥湖 大道8号 (72)发明人 李明磊　刘文平　朱晓波　刘行军　 彭瑞卿　郑路　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 胡秋萍　廖盈春 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113689927 A,2021.1 1.23 CN 114202002 A,202 2.03.18 CN 110570350 A,2019.12.13 CN 112381006 A,2021.02.19 曾天龙.基 于超声图像的黄牛卵泡目标检测 和分割算法研究. 《中国优秀硕士学位 论文全文 数据库 农业科技 辑》 .2020, Zhiliang Peng et al. .Conformer: L ocal Features Coupl ing Global Representati ons for Visual Recogn ition. 《Proce edings of the IEEE/CVF Internati onal Conference o n Computer Visi on》 .2021, 审查员 刘婉莹 (54)发明名称 一种基于深度学习模型的卵泡检测方法及 装置 (57)摘要 本发明公开了一种基于深度学习模型的卵 泡检测方法及装置， 属于医学图像数据处理领 域。 本发明通过将待检查对象的卵巢三维超声图 像、 电子病历文本和检验报告输入至训练好的深 度学习模型， 所述深度学习模型分别提取向量化 后电子病历文本的文本特征、 预处理后三维超声 图像的图像特征、 二值化后检验报告的特征， 并 对提取到的三类特征进行融合， 得到多源异构数 据特征图， 最终能够自动识别出三维超声图像中 所有卵泡的位置和大小信息。 本发 明不仅使用三 维超声图像， 还充分利用检查对象的电子病历和 检验结果等信息， 对三维超声图像中的卵泡进行 目标检测， 能够提高对卵泡检测的准确率。 权利要求书3页 说明书9页 附图2页 CN 115082426 B 2022.11.04 CN 115082426 B 1.一种基于深度学习模型的卵泡检测装置， 其特 征在于， 包括： 输入模块， 用于将检查对象的卵巢三维超声图像、 电子病历文本和检验报告输入至训 练好的深度学习模型， 得到该三维超声图像中卵泡的数量及各卵泡的位置和大小； 所述深度学习模型包括： 数据 预处理模块、 特征提取模块、 备选区域框生成模块和卵泡 检测模块； 所述数据预处理模块， 用于向量化电子病历文本， 将三维超声图像进行预处理， 以提高 图像质量， 二 值化检验报告中各项检验结果； 所述特征提取模块， 用于提取向量化后电子病历文本的文本特征， 提取预处理后三维 超声图像的图像特征， 提取二值化后检验报告的特征， 对提取到的三类特征进行融合和尺 寸统一， 得到多源异构数据特 征图； 所述备选区域框生成模块， 用于生成不同尺寸、 不同长宽高比的多个锚框， 并且使用卷 积神经网络判断各锚框内是否可能存在检测目标及其位置和大小， 从而筛选出若干备选区 域框； 所述卵泡检测模块， 用于针对备选区域框生成模块的备选区域框进行处理， 提取卵泡 所在的详细区域框， 并判断该区域框内是否为卵泡， 输出卵泡的位置和大小； 所述特征提取模块中用于提取三维超声图像特征的子模块包括： 卷积层块、 第一残差 块、 第二残差块、 第三残差块、 第四残差块、 第一视觉转换器、 第二视觉转换器、 第三视觉转 换器、 第四视 觉转换器； 所述卷积层块和第一残差块串联， 用于从预处 理后三维超声图像中提取浅层特 征； 所述第一视 觉转换器， 用于从第一残差块的输出中提取局部特 征； 所述第二残差块， 用于从第一残差块的输出中提取三维超声图像的中浅层特 征； 所述第二视觉转换器， 用于从第 二残差块的输出与第 一视觉转换器的输出的拼接结果 中， 提取三维超声图像的中浅层特 征的局部特 征； 所述第三残差块， 用于从第二残差块的输出中提取三维超声图像的中层特 征； 所述第三视觉转换器， 用于从第 三残差块的输出与第 二视觉转换器的输出的拼接结果 中， 提取三维超声图像的中层特 征的局部特 征； 所述第四残差块， 用于从第三残差块的输出中提取三维超声图像的深层特 征； 所述第四视觉转换器， 用于从第四残差块的输出与第 三视觉转换器的输出的拼接结果 中， 提取三维超声图像的包 含全局信息和 局部信息的深层特 征。 2.如权利要求1所述的装置， 其特 征在于， 所述视 觉转换器包括： 切片模块， 用于将所对应的残差块输出的特征图进行三维切片， 并记录每个切片的顺 序； 迭代模块， 用于三维切片归一化处理后输入到多头注意力机制和多层感知机中， 反复 这个过程， 从而获得当前三维超声图像的局部信息 。 3.如权利要求1所述的装置， 其特征在于， 所述特征提取模块通过注意力方法对提取到 的三类特 征进行融合和尺寸统一， 获得多源异构数据特 征图： 其中 ， 为多源异构数据特征图 ； 为尺寸统一函数 ；权　利　要　求　书 1/3 页 2 CN 115082426 B 2为注意力方法函数； 为连接函数， 为三维超声图像的图像特 征， 为电子病历文本的文本特 征， 为检验报告的特 征。 4.如权利要求1所述的装置， 其特征在于， 所述备选区域框生成模块生成不同长宽 高比 的多个锚框， 长宽高比分别为1:1:1、 1:1:1.2、 1:1.2:1、 1.2:1:1、 1.2:1.2:1、 1.2:1:1.2和 1:1.2:1.2。 5.如权利要求1所述的装置， 其特征在于， 所述特征提取模块使用Bert网络提取向量化 后电子病历文本的文本特 征， 使用MLP提取二 值化后检验报告的特 征。 6.如权利 要求1所述的装置， 其特征在于， 所述卵泡检测模块使用DBSCAN聚类方法在备 选区域框中生成待检测目标的区域。 7.如权利要求1所述的装置， 其特征在于， 以标注的卵 巢三维超声图像中卵 泡的位置和 大小作为深度学习模型的训练标签； 采用两阶段的训练方式来训练整个网络： 首先以备选区域框生成模块所生成的锚框是否包含检测目标的分类损 失和备选区域 框生成模块输出锚框的位置的回归损失为损失函数训练特征提取模块和备选区域框生成 模块的网络参数； 然后固定特征提取模块和备选区域框生成模块的网络参数， 以卵 泡检测模块获得的卵 泡的分类损失、 和 卵泡检测模块 获得卵泡位置的回归损失为损失函数训练卵泡检测模块的 网络参数， 最终完成整个深度学习模型的训练。 8.一种基于深度学习模型的卵泡检测方法， 其特 征在于， 包括： 将检查对象的卵巢三维超声图像、 电子病历文本和检验报告输入至训练好的深度 学习 模型， 得到该三维超声图像中卵泡的数量及各卵泡的位置和大小； 所述深度学习模型包括： 数据 预处理模块、 特征提取模块、 备选区域框生成模块和卵泡 检测模块； 所述数据预处理模块， 用于向量化电子病历文本， 将三维超声图像进行预处理， 以提高 图像质量， 二 值化检验报告中各项检验结果； 所述特征提取模块， 用于提取向量化后电子病历文本的文本特征， 提取预处理后三维 超声图像的图像特征， 提取二值化后检验报告的特征， 对提取到的三类特征进行融合和尺 寸统一， 得到多源异构数据特 征图； 所述备选区域框生成模块， 用于生成不同尺寸、 不同长宽高比的多个锚框， 并且使用卷 积神经网络判断各锚框内是否可能存在检测目标及其位置和大小， 从而筛选出若干备选区 域框； 所述卵泡检测模块， 用于针对备选区域框生成模块的备选区域框进行处理， 提取卵泡 所在的详细区域框， 并判断该区域框内是否为卵泡， 输出卵泡的位置和大小； 所述特征提取模块中用于提取三维超声图像特征的子模块包括： 卷积层块、 第一残差 块、 第二残差块、 第三残差块、 第四残差块、 第一视觉转换器、 第二视觉转换器、 第三视觉转 换器、 第四视 觉转换器； 所述卷积层块和第一残差块串联， 用于从预处 理后三维超声图像中提取浅层特 征； 所述第一视 觉转换器， 用于从第一残差块的输出中提取局部特 征； 所述第二残差块， 用于从第一残差块的输出中提取三维超声图像的中浅层特 征；权　利　要　求　书 2/3 页 3 CN 115082426 B 3