(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889647.9 (22)申请日 2022.07.27 (71)申请人 新沂市新 南环保产业 技术研究院有 限公司 地址 221400 江苏省徐州市新沂市新 安街 道新北西路新 安街道电商产业园 (72)发明人 倪柏雯　倪荣国　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 张灿 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/62(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B67C 3/00(2006.01) (54)发明名称 对PET瓶进行灌装纯净水的流速控制系统及 其控制方法 (57)摘要 本申请涉及智能灌装控制的领域， 其具体地 公开了一种对PET瓶进行灌装纯净水的流速控制 系统及其控制方法， 其通过深度学习的卷积神经 网络模型作为特征提取器， 结合灌装 过程的监控 视频和灌装过程的声音变化来智能地调整计量 设备的流速， 以确保流体不溢出且最终灌入PET 瓶内的流量总量满足预设要求。 这样， 能够在智 能控制方法的作用下使得对于PET瓶灌装纯净水 的灌装效率和灌 装效果都能够得以保证 。 权利要求书2页 说明书12页 附图3页 CN 115082837 A 2022.09.20 CN 115082837 A 1.一种对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 包括： 灌装过程数据采 集模块， 用于获取 由相机采集的对PET瓶进行灌装纯净水 的灌装过程的灌装监控视频和由 声音传感器采集的所述灌装过程中的声音信号； 灌装视频编码模块， 用于将所述灌装监控 视频通过使用时间注 意力机制的第一卷积神经网络以得到灌装跟踪特征图； 灌装音效编码 模块， 用于将所述声音信号的波 形图通过作为特征提取器的第二卷积神经网络以得到音效 特征图； 投影模块， 用于将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到 灌装跟踪特征向量和音效特征向量； 融合模块， 用于融合所述灌装跟踪特征向量和所述音 效特征向量以得到分类特征向量； 流速控制结果生成模块， 用于将所述分类特征向量通过 分类器以得到分类结果， 所述分类结果用于表示当前时间点是否需关闭灌装阀门。 2.根据权利要求1所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述 灌装视频编码模块， 包括： 相 邻帧提取单元， 用于从所述灌装监控视频提取相 邻的第一帧和 第二帧； 第一图像局部特征提取模块， 用于将所述第一帧和所述第二帧分别通过所述第一 卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对 应于所述第二帧的第二帧特征图； 时间注意力模块， 用于将所述第一帧特征图与所述第二 帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图； 第二图像局部特 征提取模块， 用于将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征 图； 时间注意力施加模块， 用于将所述局部特征图与所述时间注意力图进行按位置点乘以 得到所述灌装跟踪特 征图。 3.根据权利要求2所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述 灌装音效编码模块， 进一步用于： 所述第二卷积神经网络的各层在层的正向传递中分别进 行： 对输入数据进行卷积处理以得到卷积特征图； 对所述卷积特征图进行均值池化处理以 得到池化特征图； 以及 对所述池化特征图进 行非线性激活以得到激活特征图； 其中， 所述第 二卷积神经网络的最后一层的输出为所述音效特征图， 所述第二卷积神经网络的第一层的 输入为所述声 音信号的波形图。 4.根据权利要求3所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述 投影模块， 进一步用于对所述灌装跟踪特征图和所述音效特征图分别进 行沿通道维度的全 局均值池化以得到所述灌装跟踪特 征向量和所述音效特 征向量。 5.根据权利要求4所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述 融合模块， 包括： 向量整合单元， 用于计算所述灌装跟踪特征向量和所述音效特征向量的按 位置加和以得到整合特征向量； 对数化单元， 用于对所述整合特征向量进行对数运算以得 到对数整合特征向量， 其中， 所述对所述整合特征向量进行对数运算表示计算所述整合特 征向量中各个位置的特征值的对数函数值； 全场景单应关联单元， 用于计算所述灌装跟踪 特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵； 深 度感知单元， 用于计算全场景单应关联矩阵的Frob enius范数作为所述全场景单应关联矩 阵的深度感知值； 单应性表征单元， 用于计算所述灌装跟踪特征向量和所述音效特征向量 之间的差分特征向量的一范数作为单应性表征值； 融合单元， 用于以所述单应性表征值作 为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分 类特征向量。 6.根据权利要求5所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115082837 A 2融合单元， 进一步用于： 以所述单应性表征值作为权重值和所述深度感知值作为偏置以如 下公式来对所述对数整合特 征向量进行处 理以得到所述分类特 征向量； 其中， 所述公式为： 其中 表示所述跟踪特征图， 表示所述音效特征图， 表示所述分类特征向量， 表示向量的一范数， 且 表示矩阵的Frobenius范数， 和 分别表示按位置减 法 和加法， 且 表示按位置点乘。 7.根据权利要求6所述的对PET瓶进行灌装纯净水的流速控制系统， 其特征在于， 所述 流速控制结果生成模块， 进一步用于： 使用所述分类器以如下公式对所述分类特征向量进 行处理以获得所述分类结果， 其中， 所述公式为： ， 其中， 到 为权重矩阵， 到 为偏置向量， 为所述分类特 征向量。 8.一种对PET瓶进行灌装纯净水的流速控制方法， 其特征在于， 包括： 获取由相机采集 的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过 程中的声音信号； 将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得 到灌装跟踪特征图； 将所述声音信号的波 形图通过作为特征提取器的第二卷积神经网络以 得到音效特征图； 将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟 踪特征向量和音效特征向量； 融合所述灌装跟踪 特征向量和所述音效特征向量以得到 分类 特征向量； 以及将所述分类特征向量通过分类器以得到分类结果， 所述分类结果用于表示 当前时间点是否需关闭灌装阀门。 9.根据权利要求8所述的对PET瓶进行灌装纯净水的流速控制方法， 其特征在于， 所述 将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征 图， 包括： 从所述灌装监控视频提取相 邻的第一帧和第二帧； 将所述第一帧和所述第二帧分 别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第 一帧特征图和对应于所述第二帧的第二帧特征图； 将所述第一帧特征图与所述第二帧特征 图进行按位置点乘后通过Softmax激活函数以得到时间注意力图； 将所述第一 帧通过所述 第一卷积神经网络的第三卷积层以得到局部特征图； 将所述局部特征图与所述时间注意力 图进行按位置点乘以得到所述灌装跟踪特 征图。 10.根据权利要求9所述的对PET瓶进行灌装纯净水的流速控制方法， 其特征在于， 所述 融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量， 包括： 计算所述灌 装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量； 对所述整合特征 向量进行对数运算以得到对数整合特征向量， 其中， 所述对所述整合特征向量进行对数运 算表示计算所述整合特征向量中各个位置的特征值的对数函数值； 计算所述灌装跟踪 特征 向量的转置向量与所述音效特征向量之 间的向量乘积以得到全场景单应关联矩阵； 计算全 场景单应关联矩阵的Frob enius范数作为所述全场景单应关联矩阵的深度感知值； 计算所 述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征 值； 以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向 量进行处 理以得到所述分类特 征向量。权　利　要　求　书 2/2 页 3 CN 115082837 A 3