(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011567.X (22)申请日 2022.08.23 (71)申请人 南京熊猫电子股份有限公司 地址 210033 江苏省南京市栖霞区经天路7 号 申请人 南京熊猫信息产业有限公司 (72)发明人 郭旭周　徐舒　张振焜　李胜兵　 孙昊　李勇　顾勇　胡鹏路　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 李淑静 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/26(2012.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像识别的公共交通区域汛情风险评 估系统及方法 (57)摘要 本发明公开了一种基于图像识别的公共交 通区域汛情风险评估系统及方法。 所述系统包括 图像采集单元、 全域像素识别单元、 移动目标属 性识别单元、 非可变区域差分识别单元、 双反向 特征标记识别系统、 接口服务程序、 数据分析处 理单元， 通过全域像素识别、 移动目标属性识别 输出的结果数据， 提升非可变区域差分识别和双 反向特征标记系统对积水的识别准确度， 再由数 据分析处理单元进行融合分析， 得出积水综合分 析结果量化数值， 从而快速准确判断公共交通区 域的积水、 积雪、 汛情等风险， 提高了交通部门的 汛情排查能力。 权利要求书3页 说明书10页 附图5页 CN 115409348 A 2022.11.29 CN 115409348 A 1.一种基于图像识别的公共交通区域汛情风险评估系统， 其特 征在于， 包括： 图像采集单 元， 用于对各交通场景防汛识别区域中的实时图像数据进行采集； 全域像素识别单元， 用于对待识别图像的全域像素进行逐点扫描判断， 确定视 图能见 度数值、 全彩或灰度属性， 并将结果输出 给接口服 务程序； 移动目标属性识别单元， 用于基于卷积神经网络对图像中目标属性及位置进行识别， 并将结果输出 给接口服 务程序； 非可变区域差分识别单元， 用于通过对非可变区域的背景进行定期更新和差分分析， 实现对积水/积雪状态、 积水/积雪面积的检测， 并将结果输出 给接口服 务程序； 双反向特征标记识别系统， 用于通过对由水平设置的水感标贴和纯色标贴构 成的标记 系统区域进行水感变色和覆盖变色分析， 实现对积水状态、 水位高度的检测， 并将结果输出 给接口服 务程序； 接口服务程序， 用于为各子系统提供 数据流转服务， 并对数据库进行操作和应用； 数据分析治理单元， 用于对全域像素识别单元、 移动目标属性识别单元、 非可变区域差 分识别单元、 双反向特征标记识别系统的输出数据进行融合分析， 得出积水综合分析结果 量化数值， 并进行汛情风险评估。 2.根据权利要求1所述的系统， 其特征在于， 还包括图像预处理单元， 用于通过GB/T   28181协议 获取图像采集单元的码流数据并转换成视频文件， 定时对图片进 行抽帧， 并对抽 帧后的图片剪裁、 滤波、 增强后， 组成时间序列图帧T0(x， y)′、 T1(x， y)′ ……Tn(x， y)′， x、 y分 别为像素的横纵坐标， n 为时间序列图帧数目。 3.根据权利要求1所述的系统， 其特 征在于， 所述全域像素识别单 元包括： 图像属性判定单元， 用于基于预先定义的色偏值Diff和图像像素点的RGB分量判断图 像是灰度属性还是全彩属性， 其中， 当图像中全域像素的RGB值满足Diff＞MAX(|R ‑G|， |R‑B |， |G‑B|)时， 判定图像为灰度属性， 对应红外夜视相机或灰度相机图像； 当图帧中全域像素 符合Diff≤MAX(|R ‑G|， |R‑B|， |G‑B|)时， 判定图像为全彩属性， 对应星光级夜视相机或全 彩相机图像， 向接口服 务程序输出 结果数据； 以及 能见度判定单元， 用于基于预先定义的能见度阈值Dal， 对图像的全域像素的RGB值进 行扫描累加， 当累加和小于Dal时， 判定图像能见度低， 向接口服务程序输出结果数据， 并对 能见度低的状态进行告警。 4.根据权利要求1所述的系统， 其特 征在于， 所述移动目标属性识别单 元包括： 标注单元， 用于进行数据集图片标注， 生成具备二值化标签的分类数据集， 划分为训练 集和测试集； 模型训练单元， 建立R ‑CNN神经网络， 通过AlexNet卷积神经网络对训练集待检测图像 的特征向量进行提取； 将提取到的特征向量及其二值化标签按其类别送入各个类别的SVM 二分类器进行训练； 将提取到的特征向量及真实目标框坐标信息送入边界框进行回归训 练； 模型检验单元， 通过AlexNet卷积神经网络对测试集待检测图像的特征向量进行提取， 并送入训练好的各个类别的SVM二分类器特征向量进行打分， 再将每个类别的特征向量送 入训练好的边界框回归器进行定位预测， 通过测试集检验 模型的有效性； 检测单元， 将摄像头拍摄的图像输入训练好并经过检验的检测模型， 识别出图片中的权　利　要　求　书 1/3 页 2 CN 115409348 A 2目标类型和边界框坐标。 5.根据权利要求1所述的系统， 其特 征在于， 所述非可变区域差分识别单 元包括： 背景建模单元， 用于将时间序列图帧中各图片从RGB三通道图像进行灰度化处理， 转换 为灰度图， 对识别点位的真实地面坐标参数进行设定， 利用背景分割算法对地面区域像素 进行背景建模， 得到背景帧图像Back(x， y)； 背景更新单元， 用于按指定的背景更新 时间间隔对除移动目标属性识别单元输出目标 类型为移动目标的边界矩形框区域外的其他区域进行背景更新， 生成非可变区域的背 景帧 图像， 并覆盖原背景帧图像Back(x， y)； 差分单元， 用于按指定的差分时间间隔将序列图帧的当前帧Current(x， y)和背景帧图 像Back(x， y)进行差分处 理， 得到背景差分图像Dif f(x， y)； 二值化处理单元， 用于通过二值化处理保留背景差分图像中变化的后覆盖区域， 得到 二值化图像； 连通域分析单元， 用于对二值化图像中连通域像素点进行扫描， 计算出后覆盖区域面 积， 进行连通域边缘检测， 获取对后覆盖区域轮廓点坐标， 计算出连通域重心坐标， 从而得 到对后覆盖区域 位置坐标、 轮廓点 坐标、 积水/积雪面积的量 化值； 后覆盖区域属性判断单元， 用于根据积水、 积雪色域阈值范围， 对后覆盖区域进行色域 识别， 从而判定后覆盖区域的属性 为积水、 积雪或其 他属性； 区域特征变化跟踪单元， 用于根据时间序列， 将前后帧积水/积雪的面积、 坐标进行差 值和距离计算， 根据面积扩散速率和位置变化速率， 分析积水/积雪区域特征随时间的变化 关系， 得出当前检测环境下积水/积雪的定量评估结果和差分识别置信度α 。 6.根据权利要求2所述的系统， 其特 征在于， 所述双反向特 征标记识别系统包括： 图像切割单元， 用于将时间序列图帧Tn(x， y)′中存在双反向特征标记的区域进行图像 切割， 分别将水感标贴、 纯色标贴切割图像保存为 Wn(x， y)′和Cn(x， y)′； 水感标贴水位识别单元， 用于扫描Wn(x， y)′像素点， 将HSV值处于干色色域阈值范围内 的像素点进 行每列纵轴低点提取， 对提取到的所有低点y轴数值进 行多轮极值剔除， 并求出 剩余数值的均值 识别为干区与湿区交汇点 集的高度值； 纯色标贴水位识别单元， 用于扫描Cn(x， y)′像素点， 将HSV值处于本色色域阈值范围内 的像素点进 行每列纵轴低点提取， 对提取到的所有低点y轴数值进 行多轮极值剔除， 并求出 剩余数值的均值 识别为未遮挡区与遮挡区交汇点 集的高度值； 结果输出单元， 用于判定移动目标属性识别单元输出目标类型为移动目标的边界矩形 框区域是否与Wn(x， y)′、 Tn(x， y)′在原图帧Cn(x， y)′中的坐标位置存在重叠区域， 如存在重 叠区域， 则不输出标记识别置信度； 如不存在重叠区域， 输出积水高度 标记积水 置信度 7.根据权利要求1所述的系统， 其特 征在于， 所述数据分析治理单 元包括： 融合分析单元， 用于对非可变区域差分识别的置信度α和双反向特征标记识别的置信 度β 进行加权计算， 再减去人 数干扰因子与权 重系数乘积， 得到综合积水置信度γ； 以及 告警单元， 用于当γ大于指定阈值时， 进行汛情告警， 告警时发送识别到的积水、 面积、 高度、 置信度、 区域人 数信息。权　利　要　求　书 2/3 页 3 CN 115409348 A 3