吴志成 纪纲 吴艳林
[摘 要]利用大数据技术获取城市涝情信息，融合城市的降雨、防涝标准、历史涝情等数据，建立城市涝情预警机制，是促进排水防涝工作的重要手段。文章利用信息爬取与语义识别、预警预测、数据可视化等技术，提出了大数据融合技术在城市涝情监管预警中的应用方案。
[关键词] 排水防涝;数据融合;涝情预警;数据可视化
[DOI]10.13939/j.cnki.zgsc.2021.12.183
1 引言
近年来，暴雨等极端天气给社会管理、城市运行和人民群众生产生活造成了巨大影响，加之部分城市排水防涝等基础设施建设滞后、调蓄雨洪和应急管理能力不足，出现了严重的暴雨内涝灾害。《全国城市市政基础设施规划建设“十三五”规划》提出“加快对城市易涝点整治”“建设暴雨内涝监测体系，提高内涝预报预警能力。”如何及时、准确、完整地掌握各个城市排水防涝工作进展，对城市排水防涝工作进行科学、有效的监督指导，成为住建部、省、市城建管理部门的迫切需求。大数据技术在海量异构数据融合、分布式数据处理与计算、数据可视化等方面具有优势，[1]融合大数据技术与城市涝情监管预警业务，成为客观分析排水防涝效果，科学指导城市安全度汛的有效方法。[2]
2 应用需求
基于大数据技术，通过数据集成、互联网信息爬取、传感器采集等方式收集城市易涝点信息、城市降雨信息、城市涝情信息，为用户提供综合数据分析、可视化展现等服务，为城建管理部门监督、指导城市开展排水防涝工作提供支撑平台。系统主要需求包括以下三方面：①准确、及时掌握城市降雨及涝情信息。能够从气象网站获取全国主要城市的逐小时降雨信息。从门户网站、微博等渠道爬取城市涝情相关信息，及时掌握全国各地涝情程度和影响;②城市涝情信息预警预测。综合降雨量、城市防涝标准、易澇点治理进展、历史涝情等信息，建立城市涝情预警分析模型，对全国城市未来涝情情况进行预警，指导城市排水防涝工作;③对降雨、积水、涝情等信息进行综合利用，提供每日涝情情况汇总报告、涝情周报、涝情预警情况报告。辅助领导决策，满足监督、指导各地开展排水防涝工作的需要。
3 系统建设方案
3.1 数据架构
排水防涝信息系统融合易涝点基础信息、补短板项目进展信息、易涝点实时监测信息、城市涝情信息、城市降雨信息，形成排水防涝综合数据库，支撑排水防涝业务处理及科学决策需要。排水防涝数据体系包括：基础数据、业务数据、决策分析数据三类：①排水防涝基础数据：基础数据包括代码数据、基础数据、空间数据。基础数据在排水防涝系统各模块共享使用;②排水防涝业务数据：包括补短板项目业务进展数据、易涝点实时监控数据以及从互联网、第三方采集的降雨数据、涝情数据、统计年鉴等排水防涝相关数据，为排水防涝分析决策提供支撑;③排水防涝决策分析数据：决策分析数据是依据数据分析与综合决策要求，对排水防涝业务数据进行加工处理形成的数据，包括排水防涝统计数据、治理系统评价数据、涝情分析预测等数据。
3.2 技术架构
排水防涝信息系统利用大数据平台的数据采集、存储、计算、分析能力构建，由基础设施层、综合数据库层、大数据技术支撑层、排水防涝应用层以及信息安全体系、数据指标体系组成，构建科学合理的数据分析、涝情预测模型，通过丰富、形象、易用的数据可视化技术，满足排水防涝业务的数据应用需求。①基础设施层：通过云计算技术，将网络、计算、存储、安全等基础设施池化，为大数据支撑平台、综合数据库、排水防涝应用提供稳定、可靠、高效的运行环境;②综合数据库层：将易涝点数据、涝情数据、降雨数据、监测数据等按照数据标准体系进行清理、转换、加载等处理，形成满足业务处理与分析决策的综合数据库;③大数据技术支撑层：满足分布式环境下海量异构数据采集、存储与资源管理、分布式计算框架、大数据分析与可视化展现等功能需求。主要的技术组件包括地理信息、信息爬取与搜索、数据挖掘、集成接入（ETL）、遥感遥测分析等;④信息安全体系：围绕信息保密性、真实性、可用性（CAA）目标，参照涉密信息系统安全机制构建涵盖物理安全、网络安全、应用安全、数据安全、管理安全的数据安全服务体系，为排水防涝信息管理提供安全的数据服务;⑤数据指标体系：建立排水防涝信息的数据标准、技术标准和管理标准，确定数据采集、数据集成、数据共享的技术路线，推动数据互联互通与信息共享，形成排水防涝顶层数据指标体系;⑥排水防涝应用层：梳理排水防涝信息管理业务流程，按照数据指标体系要求，提供易涝点管理、涝情信息管理、降雨信息管理、综合数据分析、业务一张图、涝情预测等服务，满足排水防涝业务需求。
3.3 功能架构
排水防涝系统主要功能包括：城市降雨信息管理、涝情报告生成、综合展现一张图、统计分析、基础信息管理等模块。①城市涝情预警。融合降雨数据、防涝标准、历史涝情数据，构建涝情预警模型，提供城市涝情预警预测服务;②涝情报告生成。利用网络爬虫及语义识别技术，从微博、门户网站等渠道采集城市涝情信息。提供城市涝情周报、日报等报告生成功能;③综合展现一张图。基于二维GIS地图展现城市降雨、涝情以及易涝点位置、积水、视频等数据，实现相关数据的综合展现;④统计分析。从行政区域、时间等维度提供涝情分布、涝情趋势对比分析等功能，通过统计图表方式，实现数据的直观展现和应用;⑤基础信息管理。对城市防涝标准、易涝点位置、监测设备等基础信息进行管理，为规范城市涝情、降雨、积水等信息提供支持。
4 关键技术
4.1 涝情信息爬取与识别技术
4.1.1 涝情信息爬取
通过爬虫采集数据主要包括三种方式：定向采集、扩展采集以及源搜索。定向采集是指限定站点或者频道来搜索，实现精确的数据采集;扩展采集是指通过设定采集的起始点和采集的深度来实现比较精确的数据采集;源搜索是指利用搜索引擎（如百度、搜狗、360等），通过设置关键词组来实现数据的非精确采集。本项目采用定向采集方式。
按照数据采集范围、关键词持续采集数据，并对重复数据进行去重，能够根据语义过滤垃圾数据。分布式城市涝情信息爬虫体系包括如下四部分：①系统管理控制台：对爬虫系统部署的软硬件资源进行监控及动态管理，包括服务器资源及网络状况、爬虫进程运行情况以及异常事件处理等;②爬取规则定义：能够依据网络爬虫的运行状况和信息爬取效果对爬取规则进行定义及优化。主要定义的爬取规则包括：爬取范围、优先策略（深度、广度）、分析词策略（关键词、剔除词）、爬取频率等;③功能中间件：主要包括爬取中间件、爬取防屏蔽中间件、数据存储中间件等，提供数据采集、分析、避免反爬取策略、数据存储及查询服务;④分布式基础设施：采用“主从”模式构建，主节点将爬取、分析任务在从服务器动态分配，并建立异常处理机制，实现爬虫高效、稳定运行。
4.1.2 涝情信息识别
网络爬虫依据“大雨、内涝”等关键字采集的舆情数据不都是有效涝情信息，存在大量噪声。为了提高爬虫获取涝情数据的准确率，构建了“正则关联”与机器学习算法结合的涝情信息识别模型。通过机器学习算法进行语义理解，建立爬虫抽取的数据类别库，即判读每一条数据是否与洪涝相关，从而将样本库分为两类。通过卷积神经网络（CNN）和循环神经网络（RNN）提取文本上下文语义特征信息，依据属性特征对其进行分类，判别爬取的内容是否属于涝情相关的数据。该模型进一步提高了涝情数据的精准度。
4.2 城市澇情预警预测技术
以降雨预报、历史降雨信息、历史涝情信息、排水防涝标准、易涝点治理进展为主要因子构建城市涝情预测模型，将风险划分为“最高”“高”“较高”“一般”“无”5种等级，并发布三天内各城市的风险预警，为指导城市内涝工作提供决策依据。
通过接入涝情城市、基于内涝点的降水实况及预报、覆盖内涝城市的降水实况及预报等数据，通过滚动计算方法，将其与城市防涝标准做对比，通过制定风险预警策略，预判城市涝情风险和易涝点涝情风险，并实时发布涝情预警信息。
4.3 排水防涝数据可视化技术
通过大数据技术融合城市涝情舆情信息、城市降雨信息、城市涝情监控实时信息，利用专题一张图、报告生成等方式实现多维度叠加式数据可视化，更好地服务综合管廊建设管理部门的规划和决策。①排水防涝专题一张图。基于GIS的业务多图层综合展现，将全国易涝点、降雨和涝情信息集中在一张图，关联降雨对涝情的影响，科学评估易涝点治理效果;②排水防涝业务分析报告：面向不同用户的业务需求，按照报告模板要求的格式、数据快速生成分析报告。报告采用文字、表格、统计图等多种数据展现形式，内容包括降雨分布情况、涝情分布情况、降雨与涝情关系分析等。
5 结论
文章研究大数据在城市涝情监管预警领域的应用方案，充分发挥大数据在分布式、海量、异构数据采集、存储、处理、分析方面的优势，改变传统信息采集方式，融合易涝点数据、降雨数据、涝情数据、补短板项目数据，实现“填报型”到“监控型”应用的转变，构建城市排水防涝效果评价、涝情预测等数据分析应用模型，为促进排水防涝工作提供有力支撑。
参考文献：
[1]孙敏，王琳.大数据时代下的数据可视化方法分析[J].软件，2019，40（9）.
[2]张丽虹.大数据背景下城市排水防涝设施动态管理系统设计[J].工程管理与技术，2018（4）.
[3]薛祥光， 蒋世峰， 李萌，等. GIS在城市排水防涝中的应用趋势[J].科技视界， 2016（1）：71-72.
[4]侯圣峦，刘磊，曹存根.基于语义文法的网络舆情精准分析方法研究[J].计算机科学，2014（10）.
[5]郝莹，陈靖，王元，等.基于高时空分辨率降水预报产品的城市内涝预警研究[J].暴雨灾害，2019（3）.
[6]都伊林，马兴.大数据构建城市应急预测预警体系[J].信息化研究，2017，43（2）.
[基金项目]中华人民共和国科学技术部 2017年研究课题“城市地下综合管廊安全防控技术研究及示范”（项目编号：2017YFC0805000）;中国航天科工集团有限公司2019年研究课题“城建大数据平台建设及应用研制”（项目编号：2019-M-4）;中国航天科工集团有限公司2019年研究课题“城市治理基础服务云平台研究与典型业务应用”（项目编号：2020-M-4）。
[作者简介]吴志成（1983—），男，汉族，江苏泰州人，研究生，北京京航计算通讯研究所副部长，高级工程师，研究方向：大数据技术与应用。
猜你喜欢 数据融合数据可视化 基于大数据的城市交通可视化技术研究数字技术与应用(2019年5期)2019-08-26基于K均值聚类算法及朴素贝叶斯分类器的学习行为分析研究电脑知识与技术(2019年11期)2019-05-24基于大数据的电信领域用户服务模型与数据融合策略分析智富时代(2018年6期)2018-08-06基于大数据的电信领域用户服务模型与数据融合策略分析智富时代(2018年6期)2018-08-06基于Hadoop的微博舆情分析系统研究与实现电脑知识与技术(2018年5期)2018-04-02基于Tableau的商业数据可视化分析电脑知识与技术(2018年29期)2018-01-04物联网数据融合分析中国新通信(2017年17期)2017-10-16浅析大数据时代背景下的数据可视化应用魅力中国(2017年11期)2017-09-18数据融合技术科教导刊·电子版(2017年5期)2017-04-01数据融合技术在网络安全管理平台中的应用中国新通信(2016年12期)2016-08-09
