智慧环保PM2.5云监测平台系统方案.doc

《智慧环保PM2.5云监测平台系统方案.doc》由会员分享，可在线阅读，更多相关《智慧环保PM2.5云监测平台系统方案.doc（55页珍藏版）》请在悟道方案网上搜索。

1、 PM2.5云监测平台方案 0 xxxx 大数据科技股份有限公司 PM2.5 云监测平台方案 PM2.5云监测平台方案 1 xxxx 大数据科技股份有限公司 修改记录 日期 版本 修改要点 修改者 注释 2013.11.06 1.0 初始版本 2014.01.23 2.0 注：版本升级时，要注明原因，和主要的更改内容。 PM2.5云监测平台方案 2 xxxx 大数据科技股份有限公司 目录 目录 . 2 PM2.5 云监测平台方案 . 4 1.概述 . 4 1.1 背景 . 4 1.2 平台设计原则 . 4 1.3 平台系统意义 . 6 2.PM2.5 云监测平台总体设计 . 7 2.1 系统主

2、要功能 . 7 2.2 技术优势 . 8 2.3 技术方案 . 9 2.3.1 平台架构 . 9 2.3.2 技术路线 . 10 3 可超大规模部署的 PM2.5 云监测节点设计 . 12 3.1 PM2.5 云监测节点系统架构 . 12 3.2 PM2.5 云监测节点传感器 . 13 3.2.1 PM2.5 采集方法 . 13 3.2.2 PM2.5 传感器 . 14 3.3 PM2.5 云监测节点主控板 . 17 3.3.1 主控板 . 17 3.3.2 计算部分 . 18 3.3.3 通信部分 . 20 3.4 PM2.5 云监测节点的供电 . 21 3.4.1 太阳能供电 . 21 3

3、.4.2 市电供电 . 22 3.5 PM2.5 云监测节点的结构和安装部署 . 22 3.5.1 PM2.5 云监测节点的结构 . 22 3.5.2 PM2.5 云监测节点的安装部署 . 23 3.5.2.1 立柱安装方式 . 24 3.5.2.2 墙壁安装方式 . 26 4 PM2.5 云监测云平台设计 . 28 4.1 PM2.5 云监测云平台总体架构 . 28 4.2 PM2.5 云监测云平台优势和特点 . 29 4.3 PM2.5 云监测云平台组成架构 . 30 4.3.1PM2.5 监测平台 . 30 4.3.2PM2.5 预警平台 . 31 4.4.3 PM2.5 污染传播过程实

4、时演化与污染源追踪 . 31 4.4.4 PM2.5 云监测云平台云存储 . 32 4.4.4 PM2.5 云监测云平台 Jobkeeper 系统 . 36 4.4.5 PM2.5 云监测云平台分布式数据立方系统 . 38 PM2.5云监测平台方案 3 xxxx 大数据科技股份有限公司 4.4.3 PM2.5 云监测平台数据个性化服务 . 48 5 PM2.5 云监测平台优势特点 . 50 5.1 超大规模部署 . 50 5.2 在线监测实时性强 . 50 5.3 基于云平台的超强扩容性 . 50 5.4 PM2.5 数据的高准确性 . 50 5.5 云计算海量数据 处理 . 51 5.6 平

5、台科学管理 . 51 5.7 实时数据推送 . 51 6 PM2.5 云监测平台的意义 . 51 6.1 历史数据的实时查询 . 52 6.2 PM2.5 污染源溯源 . 52 6.3 PM2.5 污染预报 . 52 6.4 污染预警 . 52 7 成功案例 . 53 7.1 河北石家庄 . 53 7.2 江苏昆山 . 53 7.3 北京联想 . 53 PM2.5云监测平台方案 4 xxxx 大数据科技股份有限公司 PM2.5 云监测平台方案 1.概述 1.1 背景 目前许多城市的空气质量监测站较少，目前空气污染已经严重危害人民生活健康。城市雾霾天气正是空气污染的典型表现，造成雾霾的主要原因是

6、 PM2.5 的严重污染。 xxxx 的 PM2.5 云监测平台通过超大规模部署 PM2.5 监测节点对环境进行实 时监测，通过云计算（数据立方）分析处理大规模的 PM2.5 监测的数据，利用 PM2.5 监测和预警系统可以做到及时的污染预警，并且通过邮件，APP 等数据推送方式进行空气污染自动报警，及时做好污染防护，最大程度降低破坏空气环境的损害。通过海量历史数据智能分析，能够演化到PM2.5 的污染过程，并且追溯污染源头，进而解决 PM2.5 污染源头，有效抑制污染源，保护空气环境。 1.2 平台设计原则 针对实际情况 ,充分考虑空气环境监测云计算平台系统的建设发展需求，以实现系统统一管理

7、、高效应用、平滑扩展为目标，以“先进、安全、成熟 、开放、经济”为总体设计原则。 1、先进性原则 在系统总体方案设计时采用业界先进的云计算方案和技术，以确保一 PM2.5云监测平台方案 5 xxxx 大数据科技股份有限公司 定时间内不落后。选择实用性强产品，模块化结构设计，既可满足当前需要又可实现今后系统发展平滑扩展。 2、安全性原则 数据是业务系统核心应用的最终保障，不但要保证整套系统能够 7*24h正常运行，在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的

8、故障定位、预警。 3、成熟性原 则 为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储计算资源管理系统，对于与其他应用的集成接口，提供统一的通用稳定访问接口。 4、开放性原则 系统建设具有开放性的标准体系，提供开放的应用 API 编程接口，提供人性化的应用和管理界面，以满足用户需求。遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。在系统不停止工作的情况下，可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。 5、经济性原则 现有业务系统存储数据量较大，且数据的增长速度较快。因 此在建设系统存储架构时，应从长远的角度考虑，建设一

9、个长期的云存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时 PM2.5云监测平台方案 6 xxxx 大数据科技股份有限公司 间内能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。 1.3 平台系统意义 基于云计算架构的 PM2.5云监测平台，超大规模部署廉价的 PM2.5云监测节点，配合城市现

10、有的环境监测站点，准确、及时、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划等提供科学依据，并结合天气状况、城市交通、人口密度、工业产值等元素，进行系统的研究，为保护环境，改善城市的大气环境质量改善起到技术支撑作用。 具体可归纳为 : (1) 超大规模部署 PM2.5云监测节点，改变传统的空气环境监测模式，使环境监测覆盖更密集。 (2) PM2.5污染传播过程实时演化与污染源追踪。根据海量监测数据进行 PM2.5污染传播过程实 时演化， 追踪 寻找污染源，为实现监督管理、控制污染提供依据。 (3) 构建云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料，为研究环境

11、容量、实施总量控制、目标管理、预测预报环境质量提供数据。 (4) 基于云平台的 PM2.5污染预警系统，反映小区域内的 PM2.5的情况，可以快速反映污染，及时做好防护。 (5) 为保护人类健康、保护环境、合理使用自然资源、制订环 境法规、 PM2.5云监测平台方案 7 xxxx 大数据科技股份有限公司 标准、规划等服务。 2.PM2.5 云监测平台总体设计 2.1 系统主要功能 PM2.5 云监测平台需要提供的主要功能描述如下。 （ 1） 超大规模的 PM2.5 云监测节点的部署 超大规模的 PM2.5监测节点的部署，保证了 PM2.5 监测的大量的数据，能精确的获取 PM2.5的详细信息。

12、 （ 2） 实时 数据入库 系统 实时数据入库系统主要负责全市所有 PM2.5云监测节点产生数据实时存到 PM2.5 云监测平台数据存储中心。 （ 3）数据存储系统 原始 PM2.5 数据，将全部存储在 PM2.5 云监测平台分布式文件系统，用于存储海量的 非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求，部分存存储于关系型数据库中。 （ 4）实时预警系统 对 PM2.5标准指标设置对应的域阀值，超过该值超过一分钟等就第一时通过邮件， App 推送，或者短信等形式通知行政执法人员，给管理部门迅速出动，及时阻止破坏环境保护的行为。 （ 5）数据查询分析应用系统 PM2.5 数据查

13、询分析应用提供包括实时监控空气 PM2.5，查看历史记录 PM2.5云监测平台方案 8 xxxx 大数据科技股份有限公司 和分析数据等功能。 PM2.5历史查询处理时，由于 PM2.5的超大规模的部署，造成数据量巨大，需要调度使用云计算技术管理多台服务器 节点进行并行处理。 （ 6）数据下载系统 在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。 （ 7）数据库系统设计 在云计算平台中充分利用云计算系统与传统数据库结合方式建设，针对数据量比较小的用户信息等基础数据信息存放在传统数据库中，针对超大规模 PM2.5 云监测节点的实时量大

14、，存放时间长，历史数据量大的 PM2.5监控数据放在云架构数据库数据立方中，基础数据库做为云计算数据库的补充以及数据转换的接口，前期历史沉淀量大，服务器压力大的 PM2.5监控数据 可以按照规则迁移到云计算数据库中。 2.2 技术优势 云计算架构的 PM2.5 云监测平台技术优势： 1.支持数以万计 PM2.5 云监测节点同时上报数据 能够接受每天千亿记录级的海量数据。 2.原始数据实时入库、生成索引 能够对流量超过 10000 条 /秒的全量原始监控数据流进行实时处理。 3.数据管理规模达到十万亿记录级别 云计算架构能够存储管理和处理十万亿记录级别的数据量，完成各种复杂业务应用计算和分析。

15、PM2.5云监测平台方案 9 xxxx 大数据科技股份有限公司 4.秒级数据查询响应能力 高效索引算法，智能化调度任务系统，满足秒级查询速度。 5.实时业务处理与预警能力 高 效实时数据通道，对于系统中实时监控、告警等实时业务，提供秒级响应时间。 2.3 技术方案 2.3.1 平台架构 通过超大规模部署 PM2.5云监测节点， 针对 PM2.5 监测 建立 PM2.5云监测平台。 PM2.5 云监测节点检测到 PM2.5 的相关信息，通过 GPRS 进行无线数据传输，传输到云平台，在数据接受服务器上进行数据接收、解析和预处理，将数据存入数据立方进行云存储和云计算，并且通过 WEB 服务器进行数

16、据的最后处理和公布，通过 web 页面和移动终端可以实时的查看所有 PM2.5云监测节点的 PM2.5 的实时情况和历史数据，以 及 PM2.5 污染的演化过程。具体的系统总体架构详见下图 1。 PM2.5云监测平台方案 10 xxxx 大数据科技股份有限公司 图 1 PM2.5云监测平台总体架构 2.3.2 技术路线 详细的技术线路图详见图 2。 PM2.5云监测平台方案 11 xxxx 大数据科技股份有限公司 图 2 PM2.5 云监测平台技术线路图 PM2.5云监测平台方案 12 xxxx 大数据科技股份有限公司 3 可超大规模部署的 PM2.5 云监测节点设计 3.1 PM2.5 云监

17、测节点系统架构 PM2.5 云监测节点是由设备箱、传感器、主控板、电源和无线通信平台组成。传感器将采集到的电信号，通过线材传输给主控板，主控板进行信号解析、算法分析和数据量化后，把数据通过无线通信方式 (GPRS)传输 到云平台。 PM2.5 云监测节点可以大规模部署，每个节点均可以将采集到的数据传输到云平台进行处理。具体的架构详见图 3。 图 3 PM2.5 云监控平台架构 PM2.5 云监测节点从功能上来说，是由电源模块、采集模块和通信模块组成， PM2.5 云监测节点内部架构具体详见图 4。实际的 PM2.5 监测节点详见图 5。 PM2.5云监测平台方案 13 xxxx 大数据科技股份

18、有限公司 图 4PM2.5 云监测节点的架构 图 5PM2.5 云监测节点实物图 3.2 PM2.5 云监测节点传感器 3.2.1 PM2.5 采集方法 虽然肉眼看不见空气中的颗粒物，但是颗粒物却能降低空气的能见度，使蓝天消失，天空变成灰蒙蒙的一片，这种天气就是灰霾天。根据 2013年灰霾试点监测报告，在灰霾天， PM2.5 的浓度明显比平时高， PM2.5 的浓度越高，能见度就越低。 PM2.5云监测平台方案 14 xxxx 大数据科技股份有限公司 虽然空气中不同大小的颗粒物均能降低能见度，不过相比于粗颗粒物，更为细小的 PM2.5 降低能见度的能力更强。能见度的降低其本质上是可见光的传播受

19、到阻碍。当颗粒物的直径和可见光的波长接近的时候，颗粒对光的散射消光能力最强。可见光的波长在 0.4-0.7 微米之间，而粒径在这个尺寸附近的颗粒物正是 PM2.5 的主要组成部分。理论计算的数据也清楚地表明这一点 ：粗颗粒的消光系数约为 0.6 平方米 /克，而 PM2.5 的消光系数则要大得多，在 1.25-10 平方米 /克之间，其中 PM2.5 的主要成分硫酸铵、硝酸铵和有机颗粒物的消光系数都在 3 左右，是粗颗粒的 5 倍。所以， PM2.5是灰霾天能见度降低的主要原因。 目前国内外环保部门监测 PM2.5 普遍采用射线吸收和微量振荡天平等方法。除了以上两种自动测试方法外，还有利用光散

20、射的原理测定颗粒物浓度的方法。该测定方法的原理是：空气中的颗粒物浓度越高，对光的散射就越强。测定光的散射后，就可以算出颗粒物浓度。该测试方式测定速度快，自动化 程度高，操作简单。 本次设备使用的是红外光散射法来进行测试相关的数据。通过相关的探头来进行采集相关的数据。通过采集的通道利用红外光散射来进行获取颗粒浓度。采集空气的通道有固定的加热源，通过加热源来进行空间的动态的采集。将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。 3.2.2 PM2.5 传感器 PM2.5 传感器实物图详见图 6。 PM2.5云监测平台方案 15 xxxx 大数据科技股份有限公司 图 6 PM2.5 传感器

21、 1、传感器规格 尺寸：（长） 59mm（宽） 45mm（高） 22mm； 重量： 24g； 正常工作电压： DC 5V 10% （ CN1:Pin1=GND Pin3= 5V） 脉冲电压 30mV 以下； 正常工作电流： 90mA； 检测粒子直径： 1 m 以上； 检测范围： 30 立方米； 输出方式：脉冲电压 周期 30 秒 最高值 4.5V 最低值 0.7V； 启动时间：电源接通后 约 1 分钟（电阻温度稳定时间）； 2、传感器的特点 PWM 脉宽调制输出； 采用粒子计数原理； 可灵敏检测直径 1 微米以上的粒子； 内置加热器可实现自动吸入空气； PM2.5云监测平台方案 16 xxxx

22、 大数据科技股份有限公司 小尺寸重量轻； 易安装使用。 3、 传感器的原理 传感器的原理结构图详见图 7. 图 7 传 感器的原理结构图 模块内置一个加热器，热引起上升气流使外部空气流进模块内部。空气通过检测通道，利用光的原理、通过光和透镜以及处理模块来进行检测。具体的检测方法和通道如图 8 所示。 PM2.5云监测平台方案 17 xxxx 大数据科技股份有限公司 图 8 传感器的检测 另外，传感器的透镜需要视环境状况隔一段时间进行清洁，约 6 个月一次。清洁时用棉签一头醮清水轻擦，然后用另一头擦干。不可以用酒精等有机溶剂擦拭透镜。 3.3 PM2.5 云监测节点主控板 3.3.1 主控板 图

23、 9 PM2.5 云监测节点主控板 PM2.5 云监测节点主控板主要是用来采集 PM2.5 传感器的信号 ，进行信号解析、算法分析和数据量化，将 PM2.5 的数据发送到云平台上。 PM2.5云监测主控板详见图 9。 1、利用 PWM 波进行对 PM2.5 采样，计算； PM2.5云监测平台方案 18 xxxx 大数据科技股份有限公司 2、通过 GPRS 无线发送数据到云平台； 3、输入电源是 12V 直流电源； 4、使用温度范围： -25 70； 3.3.2 计算部分 通过传感器的检测颗粒，输出相关的 PWM 波，低电平的波形 width 是10ms-90ms，利用这个 PWM 波形来进行获

24、取相关的参数，详见图 10。通过获取低电平的占空比，从而通过图 11 获取到对应的数值。 图 10 传感器的采样 PM2.5云监测平台方案 19 xxxx 大数据科技股份有限公司 图 11 传感器采样的曲线图 通过如下的计算，可以得到其中一个通道的采样值。 通道的 LOW Pluse 的占空比设定为 L，测试的采样值为 P。则： 如果获取到的 L :,都是由字符串组成，每一张表有一个 family集合，这个集合是固定不变的，相当于表的结构，只能通过改变表的结构来改变。但是 lable 值相对于每一行来说都是可以改变的。 分布式数据立方把同一个 family 里面的数据存储在同一个目录底下，而分

25、布式数据立方的写操 作时锁行的，每一个都是一个原子元素都可以加 PM2.5云监测平台方案 39 xxxx 大数据科技股份有限公司 锁。 所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而分布式数据立方会保留一定数量的版本，这个值是可以设定的。客户端可以获取距离某个时间最近的版本，或者一次获取所有版本。 2、 概念视图 分布式数据立方以表的形式存储数据。表有行和列组成。列划分为若干个列族 (row family). 1)Row Key 与 nosql数据库们一样 ,row key 是用来检索记录的主键。访问分布式数据立方 table 中的行，只有三种方式： A)通过单个 row key 访问； B)通过 row key 的 range； C)全表扫描 RowKey column-family1 column-family2 column-family3 column1 column2 column1 column2 column3 column1 key1 t1:abc t4:dfads t2:gdxdf t3:hello t2:wo