大数据可视化管理平台建设方案V1.1.docx

《大数据可视化管理平台建设方案V1.1.docx》由会员分享，可在线阅读，更多相关《大数据可视化管理平台建设方案V1.1.docx（14页珍藏版）》请在悟道方案网上搜索。

1、大数据可视化管理平台建设方案 V1.1 大数据可视化管理平台建设方案 大数据可视化管理平台建设方案 V1.1 随着大数据的日久累计，企业生产的数据无论从数量空间还是从 维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么 企业自产的大量数据不能有效利用，无法提供决策依据；要么数据展 示模式繁杂晦涩，无法快速甄别有效信息。如何将海量数据经过抽取、 加工、提炼，通过可视化方式展示出来，改变传统的文字描述识别模 式，让决策者更高效的掌握重要信息和了解重要细节，这关系到数据 应用方的重大决策的制定和发展方向的研判。 数据可视化可为上述问题提供理想的解决方案。数据可视化是指 以柱状图、饼状图、线

2、型图等图形方式展示数据，让决策者更高效的 了解企业的重要信息和细节层次。大量研究结果表明人类通过图形获 取信息的速度比通过阅读文字获取信息的速度要快很多，今天以 JW 大数据为案例，分享数据可视化。 以下是 XX 市 JW 大数据可视化案例。 1、建设背景 为适应互联网、大数据条件下对 JW 实战提出的新要求，应对当 前复杂社会治安态势和 FKWW 工作面临的新挑战，满足 QB 指挥一体化 运作和 JW 大数据实时显示应用的需要，破解当前我市分散化、单一 化、离线化的展 示模式与 JW 云发展趋势不相适应的问题，我局拟统 一建设一套完整、灵活、实用的数据可视化平台 ,满足各级公安机关 JW 大

3、数据可视化需求。技术模式上，引入时空模式、地图模式、多 大数据可视化管理平台建设方案 V1.1 维模式、混合模式等多种方法对数据中心海量数据进行可视化展现， 为数据分析、 QB 研判、指挥调度、领导决策等实战应用提供支撑。 展现内容上，以热力图、动态图、 GIS 图等多种表现方式，针对人员、 车辆的聚集、流向，警情、案件的分布等应用场景，提供可配置的可 视化展现功能。应用终端上，既满足各级大数据指挥服务中心、勤务 指挥室等大屏展示需要，也要满足 PC 端、移动 端的个体展示需求。 2、建设目标 按照市县两级大数据指挥服务中心、派出所勤务指挥室及各专业 警种大数据可视化建设需求，利用全市各类公安

4、业务和社会数据，运 用数据地图方法和可视化展示技术，搭建扬州市公安局 JW 大数据可 视化平台，全方位、多层次、多角度展示分析全市 FKWW、社会治安、 JW 工作质态等情况，要满足联合值守、 QB 研判、联合指挥、领导决 策、数据查询等工作需要。主要包括以下三个方面： （一） JW 数据综合汇聚。开发建设智能化、可视化的数据汇聚 工具，梳理各类 JW 数据，按照不同的可视化场景需求，针对各类数 据资源设计相 应的采集、缓存和统计分析及处理方法，以信息要素、 业务模型等多种形式，为实现多样化、可视化的展示提供数据保障。 （二）可视化展示分析。为梳理出来的各种数据设计各种可视化 图形样式，包括文

5、字、图片、动画、视频、图表、地图、地图热点、 图文组合、表格等各类基础图形，对于复杂的数据设计如拓扑图、关 大数据可视化管理平台建设方案 V1.1 系图、张力图、热力图、撒点图、时序图、迁徙地图等数据可视全景 图。同时，通过分析不同情况下的业务需求，明确需要获取的信息及 关联的数据构成，针对实际业务情形设计出能够根据实时信息进行联 动切换等各类操作的大数据可视化展示预案。 （三）建设展示管理平台。建设统一的大数据可视化展示管理平 台，包括数据汇聚管理、可视化组件、超高分辨率渲染引擎、可视化 方案设计工具软件和操控切换控制软件等功能。能够满足民警通过简 明的操作步骤抽取、配置数据源，对可视化组件

6、进行拖拽、排版、数 据源切换等，轻松实现大数据的查询统计及展示方案的新建和切换。 3、技术要求 （一）基于构件技术的系统搭建模式。面向构件技术整合传统的 构件技术、模型驱动技术和面向服务技术。从构件的技术实现角度来 说，应包含四个要素：构件本身、该构件的插口、构件与其他构件协 作的能力、以及构件的使用 者。 （二）采用标准化接口。项目通过制定统一的接口标准规范，约 束系统建设时技术接口的规范化程度，从而保障系统在建成后的标准 化和可扩展化。 （三）采用服务化调用。项目以服务的形式对系统中的各类资源 进行服务化管理，在整合和扩展方面简化服务的调用工作，实现服务 大数据可视化管理平台建设方案 V1

7、.1 资源的远程访问和调用，并能够适应政府机构的业务扩展、机构扩展 和人员扩展。 （四）数据挖掘技术。数据挖掘一般是指从大量的数据中通过算 法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并 通过统计、在线分析处理、 QB 检索、机器学习、专家系统（依靠过 去的经验 法则）和模式识别等诸多方法来实现上述目标。 （五）海量数据处理能力。海量的存储能力不仅要求存储系统具 备海量空间，同时还要具备高可用性、高并发行、按需扩展能力。 （六）分布式存储技术。 能够通过增加存储设备的方式，对存 储容量进行在线扩容，避免因为增加存储而导致的业务中断；需能够 支持 PB 级数据的存储；需能够聚合服务

8、器硬盘带宽，随着存储设备 的增加，数据的存储带宽能够达到数百 GB/S，有效提升数据的访问 效率；采用数据副本策略，保证数据的完整性和安全性。 （七）分布式数据库技术 。布式数据库为长期积累的海量数据 的查询 、处理提供解决方案，需具有高速的数据加载性能、海量数据 抽取和查询功能。 （八）采用多维建模技术。针对可视化展示需求，对原始数据搭 建多维度的可视化数据模型，解决大量数据在特定业务环境下的快速 查询和多角度展示，以便得出管理决策的信息和知识。 大数据可视化管理平台建设方案 V1.1 4、部署方式 平台采用“集中部署、分级授权、独立应用”的方式，部署在扬 州市公安局数据中心，面向全市各级公

9、安机关授权应用。同时，应用 程序需具备跨平台能力，能在各种主流操作系统和浏览器上运行，满 足各种数据源接入服务 : (1)文件数据源 支持对主流 csv,json,excel 等文件格式的导入，接入可视化数 据库，进行有效的可视化呈现 (2)关系型数据库数据源 支持对主流关系型数据库数据源接入，例如 :Oracle、 MySQL、 Sqlserver。接入可视化数据库，进行有效呈现。 (3)大数据数据源 支持对主流大数据存储，例如 Hadoop、 Hive、 HBase 的接入能力， 进行海量数据可视化。 5、建设内容 （一）可视化数据资源库建设 1、原始数据资源库：从市局数据中心综合数据库抽

10、取。 大数据可视化管理平台建设方案 V1.1 2、可视化标准数据资源库：对原始数据资源库进行清洗、转换 与标准化。 3、应用服务资源库（专题数 据资源库）：针对各类可视化应用 场景、目标，存储各类专题、档案数据，形成面向各类专题应用的数 据资源。 4、配置管理资源库：对接市局信息资源管理服务平台，对可视 化数据资源库进行管理。 （二）要素类基础数据展示 1、人员：主要包括不限于常住人口、暂住人口、旅馆住宿、上 网人员、铁路旅客、民航旅客、从业人员、驾驶人员、学生信息、房 屋出租户主、出入境人员、境外人员、涉警涉案人员、重点人员、利 益诉求群体、社会面相关数据等。 2、案件：多维度展示、分析挖掘

11、展示等 3、警情：多维度展示、分析挖掘展示等 4、车辆：多维度展示、分析挖掘展示等 5、 QB 信息：多维度展示、分析挖掘展示等 6、警力信息：包括不限于实时警力、值班值勤人员、目标任务 等。 大数据可视化管理平台建设方案 V1.1 7、数据资源信息：展示实时的公安内外部数据总量、类别、当 日实时增量等。 上述展示资源展示结果应保证随库刷新，刷新时间不高于 1 分钟， 个别实时性要求较高的警情、定位等数据刷新时间小于 10 秒 （三）业务类复合数据展示（ 18 类数据） 按照省厅大数据指挥服务中心建设要求和市局大数据指挥服务 中心大屏展示需求，主要包含 18 类 JW 数据，其中 PGIS 数

12、据为基础 支持数据，其它 11 类作为大屏常态显示监测的数据，剩余 6 类作为 选择性显示数据。 （四）大数据可视化展示场景预案 根据实战需要，平台可预制多个 JW 大数据可视化展示场景，每 个场景应由多个可视化组件构成，各类预案要能够满足市县大数据指 挥服务中心、派出所勤务指挥室大屏、市局及各实战警种决策会商室 及 PC 端、移动端展示需求，同时满足各类重大节日场景预案展示。 本期项目建设应提供不少于 20 个预置场景预案，同时，根据公安业 务需求，满足 2 天内完成节假日、重大事件等突发事件的突发场景预 案。 （五）可视 化展示管理平台软件功能 大数据可视化管理平台建设方案 V1.1 JW

13、 大数据可视化管理平台要能够实现展示预案页面设计、组件 研发、 JW 数据管理，并实现超高分辨率快速显示及操作，实现对海 量信息的可视化综合呈现。对各类业务系统的海量信息进行有效融合 与梳理，基于超高分辨率电子地图综合呈现，实现信息的共享与工作 协同。人机交互操作灵活，以多屏信息联动方式控制平台，同时不能 影响大屏控制速度与灵活性。具体功能应包括以下几个方面： 1、定制化集成展示。根据需要，将全市掌控的各类数据资源、 业务应用通过可视化组件实现一致性呈现，一般业务系统的桌面图像、 网页通过边框渲染 实现一致性呈现，嵌入可视化展示平台；可部署在 大屏工作站的已有业务系统的软件程序，通过额外边框渲

14、染实现一致 性呈现嵌入可视化展示平台；实现视频监控的实时接入。 2、业务数据管理。平台应具备成熟强大的数据集成软件工具， 支持对各种数据库和消息总线的对接，支持标准 SQL 语句和存储过程 访问能力，要具备强大的数据处理功能，除了选择、过滤、分组、连 接、排序这些常用的功能外，并支持通过 Java、 Java 等常用开发语 言进行功能扩展。平台可以将这些语句创建为通用统计分析方法，并 进行良好的管理，同时能存储已创建的业务统计分析数据并 进行处理。 管理平台可由操作人员根据实际需要，通过简便的操作步骤对数据源 进行增、删、改等管理，对所关注的信息快速统计查询和精准调用。 同时，在平台上要能够监

15、控各数据汇聚是否正常，发生问题时准确定 位故障点。 大数据可视化管理平台建设方案 V1.1 3、超高分辨率快速显示。平台应真实利用大屏整个物理超高分 辨率，点对点等比显示充分利用整屏物理分辨率，采用先进的图像处 理技术、智能缓存；显示、刷新快，画面平滑、实时同步。大屏超高 分辨率渲染功能具体如下： （ 1）具备现有业务数据图表渲染能力，并可综合接入和集中显 示。 （ 2）具备现有业务系统图像的直接接入能力，支持 通过信号处 理器调用 RGB、 VIDEO、远程桌面和 IP 视频的信号窗口调用，可控制 其在高分展示平台的叠加位置，并能通过边框渲染实现融合一致平滑 画面效果。 （ 3）具备现有业务

16、系统应用窗口的直接运行和融合应用能力， 可直接在高分展示平台硬件系统运行现有业务系统应用程序或调用 WEB 页面，支持以桌面程序窗口模式叠加在高分展示平台画面上，并 能通过边框渲染实现融合一致平滑画面效果。 （ 4）支持超高分辨率和高速显示刷新功能：真实利用大屏整个 物理分辨率，采用高速图像处理技术整屏显示，全屏典型刷新时间小 于 5 秒，并不随拼接规模增加而 下降，保证业务信息高效显示。 （ 5）具备全屏画面同步显示功能：全屏超高分辨率画面显示具 有极高的同步性和平滑性，充分发挥大屏幕拼接墙超高分辨率海量信 息显示的优势。 大数据可视化管理平台建设方案 V1.1 4、可视化组件管理。背景、图

17、表、控件、模板、仪表、地图等 可视化元素均按照组件式管理、应用，根据场景、环境、终端的差异 可以自主选择、自动适应，满足各种条件下的可视化展示需求。 （六）可视化要求 （ 1）系统应具备自研 WEB 可视化引擎，具备在复杂的 WEB 环境 下，连接后端数据进行多维数据展现的能力，具备多类应用开发，方 便定制基于场景的展示。 （ 2）系统需 要具备丰富的可视化组件，为减少部署成本，要求 基于浏览器展示，用户随时随地查看系统展示效果，充分使用基于 HTML5 和 CSS3 的先进的 WebGL 和 SVG 技术，进行可视化呈现。 （ 3）系统具备对多维数据进行多维展示能力，根据用户需求， 在线配置

18、展示维度，按需求展示。 （ 4）系统具备基于浏览器展示基于 3D 建模的各类公安数据的展 示。 支持基于 H5 WebGL 技术，在浏览器端呈现丰富的 3D 可视化组件， 不依赖于任何浏览器插件。 支持在 GIS Web 系统中，不依赖于任何浏览器插件，叠加 3D 可 视化图层，例如：以时间维度的视角查看多个案件在地理信息上轨迹 特性。 大数据可视化管理平台建设方案 V1.1 （ 5）各类可视化组件具备按需配置的交互能力，例如钻取、数 据联动等。 （ 6）系统具备对静态和动态数据的可视化呈现能力。 （ 7）多维数据可视化服务 系统化多维数据接入、呈现。支持对多维数据系统化接入、处理、 配置、可

19、视化组件对接机制，将多维数据与丰富的可视化组件整合发 挥主题分析与呈现作用。 开放接入多维分析引擎。支持接入主流多维分析引擎（例如 Oracle OLAP） ,获取多维元数据，展示元数据维度、 粒度、指标项。 支持用户按维度组合，以指定粒度呈现数据。 在线维度操作：钻取、上卷、切片、切块、旋转。支持在不同维 度上钻取、上卷，允许针对案件从不同维度上切片、切块展示。 （ 8）基于 Web 的可视化组件服务 基于 H5 的可视化图形及交互引擎。支撑完成可视化组件构建、 渲染、呈现及生命周期管理，支撑组件间消息通信、参数化、预警等 基础功能。 基于 H5 的丰富的可视组件库。包括至少 50 种基于可

20、视化引擎开 发的丰富、立体、全面的可视化图形库，同时支撑 2D/3D 呈现能力， 大数据可视化管理平台建设方案 V1.1 支撑静态和矢量图，支持数据动态绑定。组件可复用性强，可基于 此 组件组装配置复合组件，可在应用主题中按需组合配置。 可视化组件在线配置。提供可视化组件在线配置界面，用户可通 过浏览器自行配置可视化组件布局、大小、颜色、状态、皮肤、自适 应性指标等，配合的生效范围可控制在用户级、系统级。 可视化组件动态关联。提供可视化组件相互通信、参数传递易用 性配置方法，允许客户定制化组件间参数传递及交互逻辑。 （七）省厅可视化功能和数据对接 为实现警用模型可视化省市共享，本项目需要建设对

21、接省厅模型 可视化的功能和数据对接内容，具体如下： （ 1）、对于省厅推送的可视化模型的数据接口或数据共 享库， 能够快速的进行本地化展示分析应用。 （ 2）、能够按照省厅的要求向省厅推送合格的数据接口或数据 共享库。能够实现省市资源数据联动。 （八）接口、安全和其他要求 1、接口要求 大数据可视化管理平台建设方案 V1.1 系统应充分提供和预留相应接口，以满足系统的认证、二次开发、 以及内部数据交换的需求。提供二次开发接口及详细说明文档，具有 二次开发能力以及与第三方应用系统的集成能力。 2、数据安全要求 系统设计要针对本系统涉及的数据做好防攻击、防篡改、防窃取。 通过各类终端的防护，深度探测和分析，确保用户可视化展示的数据 一致性、可用性。 基于自主开发平台 ,不依赖于国外不可控组件和闭源组件。 3、其他要求 提供自主研发开发平台、拥有自有软件著作权，软件著作权， 允许在此平台上不断扩展新的可视化效果和新的应用。 显示页面支持用户自定义拖拽缩放布局组件，适应自定义分辨 率。