全业务数据中心数据中台建设实施方案V2.5.docx
《全业务数据中心数据中台建设实施方案V2.5.docx》由会员分享,可在线阅读,更多相关《全业务数据中心数据中台建设实施方案V2.5.docx(32页珍藏版)》请在悟道方案网上搜索。
1、全业务数据中心数据中台建设实施方案 V2.5 全业务数据中心数据中台建设实施 方案 全业务数据中心数据中台建设实施方案 V2.5 目录 1 总论 . 3 1.1 主要依据 3 1.2 主要原则 4 1.3 必要性分析 4 1.4 效益分析 5 2 建设现状 . 6 2.1 全业务统一数据中心分析域建设情况 6 3 项目需求分析 . 8 3.1 业务功能需求 8 3.2 非功能性需求 . 11 4 建设方案 12 4.1 项目目标及范围 . 12 4.2 项目建设内容 . 13 4.3 技
2、术方案 . 20 4.4 项目实施计划 . 25 5 经济性和财务合规性 26 6 软硬件设计 27 7 主要设备材料清册 27 7.1 编制说明 27 7.2 主要设备材料表(无) 27 8 投资估算书 28 8.1 概述 28 8.2 编制原则和依据 28 8.3 投资分析 28 8.4 估算表及附件 28 表 -1 . 30 项目投资估算示范表 . 30 表 -2 . 31 项目实施工作 量明细表 . 31 表 -3 . 34 项目投资其他费用表 . 34 3 1 总论
3、 本项目是信息化建设类新建项目。 项目基于初步建成的企业级统一云服务平台和全业务统一 数据中心基础上,探索建立数据中台服务机制。构建遵从 SG-CIM3.0 的信息模型标准的数据质量治理和数据融通试点工 作,并探索提供基于标准的数据服务。推进 XX 电力整体数据质 量提升,丰富跨专业的数据共享机制,构建数据公共服务组件, 强化数据安全管控,建立常态化的企业数据管理新模式,实现 前端数据融合、后端数据共享的企业数据融通体系,培育 XXXX 特色的企业数据文化,让数据成为驱动 XXXX 业务创新发展的源 动力。 1.1 主要依据 ( 1)公司“十三五
4、”信息化发展规划 ( 2)国家 XX 公司信息系统上下线管理办法 ( 3) 国家 XX 公司信息化建设管理办法 ( 4)国家 XX 智能化规划总报告 ( 5)国家 XX 公司数据中心典型设计 ( 6)国家 XX 公司公共数据模型 (SG-CIM3.0) (试行) ( 7)国家 XX 公司应用软件通用安全要求 ( 8)智能 XX 安全防御体系。 4 1.2 主要原则 ( 1)“统一性”原则 项目设计遵循四统一原则,即统一领导、统一规划、统一 标准、统一建设的原则。在按照公司全业
5、务数据中心整体规划 的指导下进行,符合公司整体要求。 ( 2)先进性原则 确保平台架构设计先进性、技术路线先进性、测试技术先 进性以及组件选择先进性。 ( 3)安全、可靠性原则 服务体系建设应充分考虑服务的安全防护、容错能力和抗 干扰能力,保证数据服务长期稳定、安全、可靠 、高效地运行。 ( 4)实用性原则 遵循以数据服务为核心的设计理念,提供一致性、人性化 用户体验,最大限度地满足客户的实际需要,操作便捷,功能 完善,界面友好。 ( 5)可扩展性原则 符合国际及国家通用标准,具备良好的开放性和可移
6、植性。 采用标准开放平台接口。 1.3 必要性分析 5 随着公司各业务发展与应用创新的不断深入,信息通信技 术在智能 XX 和现代公司中的关键核心作用已逐渐凸显,日常 XX 运行和管理数据已经成为了公司的重要资产。根据公司“十三 五”信息化规划总体要求,按照“一平台、一系统、多场景、 微应用”的整体技术路线,经过两年半的建设,已基本建成“浙 电云”企业级统一云服务平台和全业务统一数据中心分析域, 初步实现平台资源和跨专业数据共享。但信息系统孤岛现象仍 然存在、企业业务数据质量不高、数据冗余、数据管理技术支 撑和管理机制不够完善、数据分级分类不够标准等问题制约着 公司的业
7、务发展以及管理水平提升。 企业数据 的融会贯通是促 进公司业务发展的重要支撑, 加强 企业数据质量融通能力是未 来公司整体提高业务发展的 一个重要抓手。因此开展数据治理 和优化,提升数据质量和数据融通已经刻不容缓。 1.4 效益 分析 ( 1) 通过在全业务统一数据中心建设数据服务中台,确 保接入数据中台的模型数据符合 SG-CIM3.0 标准,并能提供符 合标准的数据服务,为全业数据中心标准化工作进行落地,从 而提高系统实用化水平。 6 ( 2) 全业务统一数据中心的数据服务中台对接入的数据 进行数据拼接、数据清洗、数据校验,完成数据融合工作,提 高系统的
8、数据质量。 ( 3) 全业务数据中心的数据中台在标准化基础上,提供 高中压的 XX 台帐、拓扑、图形、用户的基础数据服务,为 XX 公司微应用建设提供基于标 准的数据支撑服务,从根本上解决 数据孤岛问题。 2 建设现状 2.1 全业务统一数据中心分析域建设情况 按照国家 XX 公司关于全业务统一数据中心的建设要求, XX 公司承担分析域专项试点建设工作,经过两年多来的建设,已 具备全业务数据统一存储、管理与分析的能力,基本满足各部 门(跨专业)的数据共享与应用技术需求。 在数据接入方面: 按照接入原始业务数据的原则,分析域 已有效汇集
9、了 ERP、 PMS2.0、营销等 39 套系统核心业务数据(包 括明细数据、部分统计数据),覆盖了公司调控、生产、营销、 企业经营管理等核心业务,数据总量约为 370T,其中结构化数 据总量为 87.1T,非结构化数据总量 207T;调度实时量测类数 据利用海量平台前端数据接口通道,接入省调以及温州、宁波、 台州、舟山、嘉兴五个地区 2017 年 2 月起的部分 XX 运行实时 7 数据(包括设备档案数据以及遥信、遥测数据),目前数据量约 为 75.9T,该六个地区历史数据正在接入中,调度管理类数据、 保护以及遥脉数据调度部门尚未开放权限。 在数据加工处理方面 : 针对接入离线结
10、构化数据库的 28585 张数据表,基本完成业务明细层数据的梳理筛选、格式转换等 加工处理工作,截至目前,有 8278 张统一视图层数据表, 9177 个数据加工任务定时运行,并初步完成 814 个数据仓库模型的 加工转换。 在数据对外服务方面: 目前离线结构化数据库已基本完成 生产、营销、企业经营管理等核心主数据以及相关业务的明细 数据整理,依托数据管理工具,初步形成数据结构目录查询服 务;同时可借助 BASE平台进行 离线结构化 数据 的 统一 加工处理 、 任务调度、运维监控。 目前智能运检管控平台、配 XX 规划(温 州试点)、财务资 产精益化平台(一期)、运监数据资产协同
11、应 用、物资同业对标指标看板等应用已基于分析域上线试运行; 同时通过数据接口定时向 PMS2.0 以及国网运监推送设备、项目 等相关明细数据,并先后向人才模型培育、发展精准投资 等多 个项目提供技术 以及 数据 咨询服务。但是全业务数据中心分析 域属于基础数据平台,目前对外服务主要为应用开发团队提供 明细数据,基本上以一项目一服务模式为主,尚未在数据服务 8 团队横向构建企业数据服务共享沉淀层,大量数据服务由项目 应用厂商或源业务系统掌握,业务人员无法直接查询使用数据。 3 项目需求分析 3.1 业务功能需求 随 着全业务数据中心系统的不断发展和深入,对数据
12、的完 整性、精确性、合法性、一致性、唯一性提出了更高的要求。 具体的业务功能需求如下: 1、 信息孤岛问题的解决 在不同业务系统中由于业务要求不同和技术手段限制,存 在同一业务数据多源存储、数据颗粒度及侧重点不同的情况, 因此各业务系统根据自身业务标准进行数据转换后存在差异性, 基层工作人员需要在不同业务系统间反复查询、比对、合并, 导致存在信息孤岛现象。 如:对于主变压器设备,生产 PMS2.0 系统重点关注设备名 称、电压等级、所属变电站、运行状态、容量、投运日期等; ERP 系统重点关 注额定容量、投运日期、型号、运行状态等; OMS 系统重点关注设备
13、名称、设备类型、所属变电站、运行状态、 有功、无功、电流电压、电容电抗参数等;营销重点关注对应 线路、台区名称、铭牌容量、运行状态、投运日期、型号等。 9 通过全业务数据中心的数据中台试点项目实施能够将现有 系统的模型数据按照标准化定义进行融合,并提供统一的标准 化服务来彻底解决信息孤岛问题。 2、 数据冗余问题的解决 近年来国家 XX 公司及公司对业务专业管理的要求越来越 严格,造成各业务部门对业务数据的查询、统计、分析等方面 需求大增,目前主要通过业务系统增加功能模块 、建设独立辅 助应用两种方式解决,也因此产生下列问题: ( 1) 建设独立
14、辅助应用,造成数据多源存储 由于建设独立部署的专业性、辅助性的应用,每一个应用 都会备份存储业务系统的业务数据,再进行后续分析、统计, 造成同一业务数据进一步出现多源存储、多源应用的情况。 ( 2) 业务系统内增加功能,造成数据冗余 在业务系统上增加大量的查询 、 统计和分析功能 , 对应 产 生了 大量的统计 、 分析数据使用的数据表 ,但缺乏相关的管理 机制, 造成 出现 大量的 冗余 数据表 、 数据 。 通过全业务数据中心的数据中台试点项目实施对接入数据 中心的模型数据按照标准化定义进行拼接、过滤、清洗来解决 模式数据中的冗余数据。 &n
15、bsp;3、 数据质量不高问题的解决 10 目前企业数据质量不高主要体现在数据正确性和完整性不 够、业务系统间数据同步不及时、数据集成接口不够规范等 ( 1) 业务数据正确性和完整性不够 现有业务系统之间,仍然存在部分业务数据未实现贯通, 系统之间缺少相应的业务闭环管理流程,导致数据正确性和完 整性不够。 ( 2) 业务系统间数据同步不及时 一是已贯通业务的存量数据匹配未完成。已实现数据同源、 业务贯通的业务系统中,由于贯通前各 业务系统之间的业务标 准、技术结构存在差异性,造成部分存量数据匹配工作未完成。 二是系统功能升
16、级前后业务标准不一致。各业务系统功能 升级过程中,由于代码变更、字段调整等原因,有部分历史数 据会出现与发布后的业务标准不一致的情况。 ( 3) 数据集成接口不够规范 目前各业务系统之间虽然大部分业务数据通过系统集成方 式实现了数据贯通,但由于系统集成功能不完善、集成接口不 稳定等原因,造成数据不一致。 通过全业务数据中心的数据中台试点项目实施对接入数据 中心的模型数据按照标准化定义完成拼接和加入人工智能算法 11 的数据清洗工作后,对预处理数据进行数据质量校验来提高数 据中心的整体数据质量。 4、 数据管理优化 数据管理目前处于粗放
17、型、人治阶段,对数据的本身管理 尚未形成规范化的流程,管理机制不成熟,自动化辅助工具不 健全,仅能完成单独业务系统的数据管理工作。但目前各专业 的新增业务逐渐增多,各种跨专业、跨系统的业务贯通需求大 量出现,数据管理面临着多系统之间涉及几万张表协同管理的 需求,存在企业级数据中心架构规划无标准,数据准确性 缺乏 审核机制,取数成果复用率低,数据架构变更联动机制不完善, 缺少企业级的数据专家团队等问题。 而且,现阶段 各业务系统及辅助分析平台的数据管理 ,主 要依托整体数据比对、日志记录、异常告警和人工比对清理等 技术手段进行数据管理,对于多业务、跨专业、跨系统之间的 数据管理普遍存
18、在手段单一、针对性过强、效率低下、响应过 慢等问题。 通过全业务数据中心的数据中台试点项目中的微服务运行 监测功能的实施,来完成对数据的自动监测、管理和维护。 3.2 非功能性需求 ( 1)性能与可靠性 12 系统 RDS 数据量将达到 1TB; 系统 Redis 数据量将达 到 1TB; 系统所需储存空间需求将达 5TB; 响应时间要求小于 500ms; 网络带宽需求:数据服务中台在并发用户数设计要求范围 内时,网络带宽平均利用率不超过 60%; 可靠性:能够支持 7*24 小时连续运行,同时具有良好的容 错能力; &n
19、bsp;( 2)信息安全 本次项目完全基于“浙电云”平台和全业务统一数据中心 系统进行建设,不改变原有系统安全架构和等级保护要求。 (3)灾备设计 本次项目完全基于“浙电云”平台和全业务统一数据中心 系统进行建设,沿用原有系统的灾备设计。 除上述非功能性需求内容外,其他非功能性需求相关内容 将严格按照国家 XX 公司信息系统非功能性需求规范(试行) 执行,在系统后续设计、建设过程中逐步完善。 4 建设方案 4.1 项目目标及范围 4.1.1 建设目标 13 通过本项目的实施,基于浙电全业务统一数据中
20、心的建设 成果上,围绕业务微应用建设迫切需要的共享数据服务,根据 SG-CIM3.0的信息模型规范,完成对 XX 生产管理业务需要对外 提供的数据开放服务规则的梳理;实现基于统一 XX 模型数据的 数据加工清洗;面向公司所有的内部微应用开发,提供开放的 XXXX 高中压 XX 设备、拓扑、图形和用户等基本信息的数据服务; 建立对微服务在运的动态管理、审计功能和数据服务、数据质 量的回溯追踪能力。 4.1.2 项目范围 本项目实施覆盖范围: 组织范围:国网 XX 省电力公司本部、 11 家地市公司、 64 家县公司及所有直属单位。 数据范围: XX
21、 高中压、用电客户的基础数据 应用范围:基于“浙电云”的内部微应用、微服务 4.2 项目建设内容 本项目建设内容如下: 1、 构建统一 XX 模型 统一 XX 数据模型将使以后的业务设计、开发、部署更加简 单、清晰和可靠。使用统一 XX 数据模型可以使得应用开发不必 14 对数据获取、存储进行 重复开发,而是将精力专注于业务应用, 提供业务应用质量,促进业务发展。会让业务进入很多新的、 有价值的发展方向。 由于统一 XX数据模型涉及 专业多、技术难度大,创新性强, 任务十分艰巨 ,为了满足对统一 XX 数据模型的要求,充
22、分认识 其重要意义,加强合作,克服困难,全力推进 。对 XX 的全业务 数据中心现行使用的高中压资源、资产、图形模型进行研究讨 论,并详细学习 IEC 61970-301 IEC-CIM、 IEC 61968-11 配网 模型扩展、 IEC 61970-552 XX 模型数据交换格式、 IEC 61968-13 配网模型 数据交换格式、 IEC 61970-452 XX 模型子集、 IEC 61970-451 量测模型子集、 IEC 61970-456 XX 状态子集、 IEC 61850 系列 自动化装置模型。 模型数据遵循标准规范,其基础模型结构及数据字典由 PMS2.0 统一
23、维护,并同步至模型中心,保障属性统一,并提供 元数据、字典管理功能。对全网设备按调度管辖统一编码,实 现设备 ID 唯一。 2、 数据拼接 由于当前全业务数据中心的 XX 模型数据来源于多个系统, 其中最主要的一次设备台帐数据、资源数据、地理空间数据、 专题图(包括单线图、系统图、台区图等)来自于 PMS2.0 系统, 15 专线、专变、大用户、采集设备来自于营销系统,二次设备资 源资产数据来源于新一代四区主站。 数据拼接模块在统一 XX 模型定义基础上,分别先后接入不 同系统中的模型数据数据,依据各系统模型自身特点与差异进 行模型转换和拼接,以达到符合统一
- 温馨提示:
建议用WPS软件(.pptx、.docx)打开文档,少量文档使用Microsoft(.ppt、.doc)打开易出错。
- 配套讲稿:
如PPT文件的首页显示word图标打开文档,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 业务 数据中心 数据 建设 实施方案 v2
