数据治理平台整体规划方案V2.8.pptx

《数据治理平台整体规划方案V2.8.pptx》由会员分享，可在线阅读，更多相关《数据治理平台整体规划方案V2.8.pptx（34页珍藏版）》请在悟道方案网上搜索。

1、,数据治理平台整体规划方案,数据治理体系架构,数据发现与分类（暗数据发现和分类）,数据管理（数据管控平台）,主数据建设,元数据管理,数据质量,数据服务,数据中心,面向流程主题建模,统计分析类主题建模,绩效考核类主题建模,面向档案类主题建模,数据源,文档/日志,图片/影像,业务系统数据MIS系统数据渠道系统数据第三方数据 结构化数据,数据应用,数据安全,数据脱敏,安全传输,审批流程,敏感策略配置,物联网数据,互联网数据,非结构化数据,数据采集与清洗（数据支撑平台）,行业现象和需求,问题,数据 质量,数据 应用,随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类

2、不断丰富完善， 数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。,缺少统一的应用标准 重复投入 数据不一致 指标设计、口径不一致 指标难以共享 缺少统一的基础数据标准 重复投入 数据不一致、不准确 难以利用和管理 各系统数据难以共享,部分关键业务数据缺失 源系统校验关系缺失及业务人员随意操作,数据 架构,数据分散，难以管理 没有一个稳定的，抗源变化的数据层,数据管理范围,数据治理 战略 组织和角色 政策和标准 项目和服务 问题 估值,数据架构管理 企业数据模型 价值链分析 相关的数据架构,数据质量管理 规范 分析 度量 改进,元数据管理 架构 整合 控

3、制 交付,文档和内容管理 获取和储存 备份和恢复 内容管理 检索 保留,数据开发 分析 数据建模 数据库设计 实施,数据操作管理 获取 恢复 调优 保留 清除,数据安全管理 标准 分级 管理 授权 审计,参考数据和主数据管理 外部规范 内部规范 客户数据 产品数据 维度管理,数据中心和商务智能管理,架构 事实,培训和支持 监控和调优,数据管理框架,技术支撑,领域,机制,从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。 战略,数据发现与分类 数据采集与清洗工具,数据管理系统,质量检查工具,数据安全管理 数据建模,数据模型,数据安全,主数据元数据 数据存储数据分布数据交换数

4、据集成,数据质量数据服务,组织,制度,流程,角色,目标,规划,总体解决思路,重新组织数据 重新组织数据，让数据变得 更好用。,主数据建设 真实世界模型 数据仓库 数据标签和画像 ,盘点数据资产,让数据成为资产，了解企业有哪 些数据，在哪里，有多少量级。,业务流程梳理 数据流程梳理,数据识别与分类 ,让资产变得干净，少歧义,通过数据ETL，建立数据标准化。 数据采集与清洗,数据标准化 ,数据治理的延伸：数据管理 数据治理的结束是数据管理的开始。,数据资产透视 智能搜索和发现 主数据管理 ,数据治理持久化 对数据治理工作持久化，一 次治理，永久治理。,数据治理工作日常化 元数据和标准化治理维护,更

5、新 新类型数据的自动化治理,1、数据资产盘点：暗数据发现和分类,在数据治理的实际操作中，只有先发现数据，对数据进行有效分类，才能避免一刀切的控制方式， 也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。 经过大量的案例实践，总结出了数据分级分类的方式：,04,02 业务流程梳理,03 业务流程分解,梳理业务与业务之间的流程关系， 业务流程本身的输入输出上下文情 况； 补充每个业务流程涉及的属性；,识别各业务环节涉及的人、事、物， 输入、输出、组件和数据沉淀；输 出业务流程图； 根据梳理好的业务流程图，转换成,对应的数据流图；,01 业务系统调研 调研业务系统情况

6、： 建设目标、系统类型划分； 系统运行架构、硬件支撑情况； 使用者、用户来源和规模； 06 数据分级分类 根据行业标准和特点对于数据资产 进行分类； 将数据资产划分为公开、内部、敏 感等不同的敏感等级；,数据标准梳理,05 业务关系梳理 梳理业务与业务之间的关系 业务流程逻辑、业务交互数据； 业务权限分配、输入输出控制； 访问权限控制、操作流程规范； 风险规范要求等；,对于业务数据按照主体、参考、交易、 统计进行分类，并梳理出数据的技术 标准和业务标准； 补充和整理完整的数据字典；,2、让数据变得更干净，少歧义,如何让数据变得干净可用？ 主要从三个方向入手：数据采集与清洗、对元数据进行管理、数

7、据标准化治理,数据采集与清洗 数据同步 数据交换 数据整合,数据标准化治理 技术标准 数据标准 管理标准,元数据管理 理解元数据需求 开发和维护元数据标准 标准化元数据评估指标 创建和维护元数据 整合元数据 分发和交付元数据 查询、报告和分析元数据,2.1、数据采集与清洗达到的效果,数据同步 实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响 源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据 平台等）； 数据交换 不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规 则设计； 数据整合 将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心

8、或者数 据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度,数据源,ETL转换,数据目的,数据迁移：将数据进行转移 数据同步：保持两个同构或者异构库的数据一 致 增强抽取：对于发生改变的数据进行更新 列映射：数据类型转换、列名变换、删除列、 增加列,数据库查找器：过滤所需数据，并且根据规 则进行数据的替换 自定制转换：调用java程序执行特殊的数据 处理 数据质量检查：专业的数据质量分析、清洗、 验证和监督引擎,2.1、数据清洗、转换,2.2、元数据管理,元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行

9、完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人 员作出更有效的决策。 元数据管理方法如下：,理解元数据需求 确认企业元数据管理环境、范 围、优先级、元数据内部标准、 企业基于元数据的服务等；,标准化元数据评估指标 评估指标主要应采取定量指标，包括： 元数据存储库的完整性、元数据的质量、 元数据的使用/引用、元数据血缘分析/ 影响分析等；,整合元数据 把来源库中抽取到的元数据，与相 关的业务元数据和技术元数据进行 整合，最终存储到元数据存储库中；,查询报告和分析元数据 指导如何使用数据资产，体现在商务智能 （报表和分析）、商业决策（操作型、运营 型、战略

10、型）以及业务语义方面使用。 指导如何管理数据资产： 具有前端应用程序，并支持查询和获取，满 足以上各类数据资产管理的需要；,开发和维护元数据标准 根据行业或共识标准，以及国际标准， 再结合企业范围共识建立元数据标准；,创建和维护元数据 通过元数据创建和更新工具定期扫描 和更新存储库； 采用审计流程验证各项操作活动并报 告异常；,发布元数据 将元数据从存储库分发到最终用户和 其他需要使用元数据的应用或工具；,2.3、数据标准化治理,技术标准,管理标准,重点解决数据整合、交换接口标准 业务数据库建设规范、数据整合规范 平台接口规范、环境配置规范 数据接入实施规范、编码规范等标准规范, ,建立实用、

11、高效、统一的管理体系,制定信息系统运行维护管理制度、安全保障制度、 数据安全管理规范、数据共享交换管理规范等管 理规范。,数据标准,数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一 的标准规范体系，实现信息高度共享、系统运行高度协调的保障。 标准规范包括技术标准、数据标准和管理制度三类：,企业统一标准的数据规范标准 对企业现有业务系统进行梳理按照数据标准规范的构成进行数据标准规范的制定 以此为依据进行规范化的升级、管理以及曰后的变更 维护 主要包括数据元、数据元代码集和信息实体等,3、重新组织数据,主数据建设,真实世界模型,数据仓库,数据标签和画像,建立企

12、业数据资产统 一口径、统一标准,从实际出发，用 数据描述业务,资源整合、统一数 据，企业决策支持,用户信息标签化，支 持多场景业务应用 （如战略分析、产品 运营、用户服务等）,重新组织数据包括：基础工作：主数据建设，真实世界模型；扩展内容：数据仓库，数据标签和画像；,3.1、主数据建设 建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，提出了以下主数 据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：,3.2、真实世界模型,按照业务本来面目去组织、集成和交换数据 黑盒子分析方法 标的物和输入输出分析方法 流程、组件和资源标准化,平衡计分卡模型 全面数字化运营，运营

13、信息整合 监管质量和合规性 运营流程改善，提高服务,360视图模型 建立用户主数据，统一业务档案 构建用户画像，精准化服务,精益模型 管理层驱动的问题发现改善 精益团队驱动的流程改善 员工自我驱动的工作改善,真实世界 模型,准确,精益 模型,360视图 模型,平衡计分卡 模型,真实实时,全面,数据中心,“真实世界模型”建模方法论，主张从数据的角度 反映真实业务的本来面目，建立规范的建模体系；,3.3、数据仓库,数据仓库架构图：,Data Profiling 数据画像,字段画像,关联字段画像,DB表画像,DB关联表画像,值域分析 基数分析,类型检测 数据分布,波动监测 异常值监测,功能相关性分析

14、 主键唯一性分析,表基础分析 外键分析,血缘分析,3.4、数据标签和画像,4、数据治理持久化,有必要对数据治理工作持久化，一次治理，永久治理。,元数据和标准化治理维护更新 不断的更新元数据和标准化治理以反映 当前的诉求。,新型数据的自动化治理 超过原先治理范围的数据，需要经历暗数据发现 和分类，数据质量清洗和重新组织数据的全过程； 在生产过程中，实时识别这部分数据，将其引入 数据治理流程，使新类型在产生的初始环节就是 可识别，高质量，可理解和可利用的。,数据治理工作成果日常化 把数据治理工作利用自动化引擎实 时或者准实时自动化运行。,5、数据治理的延伸：数据管理,数据治理的结束是数据管理的开始

15、！,数据资产透视 反映数据资产状况，有哪些数据、 数据在哪、数据量级、数据业务逻 辑关系等；,智能搜索和发现 款速检索企业数据、内容语义理解、 用户兴趣识别，智能信息化过滤和 推荐等；,主数据管理 主数据集中管理，一体化的主数据 提取、审查、发布机制，数据质量 控制；,数据模型管理 规范定义、模型架构设计、数据组 织和存储方法、数据模型生命周期 管理；,数据中心管理 监控数据中心运营情况、数据标准 化建设、数据质量体系建设等；,元数据更新和维护 元数据完整性监测、元模型增加、 修改、删除、发布等；,数据生命周期管理 静态数据从创建、使用、备份、再 利用、销毁过程；动态数据溯源；,数据台帐和审计

16、 数据资产记录，数据使用审计等；,方案价值,A,B,C,D,E,方案 价值,数据全周期管理 从数据发现与分类、数据采集与清洗、数据管控、 数据中心建设、数据建模等层面实现对数据的全周 期管理；,适用场景广泛 方案中各产品模块可以独立解决数据管理不同场景 问题（如数据发现与分类场景、数据采集与清洗场 景、数据安全场景、数据标准建设场景等）； 也可以任意组合，快速适用企业不同的数据管理场 景；,灵活度高 各产品提供丰富对外接口，具有高度灵活性、扩展 性和集成能力； 采用全方位、严密的安全编码加强产品安全性，对 不安全的数据进行严格校验； 程序具备自检、故障诊断等功能。,扩大企业数据资产 智能发现梳

17、理企业数据资产； 建立统一的数据规范体系，提高数据质量；,减少企业数据安全风险,做好数据分级分类，识别敏感数据，对敏感数据进 行脱敏处理应用，减少企业数据安全风险；,项目具体需求和建设意义,梳理业务和系统，理清现有的、缺 失的数据，规划宁波舟山港数据体 系，探索实现大数据整合和利用的 方法和途径，指明未来大数据利用 的方向和目标,数据规划和治理,主数据建设,数据仓库,作为治理的基础，没有主数据，系 统之间还是一团乱麻，无法实现真 正的数据整合和有效利用,数据整合落地，未来大数据利用的 核心，数据交换、开发以及数据业 务化、产品化都从仓库来实现,作为数据仓库的应用，检验仓库的 可用性，同时可以给

18、危化品箱跟踪 提供数据，为在场箱的查询需求提 供支持,集装箱物流链,BI实践,工具、文档落地,解决日常繁复的报表工作，减轻数 据分析人员对IT部门的依赖，探索 数据展现、分析的新方式，为数据 需求者提供更简便、快速的数据展 现方法,所有工作的底层都是技术和工具， 通过项目中引入适合宁波舟山港使 用的、可以推广的工具。在项目中 完成设计、操作等文档落地，通过 参与开发、培训交流、文档等方式 实现工具和技术从乙方到甲方的知 识转移,主数据建设成果,建成标准唯一、数据唯一、数据准确 而且及时的主数据库,实现主数据的有效应用，对各新老系,统进行主数据交付，保证主数据消费 者的代码数据的规范性和一致性,

19、物流链 跟踪,海铁计划,主数据库 集装箱 人财物 散杂货,单一窗口,EDI,其他平台,水水中转,建设成果：数据中心及相关应用,数据中心 数据发布,CBOS4.0 散杂货,集装箱 物流链,危险品 安全管控,镇司BI,经营分析,集装箱指标,数据订阅、消费,数据订阅、消费,数据管理产品体系,数据中心和商务智能管理 数据质量管理元数据管理 数据安全管理数据开发,数据操作管理,主数据和参考数 据管理,文档和内容管理,数据管理 数据架构管理,源数据智能发现与分类能力 - 暗数据发现和分类产品,数据管控能力 - 数据管控平台,跨不同数据源实时数据采集能力 - 数据支撑平台,数据安全管理能力 - 大数据脱敏产

20、品,Part1：暗数据发现和分类：产品目标,缩短数据建设周期,扩大企业数据资产,降低数据利用成本,减少企业数据安全风险,Part1：暗数据发现和分类：产品功能,全面捕获数据,数据智能解析,建立数据标准,内置业务模型,构建数据地图,分析结果可视化,适配多种数据源 确定数据分布、规模、种类,自动识别数据格式 内容语义识别,数据质量分析 统一数据口径,覆盖政府、医疗、港口、金融等 行业 业务模型自学习,自动生成数据字典 自动识别数据关系,迅速了解大量数据 清晰展现数据背后的意义,自动化梳理业务逻辑关联性和数据关联性！,Part1：暗数据发现和分类：产品特点,分析结果可视化，快速了解数据 平台提供了丰

21、富的图表，通过可视化的方 式展示数据资产报告。 内置业务模型，适配多种行业 平台内置医疗、港口、金融、社保等行 业业务模型，通过增加语料完成业务模 型自学习。 全面捕获数据，适配多种数据源 包括关系型数据库、NOSQL、hadoop等,暗数据资产化，从数据认识数据 开发隐藏数据包含的价值，将最基础的数 据资产变成了优质的数字资产。 对外接口丰富，横向方案拓展 与其他系统进行交互，在数据脱敏、数据 分级分类、数仓建模、数据标准管理等方 面进行协作，更大的发挥数据的利用价值。 统一数据口径，建立数据标准 准确识别数据技术类型和业务类型，如： 身份证号码，姓名，地址，编号等，把 不可认知的数据变成有

22、价值的数据。,构建数据地图 图形化展示各类表格关联关系、数据关系,Part2：数据实时采集：数据支撑平台产品架构,数据支撑平台是一款由自主研发，集数据抽取、清洗、转化、装载于一体，通过对于企业业务系 统数据进行标准化，向数据仓库或大数据分析平台提供高质量数据的综合性平台。,Part2：数据支撑平台优势,03,01,05,02,04,06,图形化操作界面 鼠标拖曳、简单配置 内置常用流程模板,内置丰富转化组件,内置多达200个功能组件 包含转化、映射、统计、加密、检 验等,丰富数据源支持 文件、数据库、大数据、消息队列 支持HTTP、FTP、Web Service,非入侵式增量采集技术,采用增量

23、日志挖掘技术 对于源库无依赖，且资源占用少,内存流式处理技术 流水线处理机制 实时同步延时5s内,异常处理及自恢复,核心进程保障 错误数据自动处理,Part3：数据管控平台：概述,数据管控平台，提供统一数据标准，规范业 务数据定义、数据处理流程和数据共享标准。 实现主数据集中管理，一体化的主数据提取、 审查、发布机制，数据质量控制，提升内部管理 手段，实现科学、统一的主数据管理。,Part3：数据管控平台：功能架构,数据管控平台,主数据建设,工作流管理,任务管理,服务管理,待处理主数据,主数据建模,元数据管理,元数据采集,血缘分析,影响分析,数据地图,元数据溯源,系统管理,邮件短信配置,数据质

24、量报告,数据质量校验,Part4：流动数据安全：大数据脱敏,结构化数据,大数据应用平台,通用脱敏算法,行业脱敏算法,个性化脱敏算法,隐私数据保护,大数据分析应用,通用脱敏算法,行业脱敏算法,个性化脱敏算法,数据脱敏策略管理,敏感性评估知识库,数据敏感性评估,数据自动发现,大数据共享,非结构化数据,大数据支撑能力（HDFS、MapReduce、HBASE、Hive）,商业数据库 ORACLE,开源数据库MysqlPgsqlRedis,Part4：流动数据安全：大数据脱敏产品特点,安全性强,数据不落地 脱敏结果不可逆 脏数据处理机制 三权分立 系统日志审计 脱敏主机监控,01,大量脱敏算法,假值替换 随机生成 数据加密 特殊格式替换 数值加减 字符偏移 正则匹配 算法定制,03,丰富数据源,关系型数据库 NoSQL数据库 文本文件 远程文件 dump文件,04,结果可用,保持数据原始特征 保持数据业务规则 主外键一致性 业务关联一致性 多次脱敏结果一致,05,脱敏前后处理,脱敏前数据解密 脱敏后数据加密 脱敏前数据恢复 脱敏后数据远程存储 复杂数据处理,06,高效处理,基于内存流式处理 最大并发超百万条 系统并发数可配置 数据批次处理,02,THANK YOU !,