数据治理平台整体解决方案V2.5.pptx

,,数据治理平台整体解决方案,,行业现象和需求,,,,,,,,问题,数据 质量,数据 应用,随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善， 数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。 数据分散，难以管理 没有一个稳定的，抗源变化的数据层,缺少统一的应用标准 重复投入 数据不一致 指标设计、口径不一致 指标难以共享 缺少统一的基础数据标准 重复投入 数据不一致、不准确 难以利用和管理 各系统数据难以共享,部分关键业务数据缺失 源系统校验关系缺失及业务人员随意操作,数据 架构,数据管理范围,,,数据治理 战略 组织和角色 政策和标准 项目和服务 问题 估值,数据架构管理 企业数据模型 价值链分析 相关的数据架构,数据质量管理 规范 分析 度量 改进,元数据管理 架构 整合 控制 交付,文档和内容管理 获取和储存 备份和恢复 内容管理 检索 保留,数据开发 分析 数据建模 数据库设计 实施,数据操作管理 获取 恢复 调优 保留 清除,数据安全管理 标准 分级 管理 授权 审计,参考数据和主数据管理 外部规范 内部规范 客户数据 产品数据 维度管理,数据中心和商务智能管理,架构 事实,培训和支持 监控和调优,,,,,,,,,,数据管理框架,,,,技术支撑,领域,机制,,从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。 战略,数据发现与分类 数据采集与清洗工具,数据管理系统,质量检查工具,数据安全管理 数据建模,数据模型,数据安全,主数据元数据 数据存储数据分布数据交换数据集成,数据质量数据服务,组织,制度,流程,角色,目标,规划,总体解决思路,重新组织数据 重新组织数据，让数据变得 更好用。,主数据建设 真实世界模型 数据仓库 数据标签和画像 ,,,,,盘点数据资产,让数据成为资产，了解企业有哪 些数据，在哪里，有多少量级。,业务流程梳理 数据流程梳理,数据识别与分类 ,,,,,,,让资产变得干净，少歧义,通过数据ETL，建立数据标准化。 数据采集与清洗,数据标准化 ,,,,,数据治理的延伸数据管理 数据治理的结束是数据管理的开始。,数据资产透视 智能搜索和发现 主数据管理 ,,,,,数据治理持久化 对数据治理工作持久化，一 次治理，永久治理。,数据治理工作日常化 元数据和标准化治理维护,更新 新类型数据的自动化治理,,,,,1、数据资产盘点暗数据发现和分类,在数据治理的实际操作中，只有先发现数据，对数据进行有效分类，才能避免一刀切的控制方式， 也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。 经过大量的案例实践，总结出了数据分级分类的方式,04,,,,,,,02 业务流程梳理,03 业务流程分解,梳理业务与业务之间的流程关系， 业务流程本身的输入输出上下文情 况； 补充每个业务流程涉及的属性；,识别各业务环节涉及的人、事、物， 输入、输出、组件和数据沉淀；输 出业务流程图； 根据梳理好的业务流程图，转换成,对应的数据流图；,01 业务系统调研 调研业务系统情况 建设目标、系统类型划分； 系统运行架构、硬件支撑情况； 使用者、用户来源和规模； 06 数据分级分类 根据行业标准和特点对于数据资产 进行分类； 将数据资产划分为公开、内部、敏 感等不同的敏感等级；,数据标准梳理,05 业务关系梳理 梳理业务与业务之间的关系 业务流程逻辑、业务交互数据； 业务权限分配、输入输出控制； 访问权限控制、操作流程规范； 风险规范要求等；,对于业务数据按照主体、参考、交易、 统计进行分类，并梳理出数据的技术 标准和业务标准； 补充和整理完整的数据字典；,2、让数据变得更干净，少歧义,如何让数据变得干净可用 主要从三个方向入手数据采集与清洗、对元数据进行管理、数据标准化治理,,,,,,,数据采集与清洗 数据同步 数据交换 数据整合,数据标准化治理 技术标准 数据标准 管理标准,元数据管理 理解元数据需求 开发和维护元数据标准 标准化元数据评估指标 创建和维护元数据 整合元数据 分发和交付元数据 查询、报告和分析元数据,,,,,,2.1、数据采集与清洗达到的效果,,,,,,数据同步 实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响 源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据 平台等）； 数据交换 不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规 则设计； 数据整合 将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数 据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,数据源,ETL转换,数据目的,数据迁移将数据进行转移 数据同步保持两个同构或者异构库的数据一 致 增强抽取对于发生改变的数据进行更新 列映射数据类型转换、列名变换、删除列、 增加列,数据库查找器过滤所需数据，并且根据规 则进行数据的替换 自定制转换调用java程序执行特殊的数据 处理 数据质量检查专业的数据质量分析、清洗、 验证和监督引擎,,,2.1、数据清洗、转换,2.2、元数据管理,元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人 员作出更有效的决策。 元数据管理方法如下,,,,,,,,,,,,,,,,,,,,,,理解元数据需求 确认企业元数据管理环境、范 围、优先级、元数据内部标准、 企业基于元数据的服务等；,标准化元数据评估指标 评估指标主要应采取定量指标，包括 元数据存储库的完整性、元数据的质量、 元数据的使用/引用、元数据血缘分析/ 影响分析等；,整合元数据 把来源库中抽取到的元数据，与相 关的业务元数据和技术元数据进行 整合，最终存储到元数据存储库中；,查询报告和分析元数据 指导如何使用数据资产，体现在商务智能 （报表和分析）、商业决策（操作型、运营 型、战略型）以及业务语义方面使用。 指导如何管理数据资产 具有前端应用程序，并支持查询和获取，满 足以上各类数据资产管理的需要；,,开发和维护元数据标准 根据行业或共识标准，以及国际标准， 再结合企业范围共识建立元数据标准；,创建和维护元数据 通过元数据创建和更新工具定期扫描 和更新存储库； 采用审计流程验证各项操作活动并报 告异常；,发布元数据 将元数据从存储库分发到最终用户和 其他需要使用元数据的应用或工具；,2.3、数据标准化治理,,,,,,,,,,技术标准,,,,,管理标准,,重点解决数据整合、交换接口标准 业务数据库建设规范、数据整合规范 平台接口规范、环境配置规范 数据接入实施规范、编码规范等标准规范, ,企业统一标准的数据规范标准 对企业现有业务系统进行梳理 按照数据标准规范的构成进行数据标准规范的制定 以此为依据进行规范化的升级、管理以及日后的变更 维护 主要包括数据元、数据元代码集和信息实体等,建立实用、高效、统一的管理体系,制定信息系统运行维护管理制度、安全保障制度、 数据安全管理规范、数据共享交换管理规范等管 理规范。,,,,数据标准,,数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一 的标准规范体系，实现信息高度共享、系统运行高度协调的保障。 标准规范包括技术标准、数据标准和管理制度三类,3、重新组织数据,,,,,主数据建设,,,,真实世界模型,,,数据仓库,,,数据标签和画像,建立企业数据资产统 一口径、统一标准,从实际出发，用 数据描述业务,资源整合、统一数 据，企业决策支持,用户信息标签化，支 持多场景业务应用 （如战略分析、产品 运营、用户服务等）,重新组织数据包括 基础工作主数据建设，真实世界模型； 扩展内容数据仓库，数据标签和画像；,,,,,,,,,3.1、主数据建设 建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，提出了以下主数 据建设中具体的 操作流程，以及在这些流程中所需要完成的具体工作内容,3.2、真实世界模型,,标的物和输入输出分析方法 流程、组件和资源标准化,,,,平衡计分卡模型 全面数字化运营，运营信息整合 监管质量和合规性 运营流程改善，提高服务,,,360视图模型 建立用户主数据，统一业务档案 构建用户画像，精准化服务,,,精益模型 管理层驱动的问题发现改善 精益团队驱动的流程改善 员工自我驱动的工作改善,,真实世界 模型,准确,精益 模型,360视图 模型,平衡计分卡 模型,真实实时,全面,数据中心,经过多年在数据领域的经验积累，创造性提出“真实世界模型”建模方法论，主张从数据的角度 反映真实业务的本来面目，建立规范的建模体系；,3.3、数据仓库,,数据仓库架构图,,,Data Profiling 数据画像,字段画像,关联字段画像,DB表画像,DB关联表画像,,,,,值域分析 基数分析,类型检测 数据分布,波动监测 异常值监测,功能相关性分析 主键唯一性分析,表基础分析 外键分析, 血缘分析,3.4、数据标签和画像,4、数据治理持久化,有必要对数据治理工作持久化，一次治理，永久治理。,,,,,,,元数据和标准化治理维护更新 不断的更新元数据和标准化治理以反映 当前的诉求。,新型数据的自动化治理 超过原先治理范围的数据，需要经历暗数据发现 和分类，数据质量清洗和重新组织数据的全过程； 在生产过程中，实时识别这部分数据，将其引入 数据治理流程，使新类型在产生的初始环节就是 可识别，高质量，可理解和可利用的。,数据治理工作成果日常化 把数据治理工作利用自动化引擎实 时或者准实时自动化运行。,5、数据治理的延伸数据管理,数据治理的结束是数据管理的开始,,,,,,,,,,,,,,,,,,,,,,,,,数据资产透视 反映数据资产状况，有哪些数据、 数据在哪、数据量级、数据业务逻 辑关系等；,智能搜索和发现 款速检索企业数据、内容语义理解、 用户兴趣识别，智能信息化过滤和 推荐等；,主数据管理 主数据集中管理，一体化的主数据 提取、审查、发布机制，数据质量 控制；,数据模型管理 规范定义、模型架构设计、数据组 织和存储方法、数据模型生命周期 管理；,数据中心管理 监控数据中心运营情况、数据标准 化建设、数据质量体系建设等；,元数据更新和维护 元数据完整性监测、元模型增加、 修改、删除、发布等；,数据生命周期管理 静态数据从创建、使用、备份、再 利用、销毁过程；动态数据溯源；,数据台帐和审计 数据资产记录，数据使用审计等；,项目具体需求和建设意义,,梳理业务和系统，理清现有的、缺 失的数据，规划宁波舟山港数据体 系，探索实现大数据整合和利用的 方法和途径，指明未来大数据利用 的方向和目标,,数据规划和治理,,,,主数据建设,,数据仓库,作为治理的基础，没有主数据，系 统之间还是一团乱麻，无法实现真 正的数据整合和有效利用,数据整合落地，未来大数据利用的 核心，数据交换、开发以及数据业 务化、产品化都从仓库来实现,,作为数据仓库的应用，检验仓库的 可用性，同时可以给危化品箱跟踪 提供数据，为在场箱的查询需求提 供支持,,集装箱物流链,,,,BI实践,,工具、文档落地,解决日常繁复的报表工作，减轻数 据分析人员对IT部门的依赖，探索 数据展现、分析的新方式，为数据 需求者提供更简便、快速的数据展 现方法,所有工作的底层都是技术和工具， 通过项目中引入适合宁波舟山港使 用的、可以推广的工具。在项目中 完成设计、操作等文档落地，通过 参与开发、培训交流、文档等方式 实现工具和技术从乙方到甲方的知 识转移,数据治理体系架构,,,,,源数据识别 敏感数据发现,数据发现与分类（暗数据发现和分类）,,,,数据业务模型 数据分级分类,,,,,数据管理（数据管控平台）,,,,任务管理,,主数据建设 工作流管理,,服务管理,,,待处理主数据 数据标准体系 文件,,,,元模型管理,,元数据管理 元数据采集,,影响分析,,版本管理,,数据血缘分析,,,,数据质量 数据质量控制,,数据质量报告,,,数据服务,,数据发布,,数据分享,,数据交换,,,,数据中心,,,面向流程主题建模,,真实世界模型,,,统计分析类主题建模,,平衡计分卡模型,,,绩效考核类主题建模,,精益模型,,,面向档案类主题建模,,360视图模型,,,,,,,数据采集与清洗（数据支撑平台）,,数据抽取,,,,数据重构、聚集,,数据采集和格式转化 流程监控,,数据清洗 实时挖掘,,,数据源,,,,,,,文档/日志,,,数据关系 源数据质量报告 物联网数据互联网数据 非结构化数据,,图片/影像,,业务系统数据MIS系统数据渠道系统数据第三方数据 结构化数据,,,数据应用,,决策支持,,时空数据可视化,,数据大屏,,智能数据应用,,其他行业应用,,,数据安全,,,,,数据脱敏,,脱敏算法管理灵活报表监管,,安全传输,,审批流程,,数据可用性处 理,,数据仿真,,,,敏感数据发现敏感策略配置脱敏任务配置,方案价值,,A,B,C,D,E,方案 价值,数据全周期管理 从数据发现与分类、数据采集与清洗、数据管控、 数据中心建设、数据建模等层面实现对数据的全周 期管理；,适用场景广泛 方案中各产品模块可以独立解决数据管理不同场景 问题（如数据发现与分类场景、数据采集与清洗场 景、数据安全场景、数据标准建设场景等）； 也可以任意组合，快速适用企业不同的数据管理场 景；,灵活度高 各产品提供丰富对外接口，具有高度灵活性、扩展 性和集成能力； 采用全方位、严密的安全编码加强产品安全性，对 不安全的数据进行严格校验； 程序具备自检、故障诊断等功能。,扩大企业数据资产 智能发现梳理企业数据资产； 建立统一的数据规范体系，提高数据质量；,减少企业数据安全风险,做好数据分级分类，识别敏感数据，对敏感数据进 行脱敏处理应用，减少企业数据安全风险；,THANK YOU ,