数据中台建设实施路径解决方案.pptx

《数据中台建设实施路径解决方案.pptx》由会员分享，可在线阅读，更多相关《数据中台建设实施路径解决方案.pptx（39页珍藏版）》请在悟道方案网上搜索。

1、数据中台建设实施路径解决方案,目录,CONTENTS,建设背景,建设方案,实施路径,数据中台简介,数据服务化,数据中台是培育业务的创新的封方法土壤，是利用数据促进业务创新的保障。,数据中台释放数据价值运营数据资产,数据智能化,通过大量智慧算法训练数据细胞，形成数据大脑，产生智慧的力量，预先洞察未来。,数据标准化,统一建模、统一视图、统一管理。避免重复抽取和维护带来的成本浪费。,数据资产化,数据不断的进行补充，数据模型不断地进化，通过对数据不断地完善，使其从最初的单一字段逐渐成长为最为宝贵的数据资产。,我们懂你所需！,实现价值,数据中台是分布式数据平台之上，根据不同客户的业务场景量身打造的一套智

2、能解决方案，基于“大数据”时代的数据价值的挖掘与运营及管理，赋能企业提升竞争力。,设计原则,高内聚低耦合,主要从数据业务特性和访问特性两个角度来考虑：将业务相近或相关的数据、粒度相同的数据设计为一个逻辑或物理模型；将高概率并发访问的数据放在一起，将低概率并发访问的数据分开存储。,高内聚低耦合,主要从数据业务特性和访问特性两个角度来考虑：将业务相近或相关的数据、粒度相同的数据设计为一个逻辑或物理模型；将高概率并发访问的数据放在一起，将低概率并发访问的数据分开存储。,数据可回滚,处理逻辑不变，在不同时间多次运行数据结果确定不变。,成本 与性能 平衡,适当的数据冗余换取查询和刷新性能，不宜过度冗余和

3、数据复制。,核心模型与扩展模型分离,建立核心模型与扩展模型体系，核心模型包括的字段支撑常用核心的业务，扩展模型包括的字段支持个性化或少量应用的需要，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁与可维护性。,开发过程规则,表命名需清晰一致，表名需易于消费者理解和使用，相同的字段含义在不同的表中字段命名必须相同，必须使用规范定义表中的名称。,数据中台设计原则,建设目标,目录,CONTENTS,建设背景,建设方案,实施路径,整体架构,以云计算、大数据、人工智能技术为基础平台，搭建全域、实时、智能的数据中台,行业定制数据应用,网站统计,移动统计,客流统计,DMP,经营分析,性能监控,经营分

4、析,智能报表,管理决策,网站统计,广告营销,接待大屏,媒体大屏,驾驶仓,日志分析,用户图像,搜索引擎,营销引擎,智能风控,舆情分析,分析报表,数据大屏,机器学习,人脸识别,图像识别,全域数据中心,萃取数据中心,统一ID,数据类目体系,数据标准体系,数据地图,数据血缘,资产分析,资产管理,资产运营,数据资产,数仓规则,指标规范,模型构建,数据同步,数据开发,数据研发,数据集成,实时计算,离线计算,机器学习,数据管理,任务调度,任务运维,智能数据中台,外部数据,爬虫数据,埋点数据,日志文件,业务数据库,ERM,CRM,数据源,建设内容-信息资源目录系统,元数据管理,指标管理,分类管理,标签管理,数

5、据目录梳理,摸清家底,一数一源,支持共享协同,数据编码,管理元数据,业务元数据,技术元数据,机构,事项,数据项,按主题,按业务领域,按性质,是否开放/共享,开放/共享条件,开放/共享程度,前段码,后段码,数据交换,API应用,资源图谱,数据画像,资源应用,信息资源目录系统-目录梳理,摸清了全市政务数据“家底”，绘制了全市政务数据地图。 统一的业务/技术术语描述 统一的管理/技术工作规范 全业务域的方式定位了全市政务数据资源,基础信息资源梳理,信息需求获取,现状信息环境调研,信息需求分析,顶层建模设计,原始资料 获取,信息需求 访谈,获取现有 系统资源,分析信息 环境,数据需求 分析,组织结构

6、分析,业务角色 分析,系统功能 建模,系统数据 建模,信息分类 编码,系统体系 建模,信息资源目录系统-成果物,信息资源目录系统-目录梳理,大数据中心-数据存储,建设内容-共享交换平台,大 数 据 运 维 监 控 体 系,大 数 据 标 准 规 范 体 系,BI,大数据挖掘、分析,数据模型,政府数据,数据抽取、网络爬取,数据 采集,数据 管理,数据 分析,数据 应用,元数据库,数据传输（MQ、ftp）,资源目录,爬虫,互联网数据,政务资源原始库,主数据库（基础库-人口、法人、宏观经济、gis、建筑物）,专题库（专题应用库）,标准库,数据库管理,数据质量管理,数据标准管理,数据资源监控,数据 服

7、务,数据 查询,全文 检索,数据 比对,数据 交换,目录 服务,数据服务,应用服务,GIS服务,视频 服务,用户 权限,舆情库,信息资源目录,BI工具,大数据平台,数据建模与可视化,企业服务总线,服务注册,服务授权,服务计量,服务监控,标准服务接口,共享交换,可视化,服务总线,智慧城 市管理,电子 政务,智慧 金融,智慧 交通,智慧 医疗,共享交换平台-逻辑结构,大数据中心-业务流程,共享交换平台-数据流图,共享交换平台-数据融合,数据库-建库原则, 原则： 一数一源 多元采集 入库比对 及时更新 权威发布, 导向： 面向领导决策 面向部门共享 面向社会开放 构造产业生态,大数据中心-数据库,

8、数据源,政务中心,工商,税务,公安,人社,数据 交换,数据交换总控,数据交换网关,异构数据桥接,数据清洗转换,共享数据目录,数据共享监控,数据池,基础信息库,人口库,法人库,空间地理信息库,专题信息库,房屋 库,城市部件库,信用库,宏观经济库,基础库-人口库,大数据中心-GIS库,大数据中心-标准规范,数据管理平台-总体功能,数据管理平台通过数据交换系统采集交换至中心的各类参建部门的数据，提供了统一的数据转换、清洗、比对和整合加工功能模块，形成了基础信息库、业务基础信息库、主题信息库以及元数据库。在共享数据服务的基础上实现了共享服务管理、统计分析以及信息直报等功能。,数据管理平,目标与功能,1

9、、全面了解系统数据的规范，反映大数据平台涉及的各源业务系统的数据质量； 2、不断完善和提高大数据平台和各源业务系统的数据质量，实现数据更大的价值。 监控整个系统运行情况 、对建立基础信息库及相关指标体系的有效管理； 实现中心的用户认证、信息授权、系统管理等。,数据管理平台-清洗、比对、入库,数据管理平台-数据清洗模块,数据管理平台-数据清洗模块,数据管理平台-脱敏脱密,指对某些敏感、保密信息通过脱敏脱密规则进行数据的变形，实现敏感隐私与保密数据的可靠保护。 分别从数据层脱敏脱密和应用层脱敏脱密，确保敏感与保密信息没有漏网之鱼。,模型管理,大数据中心-服务体系,大数据中心-平台应用,数据开放平台,核心目标是提供与民生相关的数据资源和服务，为基于开放数据的应用提供全方位的服务支撑，开放门户主要提供数据查询、下载、API开发服务等功能。,目录,CONTENTS,建设背景,建设方案,实施路径,技术路线-可信开发流程,技术路线-可信开发流程,大数据技术-产品可靠性,实施路径-保障措施,