数据中心数据模型管控应用方案.pptx

《数据中心数据模型管控应用方案.pptx》由会员分享，可在线阅读，更多相关《数据中心数据模型管控应用方案.pptx（92页珍藏版）》请在悟道方案网上搜索。

1、,数据中心数据模型管控应用方案,目录,数据模型与数据管控,数据应用,随着互联网/移动互联网发展，全球进入大数据时代,全球信息化发展已步入大数据时代 150亿个设备连接到互联网 全球每秒钟发送 290万封电子邮件 每天有 2.88 万小时视频上传到Youtube Facebook 每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 2011年全球产生数据量1.8ZB，预计2020年将增长到35ZB 1 ZB = 1024 EB=1百万PB=10亿TB 大数据正迅速成为最值得关注的IT领域之一 2011年5月，EMC World 2011大会主题“云计算相遇大数据”，EMC

2、除了一直倡导的云计算外，还抛出“大数据“（BigData）概念 2011年6月底，IBM、麦肯锡等众多国外机构发布“大数据“相关研究报告，予以积极跟进 2011 年10 月，Gartner 认为2012 年十大战略技术将包括“大数据“ 2011 年11 月底，IDC 将“大数据“放入2012 年信息通信产业十大预测之一,IDC全球数据量预测（ 1ZB = 1百万PB = 10亿TB）,国内运营商唯一大数据云计算异构数据仓库案例 -全国集中化经分系统,3,Mechanical & Electrical,Hosted Application Software,Networking & Firewa

3、lling,Physical Servers,Virtualisation Layer,Operating Systems,Infrastructure Software,People,Client Device,Infrastructure,Platform,Software/ Application,Infrastructure-aaS,Platform-aaS*,Software aaS*,Service stack Components*,*as a Service,Service Layers Definition,Interconnection Network,物理X86集群,虚拟

4、资源池,ODS,DWD,MPP-DB,Hadoop,MPP-DB,Hadoop,入库数据清洗、稽核,移动互联网流量数据,数据传输管理,异构数据库加工过程调度,数据入库调度,支持海量数据转换,支持数据快速稽核、清洗,支持大数据汇总加工,云化ETL管理,云化元数据管理,DWA,Share-all,支持高并发查询,数据资源管理、服务接口管理,数据服务接口,数据服务管理,报表,查询,联机 分析,数据 挖掘,交互式数据探索,个性化应用定制,Detail,Aggregated,商业智能BI的总体演进路线,第二阶段：分析 为什么会发生?,动态查询逐渐增加,第四阶段：操作 正在发生什么?,持续数据更新及快速响

5、应查询,第一阶段：报表 发生了什么?,主要是批处理预定义查询,第三阶段：预测 将会发生什么?,分析预测挖掘模型,第五阶段：动态数据仓库 希望发生什么?,事件驱动,“十年树木，百年树人”,企业 管理,基础类,分析运营支撑,渠道管理分析专题,手机回家活动,营销服务一体化,竞争策反解决方案,营销跟踪评估专题,校园市场营销方案,电子渠道解决方案,实时营销解决方案,净增提升解决方案,数据业务渠道健康度,话务提升专题方案,精细化营销方案,全业务欠费分析,市场竞争解决方案,业务发展分析方案,收入分析解决方案,竞争分析解决方案,渠道分析解决方案,话务结构分析及资费优化探索,网格管理方案,网格管理优化方案,携号

6、专网解决方案,/互转分析,客户分析及运营解决方案,集团客户解决方案,长话客户分群解决方案,集团客户业务重点工作支撑解决方案,流失预警解决方案,客户健康度评估,客户生命周期管理,中高端客户分析解决方案,重入网解决方案,客户细分解决方案,客户分析解决方案,客户欠费解决方案,客户挖掘解决方案,宽带潜在客户挖掘解决方案,用户上网行为分析,机场活跃用户专题方案,协议到期客户解决方案,服务质量解决方案,国际业务解决方案,客户关怀解决方案,不满意客户解决方案,中高端客户异动解决方案,核心客户保有解决方案,产品分析及运营解决方案,统一资费管理解决方案,产品评估解决方案,产品360度视图解决方案,客户响应解决方

7、案,用户质量分析,用户结构分析,增值业务解决方案,组合产品专题解决方案,IMEI应用解决方案,网络综合指标分析,定制终端销售解决方案,码号资源管理专题解决方案,机卡分离监控,ESS/BSS终端补贴比对分析,产品定价与推演,全国各省份违规套餐分析,代理商发展质量解决方案,合作伙伴经分系统解决方案,SP监控与稽核解决方案,渠道专题分析解决方案,员工关系管理解决发干,决策支持解决方案,领导视窗解决方案,收入列帐与分解解决方案,欠费监控分析专题,竞争信息管理平台解决方案,客服人员效率分析解决方案,管理信息台解决方案,收入风险监控解决方案,运营监控解决方案,业务监控解决方案,经营盘点解决方案,全网数据分

8、析解决方案,收入预测解决方案,数据质量管理解决方案,元数据管理解决方案,知识库管理解决方案,应用生命周期解决方案,全网数据分析解决方案,数据管理解决方案,基础业务元数据解决方案,质量管理解决方案,职能KPI解决方案,自助报表解决方案,接口智能管理解决方案,智能业务管理系统方案,数据质量管理优化方案,信息导航解决方案,自助提数解决方案,海量数据仓库优化方案,业务数据集市解决方案,地市数据集市解决方案,集团客户集市解决方案,数据业务深度运营方案,业务稽核平台解决方案,市场营销管理,客户管理,产品管理,资源管理,合作伙伴管理,群发垃圾短信监控,随意打营销方案,用户极低使用量用户监控方案,有效发展率分

9、析,上网卡出账率下降原因分析,业务年度盘点,手机业务账务优惠分析,C套餐及自助机专项分析,C套餐发展情况分析,手机业务合约计划分析,无线上网卡分析,无线上网卡套餐统一资费监控分析,业务转型分析,业务特殊用户重点省分关注分析,校园用户分析,客户营销挖掘与服务,ESS/BSS发展比对分析,终端补贴分析,网间结算监控与稽核方案,过网活跃市场份额分析,欠费分析,缴费分析,业务评价体系,异网客户接触分析,用户感知分析,收入波动分析,移动互联网数据应用解决方案,省份发展热点省分关注,渠道健康度分析,渠道违规操作管理,社会渠道评估及监控解决方案,社会渠道分层分级解决方案,数据一致性管控,智能云管家,网间结算

10、分析,掌上经分,BI应用平台,流量经营解决方案,结算数据稽核,基于云计算资费预演,终端运营分析平台,全触点营销平台,四网协同解决方案,财务分析方案,实收稽核方案,网内结算稽核监控,数据模型与数据管控解决方案,精准化PUSH支撑平台,营业厅前台引导推荐平台,营业厅自助安装平台,手机终端移动推荐平台,演示大手机系统,主叫话务量提升解决方案,终端精准营销解决方案,WLAN分流及站点效能评估方案,新入网客户分析解决方案,异网客户迎回方案,客户-业务-渠道匹配解决方案,基于BI的CRM应用针对性营销系统,6,提供四大营销业务体系应用,针对性营销系统已经在联通，电信合计11省完成本地化部署,客户维系挽留系

11、统,7,5大角色工作看板 按照客户维挽工作涉及的角色构建区级管理员、市级管理员维系团队组长、客户经理、地面经理5大角色看板,丰富的功能支撑 客户日常关怀 客户预警管理 业务推荐服务 流失挽留服务 欠费催停管理 客户理财服务,完善的线上维系执行能力 维系客户分配 自动分配规则配置 维系执行多渠道选择（外呼、短信、彩信、上门回访、创建工单） 维系工单自动派发,客户维系挽留系统已经在联通，电信合计13省完成本地化部署,打造市场运营视窗，做到“可视、可控、可分析、可溯源”，构建横向涵盖市场、政企、数据业务、客服、运营支持五大线条、纵向涵盖“省市县区”的全方位运营监控体系，另外，辅以一支专家队伍、一套保

12、障机制，形成省市协同的市场运营管理模式，实现运营情况分析诊断的专业化、智能化，为运营决策提供支持，提升公司全业务市场运营能力,运营监控&决策支持中心,横向：建立了科学、客观、准确的市场指标监控体系，全面覆盖了市场、政企等五大业务线条 纵向：将指标纵向分解到省公司、地市公司、分公司、微区域，形成从全局到细节的四层体系,系统功能市场监控,趋势预警：累计日均计费时长同比增长率连续6天出现红色预警,排名预警：某两个公司累计日均计费时长同比增长率出现负增长，排名全省最后,地市预警：某地市当日出现黑色预警,重点指标每日监控,市场监控,分析诊断,决策支持,效果跟踪,指标预警：累计新增通信客户占有率出现红色预

13、警,市场监控：利用系统预警，趋势分析、地市排名等监控手段，对收入、竞争、客户、业务量、G3 业务等5大类共40个重要指标进行监控，快速了解市场的异动情况，并触发市场应对管理流程。,系统功能分析诊断,市场监控,分析诊断,决策支持,效果跟踪,1、某地市发展潜力总体无明显问题,2、进一步查看，发现客户发展潜力存在问题,3、再深入分析，发现新增客户存活率差是其短板,4、通过全省对比分析，该市公司新增客户存活率指标在全省排名靠后,分析诊断-地市评估：从市场运营健康度出发，通过构建科学的评估体系，从盈利能力、发展潜力、竞争评估等三方面（32个指标），多维度层层分析评估地市市场发展的健康状况，提醒地市改进市

14、场发展中的短板。,系统功能专题分析,分析诊断-专题分析：通过归纳、总结对业务问题常见的分析思路，形成专题分析模板，以脑图和固化分析模板的方式对重点核心指标开展多维度、多层次的分析，迅速定位关键影响因素，方便制定针对性策略。已上线的专题分析包括：新增市场分析、TD客户发展分析、V网客户分析等多个专题分析。,市场监控,分析诊断,决策反馈,效果跟踪,从新增市场份额、放号效率、新增客户质量三个方面评估新增市场健康度,某市公司新增市场健康度排名靠后,该市公司新增客户质量较差,该市公司放号效率极低，净增出现负增长,系统功能决策支持,决策支持：汇集业务部门或地市分公司对预警的反馈信息，包括竞争情报和应对措施

15、。通过省市联动，管理层可以迅速了解一线市场信息，提升对市场的把控能力。,市场监控,分析诊断,决策支持,效果跟踪,2、收集竞争情报,1、累计新增通信客户占有率出现预警,3、汇集应对措施,13,效果跟踪：对业务部门或地市分公司发起的营销活动进行效果评估，如流失率降低、客户价值提升、中高端捆绑率提升、资源使用效率等，为资源配置和营销策略调整提供决策依据。,市场监控,分析诊断,决策支持,效果跟踪,3、中高端客捆绑率得到大幅提升,1、监控发现的中高端客户的捆绑率较低。,2、5月份开始市公司实施一系列的中高端客户的捆绑后措施,系统功能效果跟踪,多系统间数据一致性管控,14,通过稽核规则、修复规则配置，实现

16、新的业务场景的稽核能力。,多维度的分析评估，及时掌握数据质量情况和故障原因。,支持数据库、文件等多种接口方式，满足不同异构系统的数据接入。,针对不同的管控场景，可配置不同的稽核修复流程，全程监控稽核过程。,数据分析平台收入数据稽核系统,15,收入数据稽核系统已经在联通，电信合计17省完成本地化部署,基于云计算的资费预演,数据分析平台掌上经营分析系统,17,已经完全覆盖ios（iPhone 、iPad ）、Android三大主流平台 以全新设计理念和优秀的客户体验，帮助客户分秒间随时随地处理信息，做出正确决策 掌上经分系统已经在联通，电信，移动合计27省完成本地化部署,主数据管理,主数据库,ET

17、L,数据源稽核,数据预处理,数据导入,格式转换,M域,HR,财务,MIS,接口设计,编码映射,数据入库,时间窗调度,主数据接入,主数据存储,接口层,整合层,汇总层,数据共享,核心实体,公共视图,公共标准立方体,公共指标库,主数据库管理,异常管理,版本管理,数据共享,整合层,汇总层,接口层,B域,M域,O域,B域,M域,O域,信息交互平台,数据服务接口,主数据管理及应用,18,综合管理,数据质量管理,元数据管理,数据服务管理,系统管理,B域/O域,统一调度,统一模型,统一标准,2,3,4,5,6,7,9,10,11,12,8,统一编码,数据合并,数据容错,1,19,业务咨询服务领域主要方案（1/

18、2）,20,业务咨询服务领域主要方案（2/2）,目录,数据模型与数据管控,公司简介,数据应用,数据模型,数据管控,数据架构,22,统一数据架构是基于联通全企业的数据规划，本期计划首先实现B域和M域的数据模型整合，并在后期考虑O域数据的整合,构建企业级的统一数据仓库。,数据架构说明,23,24,数据各层变化及状态,主题域设计原则: 自底而上进行针对数据进行主题域划分，同时考虑应用的需求。 规范性设计原则：统一模型命名规范、数据组织规范（包括时间粒度、数据粒度）。 完整性设计原则：考虑业务覆盖范围的完整性、模型设计的完整性。 稳定性设计原则：将实体基本属性与实体业务分类属性分离，在实体分类属性发生

19、变化时，只需要增加实体分类关系数据记录即可，对模型本身不产生影响。例如以前的客户分类是个人/家庭/集团，现在新的分类是大客户/公众客户/商务客户 前瞻性设计原则：同时采用自底向上和自顶向下的方式设计模型，其中自顶向下主要基于业务需求进行模型设计，完全覆盖到所有需求，自底向上主要基于业务逻辑而非业务需求进行模型设计，保证在有新需求时，底层模型能够对其进行支撑。 扩展性设计原则：实体扩展性原则，模型设计中实体内只保留最细粒度的基本维，粗粒度或上层的属性通过属 性依赖关系实体来表现，这样在扩充属性或者扩充实体关系时，只增加表现属性依赖关系的实体即可。 通常情况下，数据仓库的实体扩展，不会影响核心实体

20、和核心实体关系。,模型设计原则,25,BI-ODS介绍,BI-ODS（BI-Operational Data Store） 是数据仓库的一个组成部分，主要是作为数据仓库数据处理的过渡，以降低直接进行数据处理的复杂度。是一个面向数据主题的、集成的、可变的、当前的细节数据集合层。 BI-ODS层是数仓库的细节数据层，是对Billing、CRM等生产业务系统数据进行沉淀，因此本层的数据模型原则上延用Billing、CRM生产模型，包括主题域和子域划分方式。对于生产型模型缺失的情况，在本层并不补充，待以后生产型系统补充完善后，再在本层同步补充。 BI-ODS域,实现数据从纵向到ODS的切换 业务分类编

21、码，需要在BI_ODS进行统一，形成统一的、标准的业务分类、编码。 实现生产模型统一编码与数据仓库编码的统一映射工作。 实现总部MBO数据预处理： 对数据进行预处理，降低直接进行数据处理的复杂度，支撑DWD、DWA数据生成。,省分ODS(31),总部ODS,STAGE（31省）,模型统一,27,BI_ODS,业务统一,业务分类统一 (编码统一),进行统一格式的数据格转，数据模型统一,统一97个ODS编码，其余保留省分原始编码，与dw有16个相同,进行部分业务统一，比如：产品订购模型、用户子属性。,模型统一,业务统一,编码统一,1-1,部分31-1,部分31-1,转换 工作量,总部（B/M）原型

22、,总部（O）原型,STAGE（总部）,客户域,产品域,市场营销域,事件域,业务使用域,帐务域,合作伙伴域,资源域,公共域,企业管理域,BI-ODS层定位及模型设计目标,ODS模型树形列表展示,28,ODS模型树形列表,BI_ODS,客户域,产品域,市场营销域,事件域,业务使用域,帐务域,合作伙伴域,资源域,公共域,企业管理域,客户域,产品域,市场营销域,事件域,业务使用域,帐务域,合作伙伴域,资源域,公共域,企业管理域,细节数据层 （DWD）,DWD是数据仓库的细节数据层，并对明细数据进行长期沉淀，为企业各种分析类应用提供细节性数据支持，是企业数据仓库的核心，同时为未来需求的扩展提供历史数据支

23、持。,模型优化整合：在DWD1.0的基础上，对横向和纵向的数据模型整合（例如：BSS和ESS的订单），实现模型的优化，将分散在各个实体的口径，集中到一点管理。 模型全量扩充：依据BI_ODS系统的原型数据扩充模型实体的属性，通过扩大的横纵向采集范围扩充新的模型实体。 全域编码统一：基于主数据、MBO域公用编码等，在DWD层建立起三域共用的编码标准。,数据 仓库 （DW）,DWD层定位及模型设计目标,DWD设计思路,30,原则1：业务过程中的核心事件实体及相关维度，长期沉淀，如：通话详单、缴费等 原则2：业务过程中的核心业务实体及相关维度，长期沉淀，如：客户、产品、订购实例、渠道等 原则3：业务

24、过程中产生的可度量实体及相关维度，长期沉淀，如：帐单、佣金等。 原则4：面向处理流程的信息，不需要沉淀，如：出帐规则实体。 原则5：控制流程类的信息，不需要沉淀，如：审批过程类信息。,DWD层的模型设计，需要围绕企业核心业务过程展开，关注业务过程中的核心业务事件和业务实体，以企业级数据模型规范为指导，其数据域的划分遵从企业级数据模型域的划分。,实体选取原则,原则1：删除与规则相关的字段。如：删除 订购实例信用额度 实体 中 信用评估规则标识 字段。 原则2：增加和分析相关的属性或集团统一编码。如：用户资料，增加用户归属片区等属性，渠道资料，增加集团统一渠道标识。 原则3：增加时间戳或时间拉链字

25、段：针对不同类型数据，考虑时间处理方式。对于增量数据，直接增加时间戳，如：通话详单类数据。对于全量数据，即可采用时间拉链（生效时间和失效时间），也可时间戳方式，或者混合方式如：用户资料类数据。,字段选取原则,DWD模型实施,31,对逻辑模型采取物理化过程、对不同接口数据采取不同的数据映射，实现模型落地,32,历史数据存储方案,33,DWD模型树形列表展示,34,客户域,产品域,市场营销域,事件域,业务使用域,帐务域,合作伙伴域,资源域,公共域,企业管理域,细节数据层 （DWD）,DWA围绕核心业务事件，保留核心业务实体ID级的轻度汇总，扩展核心业务实体（客户、产品、订购实例、渠道等）的衍生信息

26、，与DWD层共同形成统一数据视图。 建立维度事实模型：在DW1.0的基础上建立标准的维度事实模型，强调时间,地域、参与人、服务、资源、组织等主要维度的设计。 实现MBO实体整合：逐步实现MBO三域实体的模型整合（在实体层面合并）。,汇总衍生层 （DWA）,汇总/衍生数据,客户,产品,账务,资源,业务使用,合作伙伴,市场营销,客服,B域,O域,M域,数据域整合（实体层面）,一致性维度,时间,地域,渠道,产品,用户,资源,客户,合作伙伴,一致性事实,账务及结算,计费,积分, ,立方体指标层（CUBE）,DWA层定位及模型设计目标,35,DWA设计思路,模型满足度及差异分析,扩充DWA 维度事实建模

27、,满足CUBE需求的DWA,CUBE需求,DWA 核心需求,主题域实体整合需求,应用需求,统一维度需求,扩展事实表需求,整合MBO域 维度事实表模型,统一维度 元数据模型,以CUBE、DM和应用需求为基础； 以统一的维度为基础，建立跨域生产数据的横向联系，实现MBO域生产数据整合。,DWA汇总思路,DWA衍生思路,原则1：轻度汇总围绕DWD层核心业务事件展开，保留到核心业务实体ID级、数据粒度由细变粗、选取常用维度、保留事件的业务度量，进行数据汇总和沉淀。轻度汇总需要基于核心实体ID，不可丢弃实体ID进行深度汇总； 原则2：轻度汇总只能是对事实表中的可加性度量（数值型度量）进行汇总 原则3：轻

28、度汇总须保留分析相关的重要维度信息； 原则4：采用多维模型设计思路，通过对维度的限制和聚合，设计汇总数据模型，如基于数字列进行简单的聚集处理。例：缴费金额、通话时长等； 原则5：可基于实体ID的信息汇总处理，如缴费次数、短信次数等；,原则1：围绕DWD层核心业务实体（如个人客户、集团客户、产品、订购实例、产品、渠道等）进行信息衍生，将核心业务实体参与事件的信息属性化，由原来站在事件角度看问题转换为站在核心业务实体角度看问题，业务衍生主要基于核心业务实体的基本信息进行扩展所得； 原则2：基于多维模型设计思路，对维度的层次可以进行衍生；例：用户信息中衍生发展渠道类型，标准自有厅、沃专营店等。 原则

29、3：可以基于实体ID依照基本业务规则进行扩展所产生的衍生信息，比如在网时长； 原则4：可以对核心业务实体进行汇总后，横向扩展为宽表组织方式，以汇总值作为衍生信息； 原则5：可以基于数据挖掘技术对核心业务实体进行的信息派生；,DWA模型介绍设计思路,DWA模型介绍 DWA汇总设计步骤,37,选取DWD层中需要进行汇总处理的核心业务事件。,根据选取的核心业务事件，确定事件中核心的业务实体ID,选取最细粒度的核心实体ID作为汇总最小数据粒度。,梳理核心业务实体ID和分析相关的重要维度的可聚集的维度层次。,确定事实表中的可加性度量和基于实体信息的度量，作为汇总的聚集度量。,考虑查询性能和ETL加工性能

30、，适量增加汇总维度的冗余。,通过对维度的限制和聚合，设计汇总数据模型,38,DWA模型介绍 DWA汇总场景,1、业务事件选取,2、数据粒度确定,3、维度层次梳理,4、聚集度量选取,5、冗余设计考虑,6、汇总模型设计,DWD,DWA,39,应用场景DWA重要汇总实体模型设计,汇总信息- 业务使用域逻辑模型- 语音业务,详单常用维度,特征分析维度,基本指标,存储周期以及分区设计,DWA模型介绍 DWA衍生设计步骤,40,分析核心业务实体相关应用需求，确定围绕核心业务实体衍生的规则。第一，是否是对核心业务实体参与事件属性化衍生；第二,是否是按照维度层次进行衍生；第三，是否是对汇总数据横向扩展进行衍生

31、；第四，是否通过数据模型计算的衍生。,选取围绕DWD层核心业务实体，作为信息衍生的基础。,考虑查询性能和ETL加工性能，适量增加衍生维度的冗余。,通过对业务衍生规则梳理，设计衍生数据模型。,41,DWA模型介绍 DWA衍生场景,1、业务实体选取,2、衍生规则确定,3、冗余设计考虑,4、衍生模型设计,对核心业务实体参与事件属性化衍生,应用场景DWA重要衍生实体模型设计,42,衍生信息-客户衍生逻辑模型_订购实例_基本衍生,客户类信息,用户类信息,计算信息,统计常用标识,统计常用标识,协议信息,集团信息,43,DWA模型完成情况,44,汇总衍生层 （DWA）,汇总/衍生数据,数据 仓库 （DW）,

32、立方体 指标层 （APP）,CUBE数据,指标数据,以通用事实作为聚合的主体； 维度聚合覆盖常用需求； 事实维度的标准（业务定义、取值、名称）与DWA层保持一致； 每个核心的CUBE的维度（粒度）保持一致，以便进行相互关联；,按公共维度将指标拆分后进行建模； 对指标进行编号（条码化）；,APP包括两部分，一部分是在共性业务视图基础上，基于时间、地域、产品、渠道、终端等公用维度的关于用户发展、使用、收入的标准立方体信息，比如时间、地域维度下的用户使用信息；另一部分是基于公共维度的在标准立方体基础上形成的、面向全集团各个层级的公共应用指标体系。 新建CUBE，满足固定需求和少量临时需求：按照至上而

33、下设计思想，总结现有需求及应用规划，以维度建模方法进行立方体模型设计，形成对应用的快速支撑； 支撑现有指标，前瞻未来指标：实现对现有指标体系以及现有指标体系以外的常用指标数据管理处正在制定的新指标体系。,APP层定位及模型设计目标,订单类,收入类,服务类,成本类,竞争类,增值类,客服类,订单类,收入类,服务类,成本类,竞争类,增值类,客服类,客户,产品,账务,资源,业务使用,合作伙伴,市场营销,客服,45,APP层设计思路,模型满足度及差异分析,新建APP 维度事实建模,满足需求的APP,应用需求,临时需求预测,APP分类,面向基础共享APP,面向通用型应用APP,面向部门级应用APP,面向省

34、分个性化应用APP,APP、公共指标库需求,应用集市需求,部门集市需求,省分集市需求,逻辑模型 物理模型,APP模型以需求为导向，以支撑已知的应用需求为基础，同时考虑可预测的临时需求的支撑； APP模型以维度事实模型为设计标准； 考虑面向不同层级需求的公共APP和指标库、应用集市、部门集市和省分集市的建设。,数据模型整合工作思路,46,数据整合包括对31个省分数据整合、横向系统数据整合以及与M域的数据整合，未来可能还包括与O域的数据整合。而数据的整合是基于数据模型整合设计基础之上的。,数据模型标准,分级整合原则,遵循数据模型规范，制定统一的整合原则，保证模型的完整性和前瞻性。,采取分级分层整合

35、的原则，整合的粒度由细到粗，尽量在最新粒度整合，保证模型的稳定性。,数据模型整合遵循规范和整合原则,47,遵循模型设计基本原则，重点考虑模型的完整性、前瞻性和稳定性。 遵循模型DWD/DWA层分层原则、北戴河模型10大主题域的划分原则。 遵循模型统一命名规范、脚本规范、注释规范、维护规范。,遵循规范,业务整合原则 非二义性原则：对不同业务术语进行甄别，并进行解释定义。比如客户，账户。 实体整合原则 同构性原则：将相同业务、不同结构的实体，通过数据转换和实体重构，构造一个新的实体，解决不同系统、不同域异构数据的整合。（如：31省分B域数据整合） 数据整合原则 唯一性原则：将来源于各系统的数据进行

36、整合和清洗，建立统一数据，确保数据的唯一性； 比如统一客户信息、统一渠道ID。 完整性原则：将分散各系统的同一业务数据，整合成完整的一套数据，保证同一业务层面的数据完整性。如ESS系统工单和BSS系统工单信息整合。 一致性原则：对于来源于不同系统的数据，确定统一指标口径，确保数据的一致性和准确性 。 参照性原则：由于数据在不同系统中功能和作用不同，因此保存的数据范围不相同，对数据做参照映射。比如：帐务费用项,整合原则,数据模型整合整合方法：分级整合,48,自下而上，分成四级，整合粒度由细到粗方式：,B域/M域整合点LEVEL0,49,遵循北戴河模型分域原则不变。从概念上B域、M域能从财务、资源

37、、人员、公共角度进行整合,B/M数据整合LEVEL0,50,B域/M域整合点LEVEL1,B/M数据整合LEVEL1,B域/M域整合点梳理,51,52,B域/M域整合点业务整合方式,1、B域的客户与M域的客户（应收客户）区别： B域客户定义：客户是指已经购买或使用中国联通及其业务合作伙伴所提供的产品的个人或法人团体，客户还可以是可能购买中国联通产品的个人或法人团体。客户中主要记录客户建档时间、客户类型、客户发展渠道等基本属性。 M域客户定义：应收客户，ERP应收核算的收款渠道，如营业厅,2、B域帐户域与M域账户的区别： B域帐户定义：帐户是客户使用产品的付费实体。 M域账户定义：是对会计要素的

38、具体内容进行分类核算的项目（Chart Of Account，COA）。 会计科目按其反映的经济内容不同，可分为：资产类科目、负债类科目、所有者权益类科目、成本类科目、损益类科目。跨级科目包含多个段。,业务整合,从业务角度对整合内容定义和区分。,实体整合：将相同业务、不同结构的实体，通过数据转换和实体重构，构造一个新的实体，解决不同系统、不同域异构数据的整合。,B域/M域整合点实体整合方式,53,实体重构,同粒度数据组合新实体，通过同一层次的维度把多个系统或多个域数据组合到一个新实体表中，比如：31省客户实体等。不同粒度数据组合新实体，同构创建新的实体进行整合。比如:编码粒度不一致的编码整合。

39、,数据转换,通过转换整合到同一个实体中。从数据内容看，数据完整，数据唯一不重复，数据准确，确保统指标口径一；从数据格式看，数据结构相同，业务定义相同,54,B域/M域整合点数据整合方式,同级整合,上级整合,不同级整合,同级整合：分析BM域整合内容的具体业务含义，如果是业务实体，进行数据转换整合，如果是编码，统一做编码映射，如果含义不同，增加相应的映射和拆分，保障整合统一。 比如：客户段整合。,上级整合：分析整合点的上级分类情况，确认上级分类作为业务整合点，实施上级整合映射。 比如：部门整合,跨级整合：分析BM域不同整合内容的粒度，按照细粒度往粗粒度整合原则，在统一粒度统一进行关系映射。 比如：

40、费用项,统一整合：通过集中系统进行统一整合，从集中系统统一中获取全国唯一编码数据。 比如：渠道编码。,1、分析整合点：选择数据整合点，分析整合相关原始数据。 2、确定整合方式：根据整合内容和实体，选择不同的整合方法：同级整合、上级整合、跨级整合、统一整合 3、整合模型设计：根据整合的方式，考虑模型设计的可扩展性和前瞻性，进行整合模型设计。 可扩展性：当不同系统的内容进行整合，通过增加实体等方式，而不需要调整原来的整合内容。 前瞻性：当整合内容发生变化的时候，我们只需要做相应的映射。 4、整合映射：在模型设计的基础上，进行数据映射，完成数据整合工作。,数据整合流程,55,编码整合-案例,56,编

41、码整合输出文档,57,数据模型变更管理流程,58,模型变更申请：首先数据模型设计人员根据需要提交模型变更申请，并上报模型变更方案； 模型变更评审：模型管理组接收到变更申请后，组织相关人员对模型变更进行评审，评审不通过退回模型设计人员进行修改；评审通过后交由相关责任人员进行模型文档的变更或者进行模型实施； 模型实施及测试：如果物理模型需要变更，在评审通过后由模型实施人员进行模型的变更实施及相关程序的修改工作，然后交由测试人员完成变更测试工作； 模型文档变更：模型设计人员完成模型相关文档的变更； 模型发布：模型设计人员发布变更后的模型及文档； 模型归档：模型每次进行变更后文档管理人员应及时进行归档

42、。,59,数据模型实施管控,管控目标：模型实施应与设计模型保持一致,管控流程： 实施流程：在接收到模型设计的输出成果后，进行模型实施，如发现设计模型存在不合理之处，首先按照模型变更管理流程申请对模型进行修订，待模型修订发布后实施。见流程图：实施流程 比对流程：定期对比设计模型与实施模型的差异，分析模型差异原因，对实施模型进行整改。见流程图：比对流程,实施流程,比对流程,数据模型变更模板,60,东方国信数据模型开发过程,Entry,7个过程 过程可定义 迭代开发 人员专业分工 数据架构师 业务咨询专家 IT咨询专家 数据建模人员 模型实施人员,模型交付物,62,63,数据模型工作情况,横向增补模

43、型延时原因： 此部分工作涉及到8个总部横向系统，目前横向系统接口制定完成的有：总部ESS系统和总部结算系统； 正在制定的为总部PRM系统接口、总部VAC系统接口和总部经分系统接口； 其他三个横向接口尚未开展,模型整合工作延时原因： 1、横向增补未完全完成 2、M域模型尚未通过评审,64,数据模型工作计划,目录,数据模型与数据管控,公司简介,数据应用,数据模型,数据管控,66,数据模型与标准管控,元数据管理,数据质量 管控,生命周期 管控,数据安全 管控,统一数据管控,统一管控的基础,平台是技术支撑,流程是业务规则,标准是实施规范,组织是管控保障,统一数据管控实施方案,统一数据管控是在各级管理人

44、员的协同努力下，通过统一管控平台，在统一数据管控流程和全过程标准的指导下，将大数据支撑平台的数据管控形成一体化、自动化、精细化的闭环管控能力。,统一数据管控组织架构,高层领导,数据管控领导小组,数据管控指导委员会,需求主管,架构主管,数据主管,业务部门,需求接口人,业务人员,纵向系统,数据管理员,系统建设人员,横向系统,数据管理员,系统建设人员,总部经分系统,数据管理负责人,需求管理人员,应用开发人员,运行维护人员,数据开发人员,来源系统,决策层,战术层,操作层,组织里的执行者 可以是一个单独的团队（部门内） 可以包涵很多团队(跨部门),组织里的管理者 协调，监督，实施，促进 定义/管理政策,

45、组织里的领导者 支持者，指导，协作，批准，解决 资金,DW,统一标准-实现全过程标准化,九个统一标准,BI-ODS,总部MBO,总部ODS,CRM/BILIING,3G ESS,数据源, , ,DWD,DWA,立方体,指标库,FTP,STAGE,ETL,数据服务,数据仓库,数据服务,数据采集,数据质量,元数据,数据安全,数据生命周期,ETL,ETL,ETL,ETL,ETL,绩效评价 经营监控 问题发现 分析服务 商机挖掘,数据封装,应用,1,2,3,4,5,6,7,8,9,统一标准介绍,梳理固化：从数据中心的日常工作出发，梳理固化系统内的9大业务处理流程。 提高效率：分析业务流程之间的有机联系

46、，以便平衡资源矛盾，提高数据平台的整体运行效率，加快对业务需求的响应速度和问题的处理效率。,统一数据管控流程,71,显现化,ETL 流程调度 异构数据源集中 分布式处理 过程监控,业务系统,数据采集,数据仓库,应用,采集流程,质量校验,数据发布,数据源,规范/规则/实体,加工/调度,实体属性,数据加密,装载/发布,数据稽核,数据存储,数据产生,ETL,网络信息,ETL,ETL,数据加密,数据交互,硬件设备,角色分权,数据存储,指标体系,元数据 管理,(安全规则 稽核规则 生命周期参数 变更交互),(指标解释 实体信息 血缘分析 影响分析),以ETL和异构数据源的集成为导向 实现仓库各层之间的流

47、程(任务)调度与配置； 实现平台各功能之间的信息传输与共享； 以元数据作为仓库与平台的桥梁 实现仓库及应用信息的监控与维护； 促进平台内数据治理、数据安全、数据生命周期等功能的实时交互；,数据管控平台,数据安全管理 过程加密 敏感数据管理 鉴权 认证,元数据管理 指标解释 实体信息 血缘分析 影响分析 硬件信息,数据治理 规则知识库 问题处理流程 稽核任务管理,生命周期管理 生成 使用 归档 销毁,平台化 - 数据管控平台架构,平台化 - 数据管控平台功能介绍,73,数据采集流程显现化,数据加工流程显现化,数据稽核显现化,及时监控纵向接口、横向接口入库情况； 迟传和入库失败的省分及时预警，集团

48、领导、总部具体实施人员、省公司共同推动，确保接口入库及时； 提前估算数据采集对整个流程的影响； 重大问题，提前汇报，启动应急预案；,展示某个时点已完成加工的接口个数、未完成加工的接口个数，对延迟任务及时预警； 实现数据加工各层次显现化，能轻松定位哪一层加工滞后，定位原因，发现问题，尽快解决； 提前估算数据加工对整个流程的影响；,1. 展示稽核规则运行情况及全国稽核问题个数，严重问题及时预警； 2. 集团领导、省公司、实施人员第一时间掌握数据质量情况，推动问题解决； 3. 根据问题级别，及时做出决策，应对数据发布和对外数据服务；,数据发布显现化,展示某个时间点全国各省数据具备/不具备发布条件的省

49、分； 展示某个时间点可具备发布条件的模块； 集团领导、厂家领导、实施人员及时准确的掌握发布情况；,加强流程显现化管控，设置预警机制。集团领导、实施负责人、具体实施人员可时刻关注预警内容，真正实现整个系统透明化管理； 通过某个时间点应完成情况与实际完成情况的比对，估算对整个流程的影响，在可控时间内，重大问题及时升级，推动整个流程正常流转。,平台化 实现全过程的显现化,注：日报和月报的内容与格式一样，点击监控重点内容名称，直接跳转了相对应的专题界面。,在统一数据分析系统数据开发数据运营维护工作监控界面，支撑全程可视的数据生产全过程的稽核工作。 按照数据运营维护管理规范的时点要求，通过短信等方式分级别进行预警，提