大数据规划运营商大数据平台解决方案.pptx

《大数据规划运营商大数据平台解决方案.pptx》由会员分享，可在线阅读，更多相关《大数据规划运营商大数据平台解决方案.pptx（47页珍藏版）》请在悟道方案网上搜索。

1、,大数据规划:运营商大数据平台解决方案,目录,1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案,终端软件主要包括专业版和普通用户版：,专业版,通过专业版终端来评估测试网络质量，发现解决网络问题，支撑维护优化工作专业测试终端用于专业测试数据的采集，可应用于网络评估、异常事件处理及专业的优化分析，并为累积性数据趋势分析采集数据。,普通用户版,通过采集非专业版终端的大量数据样本以及用户投诉信息，评价和改善网络质量；,1、前台专业版终端为分公司自行采购或利旧现有终端。终端型号需在特定终端硬件安装(iPhone 、HTC等现市面主流终端）。2、普通版软件支持市面大部

2、分Android主流终端。,主要功能：,支持的终端：,网络参数采集空口信令采集测试任务执行室内平面图的打点测试室外DT测试测试记录与上传工单自动获取,3 异常事件处理：,2 室分质量管控：,1 网络质量评估：,平台应用,终端数据采集系统,终端数据采集系统,1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案,对采集的Mc接口原始信令进行解码，按需生成XDR等。对Gn、防火墙、Gb/Iu-PS等采集生成的原始XDR进行分析、处理，合成相关系统所需的目标XDR或文件。,Gb、IuPS、Gn链路,CM、PM,Mc链路,完成数据存储，提供灵活的接口以及转发等功能。,指

3、定系统（经上报网关）,上网日志查询平台,其他系统,LTE（S1-MME、S11、S1-U、S6a、SGs）,经营分析系统（经上报网关）,集中性能分析系统,应用层,CS域,PS域,共享层,数据解码与合成层,数据采集层（设置在核心网设备侧）,Uu、X2、 MR,分光及采集设备（含DPI）,分光及采集设备（含DPI）,分光及采集设备（含DPI）,信令监测系统,日志上报网关,无线侧,其它数据,DPI数据采集系统,输出模块,协议处理模块,采集模块,系统配置管理,系统自身管理,系统管理,号码关联回填、多协议关联模块,xDR输出控制模块,xDR输出模块,采集适配及信令预处理模块,数据交换总线,自有采集模块,

4、三方采集模块,信令解码、合成生成xDR,采用分布式处理技术，保证系统良好的扩展性！数据交换总线：是软件核心模块，通过一个公共的数据交换软件，其它模块都通过该模块交换数据。其优点：支持分布计算模式、系统处理没有瓶颈、多线索并行技术、支持伸缩性结构具有良好开放性、方便开发、管理和维护。支持自有采集设备采集的原始数据，也支持三方采集设备采集的原始数据，有很好的适应性。,DPI数据采集系统,1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案,（ODS-DC）明细清单层,（DM）应用汇总层,（DW）基础汇总层,（ODS-C 与 Stage ）源数据缓存层,O/B/M域

5、,互联网域,行业外域,区域粒度,小区粒度,业务粒度,云化统一采集平台,第一步：Stage层ODS-C层：由云化统一采集平台传输，同步专业网管、KPI数据转换等。,第二步：ODS 层到 DW层：由云化ETL和ESB处理完成,第四步：DW 层到 DM层：由ETL处理并进行呈现,工参,配置,测量,性能,话单,DPI,告警,其他,设备层 (数据源),用户粒度,大网元粒度,流量粒度,终端粒度,用户级,测量级,话单级,监控级,信令级,网管级,网元级,工单,动环,无线,传输,CHR,CDR,终端,CQT,设备,参数,MR,无线,核心,传输,小区,无线,核心,传输,信令面,业务面,按数据源和不同专业做一级汇总

6、,从地域、用户等维度，综合一级汇总结果做二级汇总,端到端用户感知,流量经营,全流程管理,网络拟规划,第三步：ODS-DC 层到 DM层：由ETL处理并进行呈现,资源,数据中心存储,采集层存储,爬虫采集平台,信令,经分,套餐,消费,资费,大数据中心供给方案-整体模型设计,X86 PC集群,本机硬盘,本机硬盘,本机硬盘,本机硬盘,本机硬盘,本机硬盘,数据节点Datanode,数据节点Datanode,数据节点Datanode,数据节点Datanode,数据节点Datanode,管理节点Namenode,备份管理节点Namenode,万兆交换,万兆交换,数据查询Hbase,运算与处理MapReduc

7、e/Spark,数据提取（HIVE）,ETL,数据存储：磁盘阵列,数据计算：数据服务器,Hadoop,RDB&内存库,RDB,内存数据库,处理层-设备及拓扑,处理层-软件技术架构,。主ID，亿级查询，毫秒级。次级索引查询，秒级。外部提供noSql查询方式。使用Coprocessor MR程序，满足临时性分析。,。亿级数据，支持秒级查询。支持SQL方式提取数据。支持数据汇总，数据提取的快速开发,。通过MR开发，满足绝大部分数据处理需求。支持十亿级，百亿级的数据分析与开发。结合Mahout，满足对大数据的分析需求。通过结合文本处理技术，满足非结构化文本数据需求。,OLTP及数据量较小的OL

8、AP,管理节点备份保证安全,数据冗余参数设置，保障基础数据安全,实时数据查询（Impala）,。Jdbc/ODBC,列式存储HRegion-Server,混搭架构解决各类数据访问需求,基础存储（HDFS）,满足万分之一秒访问,并行查询调度,查询优化器,本机硬盘,本机硬盘,MPP,万兆交换,ODS,Linux:FS,DW&DM,DB-File,。Jdbc/ODBC,。支持SQL方式提取数据。支持关联性查询。对内存有效利用。对网络带宽有依赖,以数据为中心的安全架构,大数据中心供给方案-架构设计,1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案,不应只考

9、虑引入单一产品来提高数据安全性企业中海量数据快速增长，数据对业务运营的重要性日益凸显过去，缺少行之有效的手段，用来制定“以数据为中心”的安全策略，治理企业拥有的全部数据资产应统筹设计展望未来的、以数据为中心的、全新务实的、能全面解决数据安全问题的前瞻性架构，建立遵从监管与合规要求的数据安全管理平台，使安全策略覆盖所有关键数据，以避免层出不穷的、复杂的、混乱的数据治理和泄露问题“以数据为中心的安全”的出现改变了现状，为不断增长的海量数据提供安全保障，满足了市场的强劲需求，应立即考虑在企业中建立此项能力,“以数据为中心”的安全架构,“以数据为中心”的安全架构,目录,1、基于终端采集数据的用户感知分

10、析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),以移动互联网的方式解决了运营商用户真实行为和无线环境数据的客观采集，首次采用云平台实现了全国分权分域集中化一级管理，也是中国LT上线的第一个全国一级系统平台，也是面向电信运营商第一个颠覆了传统空口数据采集和无线网络评估的商业化整体解决方案。,省级用户,地市用户,集团用户,集团平台,本地3G,本地3G,普通版用户,专业版用户,海量公众感知数据,1、所形成千万级真实用户网络体验感知数据2、提高用户间的使用粘性3、建立具有指导性的精准营销与业务数据支撑,由被动变为

11、主动维护实时网络质量管理与评估投诉预警处理多场景地理化渲染监控用户体验感知数据分析室分质量专业解决方案,真正来自普通用户的感知数据：目前普通版已安装部署于LT手机营业厅客户端之内，日均激活量超过 15000人(日均回传75万个测试数据)，广泛的用户数据收集，成为目前最具代表性的客户感知网络评价数据；,用户感知系统是 中国LT全国集中式一级平台，纵向贯穿管理、业务流程、生产三级应用。成为首个集团对省、市工作建立数据透明、客观监控的统一作标准管理模式。,系统概述,系统在O域中的位置与支撑体系,3. 主动维护,4. 网络质量分析,基于用户行为判定和信令判定相结合异常频发区域的自动告警及工单派发为网络

12、异常的快速定位及处理提供数据支撑,基于普通版的海量数据和专业版的空口底层数据的深度挖掘和分析基于栅格化的室外质量和基于楼宇/场景的室内质量管理思路，对网络质量实现实时高效及更精细化的管理,2. 室分流程管控,普通用户上报和专业测试相结合基于海量用户上报数据实现网络质量全面评估基于专业测试数据实现重点关注区域详细评估实现了网络评估的真实性、实时性和全面性,实现室分全生命周期的管控，贯穿多个职能部门，实现工作流程电子化，信息集中化统一化。项目进度质量实时监控汇总，数据集中统一，节点信息可追溯，考核有理有据公平公正，网络质量清晰明了, 管理严谨高效。,1. 网络质量评估考核,系统功能,1、基于终端采

13、集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),长久以来的网优思路都是做好自己网内的事，无法承载端到端体验的保障要提升用户端到端体验，不能只关心GGSN内的事情，苹果APPSTORE下载速度的问题就是一个很好的案例，业务、终端、网络都与用户感知有关体验问题不仅是对移动网的要求，也是对业务平台和基础网络的要求对最常见的用户体验问题没有建立有效的问题定位机制类似有信号无法上网，或者有信号半天出不来页面这种用户感知差的问题，始终没有一个明确的机制来推定问题所在用户平均速率和成功率掩盖了单用户失

14、败率单用户的失败率是造成用户体验变差的重要因素，对应失败率用户进行重点分析业务的整体速率掩盖了单项速率表现如从整体速率来看，微博业务没问题，但是微博图片显示慢，但业务的整理速率掩盖了单项体验问题,网优不是端到端用户感知,对用户最常见的感知问题应快速响应,LastN的单用感知需要关注,业务内单项体验是影响用户感知的重要因素,为什么网络参数有优，用户会感知不好,针对主流移动互联网业务建立用户感知评价体系，对各本地网络建设提出可落地、有意义的KQI体系，指导网络建设和优化的验收质量目标根据评价体系，进行端到端问题定位，从终端、无线、核心网、SP等各环节找出影响用户体验的短板建立可持续评估和优化的用户

15、感知闭环管理机制，自动实现对典型用户感知问题的评估、分析、定位、验证。,第一步,第二步,第三步,问题定界,分网元定界定位,优化提升,优化验证,总体目标,MR,PM/CM,数据采集：A/IuCS/Gb/IuPS/Gn/LTE信令数据通过分光、镜像方式采集，用于对用户行为和用户的业务质量进行分析；MR/PM/CM数据需要从主设备厂家OMC获取；终端数据采集，用于对问题的分析和定位数据分析处理：基于Hadoop MapRedece的基础平台完成后关联、预统计、数据挖掘等预处理工作，实现面向单用户的数据分析。分析结果保存在MPP数据仓库中。应用呈现：实现用户感知评估、热点业务质量分析、典型感知问题分析

16、、平台监测等重点应用,终端,系统架构,总体目标,面向单用户的感知分析业务单项指标分析端到端问题定界与原因定位业务平台监测与未申报平台监控,数据解析需求,功能呈现需求,基于单用户维度的端到端指标体系通过DPI及动态标签技术细分业务的动作行为：优酷视频、微信自有业务平台的识别:三个基地，音乐、阅读、沃商店+广东本地业务指标多维度分析多数据源关联分析（终端、信令、MR、网管）,各省、地市用户感知指标对比统计同一业务下各单项指标对比统计各单项指标LastN用户信息呈现LastN质差小区的GIS呈现影响用户速率感知的问题类型占比用户单次业务速率异常原因定位自有业务平台运行指标统计（流量、用户数、访问量、

17、性能）自有业务与互联网业务的指标对比,功能框架,问题定界与优化,1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),话音通话是客户的基本需求，用户之间消费行为差异较小；数据流量的价值在于承载各类应用，在流量时代，用户对各类应用的偏好程度、上网习惯等特点差异巨大。,用户在互联网海量内容中的选择倾向性（流媒体、文本、小说、图片等）用户在各类移动互联网应用选择的偏好（生活服务类、社区交友类、办公类等）,上网特征,用户偏好,用户在上网时间、上网时长、使用流量方面的规律用户上网终端的情况

18、（Android、IOS、Symbian等）,用户在流量产生时的位置轨迹不同区域的用户流量发生情况,需要把握的三大核心信息：用户内容、应用偏好用户的上网行为特点用户流量产生的位置,掌握用户的移动互联网行为至关重要,大数据流量经营需要掌握用户在移动互联网领域的各种行为特点，了解用户的“习性”,位置轨迹,运营商大数据流量运营关键点,数据分析引擎,数据源,2/3/4G接口数据/DPI系统数据,BOSS数据（计费口）,CRM系统数据,基础数据,小区地理数据,终端数据,移动详单/过网详单,超精细用户标签画像,触发策略建模,算法特征建模,基于Hadoop云采集、存储、处理,时间、位置、内容、终端,策略选择

19、,SVM、K-MEANS、贝叶斯网络,用户分群,内容定位,业务对比,统计报表,大数据流量运营平台系统架构,大数据流量运营平台工作流程,1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),平台能力：作为公司级运营平台，依托大数据中心完成智能管道建设（用户可区分、业务可识别、服务可分级、场景可固化、网络可管理、流量可管控、策略可运营），实现基于流量速度实时决策及调整的营销、服务能力，达到有限网络资源条件下的流量业务收入最大化。服务对象：市场口、网络口,自营业务,合作方OTT业务,其

20、他OTT业务,ZY生态环境内,生态环境外,电信能力开放平台,计费能力,语音能力,短信能力,营销能力,实时位置,隐私保护,安全保护,鉴权能力,用户偏好,服务能力,专有承载,优先承载,尽力而为,用户可区分,业务可识别,服务可分级,网络可管理,流量可管控,基本动作需要保障,可选动作  努力创收,围绕用户个性化需求，以流量速度调整为抓手，将用户场景及策略持续固化在运营平台，实现有限资源下的流量收入最大化。,场景可固化,策略可运营,建设目标,策略运营体系,策略配置策略驱动分析（事件分析、用户捕获、策略信息同步）策略管理（审批、冲突检测、监控、发布）,策略驱动与管理,策略效果评估,Gn信令监控（

21、QoS、速率、流量）营帐信息监控（订购与退订）效果对比分析（策略执行前后的速率与流量对比）,PCC策略运营平台在现有智能管道能力（用户可区分、业务可识别、服务可分级、场景可固化、网络可管理、流量可管控）的基础上，依托大数据中心开展策略应用分析，实现策略可运营的业务目标；PCC策略运营平台平台是以PCC管控为手段，面向流量经营与分析的生产型平台，其硬件资源有IT运维中心统一提供，数据资源由大数据开放平台提供；,系统定位与功能范围,B域,O域,互联网域,数据源,大数据平台,批处理平台,数据统计,数据挖掘,流处理平台,事件处理中心,策略运营平台,运营支撑分析,策略配置与管理,策略分发,场景捕获,用户

22、群管理,效果评估,策略执行,采集解析,文件解析,消息解析,互联网内容解析,PCC(PCRF),BOSS/CRM,SMSC,行为识别,文件,消息,API,1：管控策略配置；2：策略分发；3：文件解析：经分、信令、网管；4：互联网URL标签及内容实例库；5：增强后的上网日志；6：1+4；7：1+4；8：用户偏好及标签数据；9：用户行为：位置/应用/时间/内容；10：策略匹配结果；11：用户+策略ID12：短信通知用户提速，用户确认13：管控通知、接收确认:14：管控确认通知15：管控前后速率变化对比信息,系统架构与数据流程图,PCC策略管控平台运营场景,1、基于终端采集数据的用户感知分析2、端到端

23、用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),以生产数据驱动和优化业务流程，将复杂、分裂的原有支撑系统迁移到云端，形成灵活、开放的聚合平台，实现网元设备从采购、建设到退服整个网络全生命周期的过程管理；并以物联网的方法，实现网元资产核查和动态更新的精细化管理。,全流程管控：实现在运营管理方面的全业务管控，把管理考核在流程节点及质量控制点进行IT固化，贯穿多个职能部门，实现工作流程电子化，信息集中化和透明化。,全流的意义：各项业务进度和质量实时监控汇总，（基础）数据集中统一，数据可追溯，数据可评估，网络质量透明管理，提

24、升效率。,规划,入网交维,日常优化,勘察设计,施工管理,立项可研,ESB数据总线,通过ESB数据总线，实现业务流转过程中信息的共享整合，建立了以生产数据驱动业务流程的模式，实现数据规范化、标准化管理；打破原有“烟筒式”系统壁垒，将复杂、分裂的原有业务支撑平台迁移到云端，聚合多维数据，实现集约化管理及科学决策；物联网的方法，实现网元资产精细化管理和动态核查更新；通过全流程的精细化闭环管理,规范和优化了业务流程，细化分工；,>数据管理统一集中  >数据变更流程规范   >生产环节实时对接,建立无线网络质量及运维管理的全新思路及体系；对原有IT架构和管理模式的革

25、新；开创全国集中统一、分权分域实现集中管理及各省市独立应用；基于云计算的架构，对未来业务的无限扩展及叠加，提升平台开放能力。,综合代维,横跨M/O域统一管理门户,效率提升：70%；    降低维护及资产成本：约5000万/年/省（中等规模）,概述,功能框架,1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),实物管理现状,实物管理系统与其它外围系统关系,功能框架,1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP),业务需求及业务逻辑,管理者,操作者,业务背景与需求分析,数据泄露的途径分析,网络,终端,业务背景与需求分析,系统基础业务体系,DLP管理端,DESKTOP,LAPTOP,存储服务器,方案体系基础技术路线,安装DLP代理,Internet,防火墙,网络数据外流风险预警及报告,终端数据外流风险预警及报告,DLP网关,DLP服务器,DLP管理员,数据分类分级规则,数据操作安全策略,预警审计报告模板,解决方案与关键技术,