数据中台数据模型建设方案V2.0.doc

《数据中台数据模型建设方案V2.0.doc》由会员分享，可在线阅读，更多相关《数据中台数据模型建设方案V2.0.doc（33页珍藏版）》请在悟道方案网上搜索。

1、数据中台数据模型 建设 方案       数据中台数据模型建设方案          数据中台数据模型 建设 方案   目录  第 1章 综述 . 2 1.1 项目背景 . 2 1.2 建设目标 . 2 1.2.1 数据资产自动汇聚、一键发布 . 2 1.2.2 数据资产可视、可用、可管理 . 3 1.2.3 数据质量可控、可视、可追溯 . 4 1.3 建设思路 . 4 第 2章 建设方案 . 6 2.1 采集层 . 6 2.1.1 采集适配模块 . 6 2.1.2 数据处理适配器 . 6 2.

2、1.3 数据采集策略的定制管理 . 7 2.1.4 数据补采 . 9 2.1.5 采集调度模块 . 10 2.2 数据模型层 . 18 2.2.1 建模方法思路 . 20 2.2.2 数据模型分层架构设计 . 23 2.3 数据治理功能 . 25 2.3.1 统一数据标准管理 . 25 2.3.2 统一数据建模 . 25 2.3.2.1 统一数据加工 . 26 2.3.3 统一数据资产 . 26 2.3.4 统一数据质量管理 . 26 2.3.4.1 统一数据共享与开放 . 27 2.4 能力开放 . 27 2.4.1 数据资产开放 . 28 2.4.2 指标开放 . 28 2.4.3 数据服

3、务超市 . 28 2.5 网管迁移方案 . 28 2.5.1 BI 工具 . 29 2.5.2 话务及数据专业报表明细整理 . 32  数据中台数据模型 建设 方案   第 1章 综述  1.1 项目背景  在 20年集团网络工作部署，明确提出构建网络中台，推进业务拉通和数据共 享。打造数据业务化、业务数据化、技术通用化的网管中台架构体系。以业务与 数据治理为核心，存量系统共性能力按需解耦改造、新增能力遵循分层架构建设。  1.2 建设目标  针对本次系统接管与替换，在整体架构上考虑以中台支撑现有系统的发展， 基于智慧平 台构建的 O

4、SS数据中台， 实现数据专业整合，打通专业信息壁垒和数 据孤岛，提升数据规范化水平。实现数据集中存储和业务逻辑的数据处理，包括 按时间粒度和维度组合的数据汇总。同时数据中台中的数据可根据需要封装后直 接对上层应用开放。  1.2.1 数据资产 自动汇聚、一键发布   数据资产多手段自动汇聚  通过三种手段实现数据处理相关的接口、模型、任务、服务、指标各环节 元数据及血缘关系的自动获取，同时发布为数据资产。   血缘关系自动获取 ，自动获取数据实体间的上下游信息，字段之间转换 关系。   血缘关系登记录入： 在无法自动获取血缘关系的场景下，提供

5、血缘关系 登记录入界面，以补充完整数据血缘关系。   元数据登记录入： 支持数据实体的批量录入功能，能够满足物理实体及 其元数据信息的快速创建。  数据中台数据模型 建设 方案     数据资产一键发布  依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、 指标库、。  标签库：展现 企业的标签数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。  指标库：展现企业的指标数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅

6、使用、生命周期管理等应用。  1.2.2 数据资产可视、可用、可管理   强化元数据管理能力  将数据开发过程和元数据登记录入过程融合，实现元数据信息的自动录 入。   实现数据开发的统一管控  数据生产各环节的开发工作基于数据管理模块实现，各环境的元数据信息 自动获取，并同步给其他应用系统，确保应用系统的元数据信息 与数据管理模 块一致。   数据资产应用审批  确保数据资产安全，上层应用或用户申请数据使用时，需要通过流程审 批。  数据中台数据模型 建设 方案    数据对内开放信息完整 &

7、nbsp;提供样例数据查询，字段级统计数据查询，以方便开发人员选择所需数据 资产。  1.2.3 数据质量可控、可视、可追溯   数据标准落地  结合湖南移动网络运维与业务发展要求，梳理适合本地的数据标准，并基 于数据管理模块 完成 数据标准的 IT落地。   数据 血缘 关系 可视  通过数据生产各环节的元数据信息自动获取，形成端到端的数据血缘关 系，通过可视化手段呈现 数据血缘关系。   端到端数据质量监控  依托数据标准 与 数据血缘关系 的构建，建立数据质量稽核告警与端到端可 视化呈现机制， 质量情况可监控，可量化

8、。  1.3 建设思路   系统整体分为数据采集层、数据模型层、能力开放层及功能域。   数据采集层 ：采集层采用模块化设计思想，从业务功能上分为采集适配器、 数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块 实现自身的业务逻辑控制和管理，通过多维监控和质量管理，实现对系统平 数据中台数据模型 建设 方案   台的实时多角度监控与数据质量管理；同时，开放标准化的外部管理接口， 以实现对外的可管理性。业务功能层面，每层只需要关心本层的数据、业务 逻辑和业务实现，层与层之间通过标 准接口进行交互，能更好地实现系统的 可扩展性。  

9、 数据模型层 ：结合业界规范和多年的 O数据数据建模经验，综合考虑了数据 特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面， 采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、 应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清 晰，提高了数据访问效率等。   能力开放层 ：主要提供发布订阅模式、异步模式、同步模式等不同模式的数 据开放共享。   数据治理功能域 ：提供对数据的统一治理能力，主要包括数据标准管理、元 数据管理、数据资产管理、数据 安全管理和数据质量管理等能力。   数据中台数据模型 建设 方案 &nb

10、sp; 第 2章 建设方案  2.1 采集层  2.1.1 采集适配模块  采集适配模块实现网元直连网管接口采集和 OMC北向接口适配采集；采集适 配器层接收采集任务，实现与设备侧的接口协议适配，从设备侧获取原始数据， 进行数据采集，采集适配器的功能组成如下：协议适配、数据获取，并支持被动 接收设备侧发送的数据。采集的源数据通过适配器北向接口向上共享。  采集适配器支持实时数据、非实时数据；协议接口类型支持文件接口、数据 库接口、指令接口、 Syslog接口、 NetFlow 接口、 SNMP接口、 CORBA接口等主流 网管接口类型，同 时支持接口类型

11、的扩展。  系统提供采集适配器的注册、动态加载及注销功能，并提供采集、处理适配 器参数配置界面，以及适配器状态查看功能。并对适配器进行手工的状态变更， 比如启动、停止、重启等操作。  2.1.1.1 采集过程数据检测  能够及时检测设备侧发送过来的文件准备好消息通知或者原始数据准备情 况，数据准备好消息接收到后立即进行采集；数据始终未达到设定的完整标准， 也能把部分准备好的数据进行采集，可配合厂商侧的情况，尽最大可能完整及时 的采集数据。  2.1.2 数据处理适配器  数据处理适配器接收调度中心的数据处理命令，将采集适配器生成的数据进 行 处

12、理、关联运算，通过 ETL过程将数据录入到数据库中。  数据处理适配层接收处理任务，对数据进行解析、格式化，并根据需要进行 , 数据中台数据模型 建设 方案   风暴抑制、数据上报、 KPI 指标计算。原始数据、格式化数据、 KPI 指标均可以 推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。可以有选 择地提供告警数据过滤能力。  2.1.3 数据采集策略的定制管理  根据第三方应用，或者定制的配置、性能和告警数据的特性，采用不同的策 略利用导航方式创建采集流程，描述了在何时到何地采集什么样的数据。  以向导式根据不同业务需求创建

13、合适的采集策略。  根据性能、配置 和告警数据的特性，采用不同的策略创建流程，明确创建过 程，降低用户输入错误率。   创建策略的步骤有采集数据（数据源和数据集）、处理数据（标准化）和制 定策略。描述了在何时到何地采集什么样的数据。  数据中台数据模型 建设 方案      数据中台数据模型 建设 方案     2.1.4 数据补采  当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和 数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务 级别的补采。  数据中

14、台数据模型 建设 方案    2.1.5 采集调度模块  采集调度模块实现对各类采集任务的统一调度管理；  （ 1）根据策略，生成相应的任务，进行分发。  （ 2）接收适配器发送来的采 集任务执行情况查看请求，如：采集节点的内 存、 CPU、磁盘占用率，采集节点当前正在运行任务的情况。  （ 3）接收自动补采模块发送的任务信息，然后对该任务进行分发。  （ 4）任务的重做或补采 : 当任务执行失败后，具有对某个环节进行一定的 重做能力，包括重新采集和数据处理环节的重做；补采主要是指自动补采的能力， 根据补采的规则进行任务级别

15、的补采。  （ 5）通过消息通道，发送任务消息到采集适配器。  （ 6）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分 担，可以参考采集适配器硬件配置、 CPU占用率、内存总量、内存占 用率和采集 机空闲线程数、任务负载权重等信息。  （ 7）在采集适配器出现异常后，能够把未执行完成的任务重新执行。  （ 8）容灾能力：包括三种级别的容灾，即任务、适配器实例和调度中心容 灾。任务级别的容灾是指当适配器实例宕机时，该适配器实例中的任务可以切换 到其他适配器实例中执行；适配器实例级别的容灾是指当一个适配器实例宕机 时，该适配器的其他实例可以接管

16、任务的执行；调度中心级别的容灾是指一个调 度中心服务宕机后，其他调度中心服务可接管调度工作。  数据中台数据模型 建设 方案   2.1.5.1 采集策略接收  接收从数据共享层下发的策略信息，并把这些策略信息保存。这里的策 略是 指：采集的任务，该去哪个范围去采集，用什么频率去采集等。  采集目标网元资源与综合资源数据信息相关联，能够自动识别、同步网元信 息，并能自动化完成采集关联动作。  2.1.5.2 任务生成  根据策略数据生成任务，任务中包含采集源标识、指标组列表、采集的起始 时间、结束时间、网元信息、任务唯一标识。具有任务

17、启停功能，即对已经停止 或需要启动的采集任务，在界面上单击启动按钮，启动采集任务，对已经在运行 的采集任务单击停止按钮，停止采集任务。  2.1.5.3 任务分发  接收任务生成模块生成的任务，进行分发。接收状态监控模块发送来的采集 任务执行情况查看请 求，如：采集节点的内存、 CPU、磁盘占用率，采集节点当 前正在运行任务的情况。接收自动补采模块发送的任务信息，然后对该任务进行 分发；通过消息通道，发送任务消息到采集适配器。  任务分发能够判断系统是否支持分布式软件部署，并能够依据各采集节点的 负荷忙闲情况每次总是优先选择负荷最低的采集节点下发采集任务，以实现计

18、算 资源的负荷分担。  （ 1）接收任务生成模块生成的任务，进行分发。  （ 2）接收适配器发送来的采集任务执行情况查看请求，如：采集节点的内 存、 CPU、磁盘占用率，采集节点当前正在运行任务的情况。  （ 3）接收自动补 采模块发送的任务信息，然后对该任务进行分发。  （ 4）通过消息通道，发送任务消息到采集适配器。  （ 5）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分 数据中台数据模型 建设 方案   担，可以参考采集适配器硬件配置、 cpu占用率、内存总量、内存占用率和采集 机空闲线程数、任务负载权重等信息。

19、  （ 6）在采集适配器出现异常后，能够把未执行完成的任务重新执行。  下图描述了性能、配置和告警数据采集的整体调度过程，分为两个阶段：消 息触发和任务运行。   该架构包含了同步和异步的采集机制，异步方式的分离，有利于采集过程的 统一。  具备负载均衡调度 能力。可以通过采集机资源空闲优先等（根据排队任务数、 CP负荷、内存占用率、 IO等）策略选择合适的适配器实例完成数据的采集。  统一采集系统采用负载均衡管理实现采集节点的扩展和任务的均衡分配，但 当单个或多个采集节点由于突发原因出现高负荷时，按照正常的动态分配和扩展 机制会造成高负荷节点

20、向其他采集节点波及，影响其它正常采集节点，进而导致 整个采集层效率下降，请详细描述该问题的解决方法。  数据中台数据模型 建设 方案   系统采用分布式云部署，调度也是云调度。在负载均衡过程中，系统采用最 优适配器算法，即根据采集机负荷的评估动态选择合适的适配器实例，可以 有效 的利用分布式资源，从而高效的进行任务调度，确保采集任务的及时、高效。   调度中心与适配器方便的进行热插拔式的升级扩容。  新增的调度中心可即时分担调度工作，升级则可以将原来的重启，可实现 24小时运行服务。   新增的适配器实例可即时分担采集工作，升级则可以将原来的重

21、启，可实现 24小时运行服务。  数据中台数据模型 建设 方案    此两者容灾的能力将使整套架构均能达到每一层的扩容能力，即任何一层中 的服务都可以随时增加，而不会对系统运行造成致命的影响。  系统支持采集任务迁移功能，迁移 1000 个任务所需时间： 0.1 秒 左右。  2.1.5.4 自动补采  接收状 态监控模块发送的采集任务执行情况，自动判断数据是否完整，在数 据不完整情况下根据设定的补采策略，重新生成采集任务，发送这些任务给任务 分发模块，重新采集数据。补采策略中包含某采集源的指标组在不完整情况补采 次数、补采时机等信息

22、。补采的机制要支持周期补采、自定义补采或幂指数补采， 同时支持手工进行补采。  当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和 数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务 级别的补采。  数据中台数据模型 建设 方案     当统一采集系统与单个或多个采集源中断，造成一定数量的采集数据 积压 时， 以告警采集为例，当出现采集源中断情况时，往往经过自动补采，过段时间 会自动重连上采集源，但是由于告警量比较大，会造成短时间的告警数据大量过 来，首先采集适配器与处理适配器是分布式部署的，各自的环境并不互相依赖，

23、而且，处理适配器采用分布式云计算方法，已经足以处理数据积压情况下的数据 处理，所以，统一采集平台会 既确保当前数据的采集正常，又有效将历史积压数 据正常采集 处理。  2.1.5.5 状态监控  对下发到采集机上的采集任务的执行情况监控，如有某一采集任务某次采集 有问题，及时进行处理保证数据采集的连续性。  实时监控任务全生命周 期各个环节：未下发任务、正在执行的任务和异常结 束的任务，提供单个任务的流程拓扑图，端到端查看相应环节的执行情况。  数据中台数据模型 建设 方案    当出现异常任务时，系统除支持自动补救以外，还可以进行手

24、工的补救以及 分环节的补救。  2.1.5.6 采集节点负荷异常的影响范围控制  系统考虑了采集的数据分级，在紧急情况下能保证高级别数据的采集完备 性；对于采集节点的负荷也进行分级监控，采集的新增、调整、停止也充分考虑 到各个采集机的负荷情况，调整机制完备；极限情况下，低级别采集任务的停止、 或是否新增能够提示管理员进行干预，同时支持未干预条件下的自动执行机制， 机制 合理、安全。  2.1.5.6.1 高安全平台容灾机制  调度中心池可承载多个调度中心，从而达到调度中心级别容灾。  数据中台数据模型 建设 方案    可以

25、为一个适配器启动多个实例，从而达到适配器级别容灾。   此两者容灾的能力将使整套架构均能达到每一层的容灾能力，即任何一层 中的设备宕机都不会对系统运行造成致命的影响。   2.1.5.6.2 更高效负载均衡能力  系统采用最优适配器算法，即根据采集机负荷的评估动态选择合适的适配 器实例，可以有效的利用分布式资源，从而高效的进行任务调度，确保采集任 数据中台数据模型 建设 方案   务的及时、高效。   2.1.5.6.3 热插拔式升级和扩容能力   此两者容灾的能力将使整套架构均能达到每一 层的扩容能力，即任何一层 中的服务都可以随时

26、增加，而不会对系统运行造成致命的影响。  2.2 数据模型层  结合业界规范和多年的大数据建设经验，浪潮 提供完整、合理、准确的数据 模型建设方案 。  数据中台数据模型 建设 方案     采用了 模型分层设计 的思想  综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型 扩展性等方面， 采用分层的模型设计思想， 按照原始数据 层、基础数据层、融合 信息层和应用数据层建设。   “自顶向下”和“自底向上”相结合的建模方法  采用 “自顶向下”和“自底向上”相结合 的建模方法，对数据模型体系结构 分

27、层设计。   遵循 “ 概念模型 -逻辑模 型 -物理模型 ” 的 三阶段 五步实施 法  每层模型通过概念 -逻辑 -物理的 三个阶段， 按照概念 模型设计、 数据源 系统 评估、逻辑模型设计、 物理模型 设计与实施、 模型 验证与优化的 五 个步骤进行 实 施落地 。   逻辑 分层、物理分布式存储 的 模型存储设计    基于数据的分层模型结构，结合实际技术选型，数据采用 逻辑分层，物理分 布式存储的方式 ， 并 对典型 数据的处理流程、访问流程进行设计规划。   合理 的模型存储计算 部件 选择  结合各层 数据的特

28、点（数据量、访问频度、存储周期等）和各项技术的 特性 （存储、计算、查询 、 扩展等方面） ， 对各层 模型 的存储计算 部件 进行合理 规划。  数据中台数据模型 建设 方案   2.2.1 建模方法思路  数据中台数据建模的基本思想 :  采用概念模型、逻辑模型、物理模型三阶段建模方式；   自顶向下”方式为主，从业务需求出发，分析研究业务需求 中的业务场景，提炼业务数据，界定系统的数据范围，划分主题域， 对业务数据进行分类，构建抽象实体，最终梳理出业务实体，以及实 体之间的关联关系，通过实体及实体间关系表示业务规则；   “自底

29、向上”方式为辅，从源系统入手，研究和识别源系统 内的数据实体，并对数据实体进行分类；将实体以及实体的分类结果 与“自顶向下”方式梳理出的结果进行对比，验证建模结果的合理性， 并 进行修正；   “自顶向下”和“自底向上”两种方式相互协作，不断迭代 演进，逐级细化，构建出数据模型；   充分考虑未来的业务分析需求，对于一些通用概念和结构采 用相同的模型设计，从而保证了公用和未来扩展的需求；   遵循业界通用标准和方法论（ SID），保证模型的适用性；  2.2.1.1 模型设计 思路  遵循模型设计规范要求，采用“自顶向下”和“自底向上”相结合的

30、建模 方法。 根据业务需求设计应用层模型，根据数据源模型设计 ODS、 BDS、 CIS 层模型，在 CISADS间实现数据的结合。  数据中台数据模型 建设 方案    2.2.1.2 模型 设计原则   标准化、规范化原则  数据模型应遵从统 一的主题域划分和实体命名规则，保证模型 的标准化和 规范化；   先进性原则  要求逻辑模型在设计上吸收业界、国内外优秀的建模经验与方法，确保模 型的先进性；   一致性原则  数据模型的设计要能够确保数据的一致性，消除各数据源的数据不一致 性，以保证数据模型内

31、的信息是关于整个企业一致的全局信息；   扩展性原则  要求数据模型具备良好的可扩展性，支持对模型的迭代性演进。当业务需 求提出新问题或有新的数据加入模型时，要求数据模型能够确保现有的数据和 应用都不发生改变，更不得导致系统崩溃；   自上而下的设计与自下而上的验证原则  数据模型是为 业务分析服务的，所以在创建模型时， 应以业务需求为驱动。 根据业务需求采用自上而下的方法设计并实现数据模型，并且采取迭代演进的 模式，逐步丰富数据模型，逐步求精。同时，为了验证设计与实现的合理性与 正确性，要求以实际数据对模型进行自下而上的验证；   简单可识别

32、原则  数据中台数据模型 建设 方案   实体命名等要遵循简洁、能直接识别出业务意义的原则。  2.2.1.3 数据 建模步骤  数据 建模五步法如下：    概念 模型设计：  1. 分析业务需求，确定范围定义， 确定概念模型  2. 生成指标集 ，区分基本指标、衍生指标，作为业务元数据梳理  3. 明确接口需求   数据源 系统评估  1. 评估数据质量与提供能 力，进行字段属性取舍、整合  2. 明确 接口规范  3. 确定业务模型   逻辑 模型设

33、计  1. 明确逻辑模型 实体、属性、主键、关联  2. 确定实体加载算法，新增、修改   物理模型 设计与 实施  1. 建立物理模型，映射文档；生成 建模语句 、数据映射脚本  2. 执行脚本进行物理模型落地   模型 验证与优化  1. 按照业务需求对模型的支撑能力、效率等进行验证  2. 优化调整模型结构，形成最终模型  数据中台数据模型 建设 方案   2.2.2 数据模型 分层 架构设计  2.2.2.1 分层架构设计原则  结合业界规范和多年的大数据建设经验，综

34、合考虑了数据特点、存储方式、 处理效率、处理复杂度、访问效率及模型扩展性等方面，采用了 模型分层设计 的 思想 ， 分 为 原始数据层、基础数据层、融合信息层、应用数据层 四层，实现了数 据源和加工处理过程的分离，保证了数据流向清晰，提高了数据访问效率等。    原始 数据层  1. 作为 数据缓冲区 ，减少对数据源系统压力；便于问题回溯及数据 重新处理  2. 与数据源的模型保持一致   基础 数据层  1. 做为稳定的基础数据层，主要做归一化处理（数据的清洗、关联 整合、编码统一据单位统一等），  2. 采用实体 -关系

35、建模，模型遵循第三范式   融合 信息层  1. 存储汇总数据，为用户自主分析应用提供支撑  数据中台数据模型 建设 方案   2. 采用维度建模方式，支持星型模型和雪花模型；其中业务相关性 较高的数据合并为宽表   应 用 数据层  1. 对汇总数据层数据进行重新组织满足部门、地市、专题个性化需 求，快速响应用户需求。  2. 采用 反范式的建模 方式  2.2.2.2 数据模型分层设计  基于数据的分层模型结构，结合实际技术选型，数据采用 逻辑分层，物理分 布式存储的方式 。   各层 模型

36、存储   原始 数据 层： 数据存储 在 接口 层 内， 物理 上存储在接口机磁盘及 Kafka集群内。   基础 数据 层：用户 详单数据（信令相关）存储在 HBase集群内， 经 清洗归一化后的非用户详单数据存储在 MPP数据库内 。   融合 信息层 ：经 汇 总后 的各类数据存储在 MPP数据库内 。   应 用数据层 ：针对 上层应用的数据存储在关 系型数据库内。  数据中台数据模型 建设 方案   2.3 数据治理功能  2.3.1 统一数据标准管理  按照数据中台新建数据标注 内容 ，实现对数据标准的

37、统一管控。  针对青海移动数据标准体系中规定的各类数据对象分类、数据分层、数据分 域、数据命名规则、数据编码规则等各类标准进行界面化统一管理，指导。  数据标准管理模块对数据标准提供系统工具支撑，包括标准管理、标准展示、 标准监控三大功能。面向数据管理者提供标准发布、审批管理等功能；面向数据 维护者提供标准维护、稽核、版本管理等功能；面向数据提供者和消费者提供查 询、提取、核对及分析等功能，全面提供数据标准服务能力。  2.3.2 统一数据 建模  基于数据标准和元数据管理体系，提供可视化的建模工具，构造最优的数据 库模式，建立数据库及其应用系统，能够有

38、效地存储数据，满足大数据治理需求。  系统提供基于元数据管理 图形 化数据建模工具，提供模型的设计、审核、实 施、验证；包含物理模型的设计、指标模型、分析模型的设计等。   数据中台数据模型 建设 方案   2.3.2.1 统一数据加工  根据业务 需求及各类技术 特点 ， 对 平台内 的 不同类型数据 采用 不同的数据处 理技术及流程，主要 分为 大数据处理流程、 传统 数据处理流程、实时流数据处理 流程。  2.3.3 统一数据资产  数据资产是指已通过数据清洗规则配置，并进行任务校验后的有效数据或 是 系统中的资产数据，以不同的

39、方式呈现给用户，或供用户使用。数据资产以资产 的角度开展数据管理工作，为解决目前普遍存在的需求分散重复、口径模糊等问 题，实现成果和经验的共享和积累，方便实现应用和数据的生命周期的自动化管 理。数据资产化包含了数据资产梳理盘点和数据价值评估的过程。  2.3.4 统一数据质量管理  系统支持对业务数据进行全面的质量管理，通过数据质量的管理办法、组织、 流程以及评价考核规则的制定，及时发现并解决数据质量问题，提升数据的完整 性、及时性、准确性和一致性，从而提升数据的价值。  基于数据 架构体系，为 平台 提供全程的 端到端数据质量 管控；   数据中台数据

40、模型 建设 方案   2.3.4.1 统一数据共享与开放  以独立的功能组件“数据共享模块” 统一 实现 对外的数据共享 ,通过采用层 次化、面向开放共享的技术架构，将系统的应用与数据解耦，形成相对稳定、独 立、开放的数据共享模块，支撑上层各类应用及外部系统的数据需求，实现“一 个数据平台，支撑多样化内、外部应用”的目标。     2.4 能力开放   数据开放门户实现了对共享平台的指标、模型、数据开放服务的统一管理、 展示及在线申请订阅功能。  数据中台数据模型 建设 方案   2.4.1 数据资产开放  从模型

41、角度展示平台数据资产，展示当前平台内已具备的模型情况，提供分 领域、分专题的导航  2.4.2 指标开放  从指标角度展示平台数据资产，展示当前平台内已具备的指标情况，提供分 领域、分专题的导航。实现对平台管理的指标进行统一呈现，包括对指标进行全 局搜索、按照接入系统对指标进行分类统计、按照维度实现对指标的过滤等等功 能。   2.4.3 数据服务超市  展示平台对外发布的服务信息，支持服务的申请及调用。  2.5 网管迁移方案  话务网管建议不再考虑单独建设，基于数据中台提供服务能力支撑当前话务 报表及各种需求，整体架构如下： &n

42、bsp; 数据中台数据模型 建设 方案   2.5.1 BI工具  iQuery(Data Vision & Multidimension) 大数据智能分析平台定 位为一个 以大数据可视及数据分析为主的下一代云端分析产品，开放大数据可视、多维分 析二个方面的能力。 iQuery 是一款多维分析工具 ， 定位于数据的探索新分析场 景 ， 针对高维度 、 需求不明晰 、 量级大的数据提供即席分析能力 。在数据支持能 力上，不仅支持传统的关系型数据库，还支持中等数量级的 MPP以及海量级别的 Hadoop 平台，在可视化分析能力上，不仅提供了丰富的可视化组件，还提供了 用

43、户的操作台，以归纳用户的分析结果。  2.5.1.1 产品架构  iQuery 由可视化建模 （ ModeBuilder）、预汇总（ PreEngine）、数据服务 （ Server）、可视化分析器（ Analyser）四部分组成，各组件之间相互独立，以 Rest方式进行通信和数据交换。   2.5.1.2 功能说明  功能名称 功能描述  自定义  自定义，拖过拖拽的形式做报表，能呈现定义报表的 用户名称，如系统或个人，报表能对外共享  运算符可视  运算按钮集成到前台，包括加减乘除，最大最小，同 比环比，求和求

44、平均， TOP，过滤等  数据中台数据模型 建设 方案   算法可视  支持指标的算法可视，支持上层及底层 OMC 映射，比 如掉话率 =掉话次数 /系统应答次数，并分别解释掉话次数， 系统应答次数对应到各个 OMC的原始 Counter 指标导航 指标导航，支持指标在左侧树图中快速查找  数据录入 支持数据手工录入，审核并汇总  信息推送 将用户关注的报表以短信，邮件等形式推送给用户  小颗粒指标实时刷新  图形化界面呈现的指标，如果指标的最小时间粒度是 分钟，系统呈现的时候支持实时刷新  统计维度可根据使用 者

45、需求自行设定，精确至区 县、网格、代维单位等；   统计时间可以灵活配 置  建议指标提取的时间选取可以进行组合和多选，某个 时间段内以及连续时间段的都可以。  导出功能具备图样 系统界面中的柱状图，饼状图均可以导出并二次编辑  能否导入现有表的表 头  由于现在大部分上报的报表具有固定的表头，能否导 入现有表的数据表头，实现数据的提取  中继群信息维护  提供批量导入的界面 作为场景维度  用户提供模板，例如包括地市，区县，小区名称， LAC,CI 等，该模板可作为维度进行拖拽，用户再自行拖拽使用的 指标，最终呈现该场景下所有的指标   数据中台数据模型 建设 方案        数据中台数据模型 建设 方案   2.5.2 话务及数据专业报表明细整理  话务数据专业报表 明细.xlsx