大数据治理总体解决方案V3.0.docx

《大数据治理总体解决方案V3.0.docx》由会员分享，可在线阅读，更多相关《大数据治理总体解决方案V3.0.docx（45页珍藏版）》请在悟道方案网上搜索。

1、大大数据治理体系总体解决方案 V3.0 1 大数据治理体系总体解决方案 大大数据治理体系总体解决方案 V3.0 2 目 录 一 大数据管理的现状 . 3 二 大数据治理的概述 . 4 （一） 大数据治理概念 . 4 （二） 大数据治理目标 . 4 三 大数据治理体系 . 5 四 大数据治理核心领域 . 5 （一） 数据模型 . 6 （二） 数据生命周期 . 6 （三） 数据标准 . 8 （四） 主数据 . 9 （五） 数据质量 . 10 （六） 数据服务 . 12 （七） 数据安全 . 12 五 大数据治理保障机制 . 13 （一） 制度章程 . 13 (1) 规章制度 . 13 (2) 管控

2、办法 . 13 (3) 考核机制 . 13 （二） 大数据治理组织 . 15 (1) 组织架构 . 15 (2) 组织层次 . 16 (3) 组织职责 . 17 （三） 流程管理 . 19 （四） IT 技术应用 . 19 (1) 支撑平台 . 19 (2) 技术规范 . 22 附件 A 大数据管理规范 . 23 附件 B 数据质量评估办法 . 38 附件 C 数据质量管理流程 . 42 大大数据治理体系总体解决方案 V3.0 3 关于大数据治理 大数据管理的现状 根据行业信息化发展的现状，结合当今行业大数据治理的要求，大型集团或政务管理部门现阶段大数据管理方面存在以下的不足： （ 1） 数据

3、多头管理，缺少专门对大数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门，致使大数据管理 的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的大数据管理规程、标准等，相应的大数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障大数据管理标准和规程的有效执行。 （ 2） 多系统分散建设，没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数

4、据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。 （ 3） 缺少统一的主数据，组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。缺乏对 集团公司或政务单位主数据的管理，就无法保障主数据在整个业务范围内保持一致、完整和可控，导致大大数据治理体系总体解决方案 V3.0 4 业务数据正确性无法得到保障。 （ 4） 缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的

5、数据质量管控规范与标准，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在人为干预问题，很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和 系统支撑能力。 （ 5） 数据全生命周期管理不完整。目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元大数据管理。 大数据治理的概述 2.1 大数据治理概念 大数据治理是指将数据作

6、为组织资产而展开的一系列的具体化工作 ,是对数据的全生命周期管理。 大数据治理体系是指从组织架构、管理制度、操作规范、 IT 应用技术、绩效考核支持等多个维度 对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。 2.2 大数据治理目标 大数据治理的目标是提高数据的质量（准确性和完整性），保证大大数据治理体系总体解决方案 V3.0 5 数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升集团公司或政务单位信息化水平，充分发挥信息化作用。 大数据治理体系 大数据治理体系包含两个

7、方面，一是数据质量核心领域，二是数据质量保障机制。 具体两者内容及相互关系可以参见下图： 大数据治理核心领域 为了有效管 理信息资源，必须构集团级大数据治理体系。大数据治理体系包含大数据治理组织、数据构架管理、主大数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有大大数据治理体系总体解决方案 V3.0 6 机结合，又相互支撑。 4.1 数据模型 数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是大数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的重要数据元素及

8、其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计 过程中保持统一的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性 4.2 数据生命周期 一般包括数据生成及传输、 数据存储 、数据处理及应用、数据销毁四个方面。 （ 1）数据生成及传输 数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关

9、制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。 大大数据治理体系总体解决方案 V3.0 7 （ 2）数据存储 这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处

10、理的需要，可能对数据进行修改，必须在大数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。 （ 3）数据处理和应用 信息化相关部门需要对数 据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。但是实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。 （ 4）数据销毁 这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采

11、用必要的工具，数据的销毁应该有完整的记录。尤其是对于需要送出外部修 理的存储设备，送修之前应该对数据进行可靠的销毁。 大大数据治理体系总体解决方案 V3.0 8 4.3 数据标准 数据标准是集团单位建立的一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。 数据标准的建立是集团单位信息化、数字化建设的一项重要工作，行业的各类数据必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。 大数据治理对标准的需求可以划分为两类，即基础性标准和应用性标准。前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字

12、典、数字地图标准；后者是为平台功 能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。 （ 1）数据分类与编码 数据分类与编码标准是信息化建设中标准化的一项基础工作，该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则，目的是在不同系统和用户之间建立交通数据的一致参照，对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。 （ 2）数据字典 针对实际需求，定义数据集，建立各个领 域的数据字典，规范数据概念和数据定义。在此基础上

13、，形成完备的集团单位数据集和大大数据治理体系总体解决方案 V3.0 9 数据字典。 （ 3）元数据标准 元数据标准是描述数据资源的具体对象时所有规则的集合，它包括了完整描述一个具体数据对象时所需要的数据项集合。针对各种信息资源分别制定适当的元数据标准，可为信息的管理、发现和获取提供一种实际而简便的方法，从而提高数据交换效率。 （ 4）数据交换标准 为了保证数据共享和交换的顺利实现，必须明确定义和规范数据交换的相关标准。数据交换的标准规范是集团单位综合信息平台的核心标准。其中应当包括数据交换内容、数据交换格 式、数据传输方式、各类中心间数据接口的标准化等方面。 （ 5）数据质量标准 由于数据采集

14、任务通常由其他二级平台完成，大数据治理平台的标准方法主要集中在数据的加工和管理上。应该重点开发的一个领域是数据质量控制方法。应当从三个方面对数据质量方法进行研究：“ 坏数据”或“不可靠数据”的识别，错误数据的编辑方法，以及缺少值的处理。 4.4 主数据 主 大数据管理 要做的就是从 各部门 的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据 传送 给 集团单位 范围内需要使用这些数据的操作型应用 系统 和分析型应用 系统。 大大数据治理体系总体解决方案 V3.0 10 主 大数据管理 的信息流 应 为

15、： 1) 某个业务系统触发对主数据的改动； 2) 主 大数据管理 系统将整合之后完整、准确的主数据 传送 给所有有关的应用系统 3) 主 大数据管理 系统为决策支持和数据仓库系统提供准确的数据源。 因此对于主 大数据管理要考虑运用主大数据管理系统实现，主大数据管理 系统的建设，要从建设初期就考虑整体的平台框架和技术实现。 4.5 数据质量 数据质量不高将影响数据仓库应用程度不高。低下的数据质量往往造成开发出来的系统与用户的预期大相径庭，数据质量关系建设有关分析型信息系统成败，同时数据资源是集团单位的战略资源，合理有效的使用正确的数据能指导集团单位做出正确的决策，提高省综合竞争力。不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。 数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的真实性、完备性、自治性是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量，数据的使用质量是指数据被正 确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。数据的传输质量是指数据在传输过程中的效率和正确性。