数据标准管理实践白皮书|免费下载.pdf
《数据标准管理实践白皮书|免费下载.pdf》由会员分享,可在线阅读,更多相关《数据标准管理实践白皮书|免费下载.pdf(25页珍藏版)》请在悟道方案网上搜索。
1、中国信息通信研究院 云计算与大数据研究所 CCSA TC601 大数据技术标准推进委员会 数据标准 管理实践白皮 书 数据标准管理实践白皮书 版 权声明 本白皮书版权属于中国信息通信研究院云计算与大数据 研究所,并受法律保护。转载、摘编或利用其它方式使用本白 皮书文字或者观点的,应注明 “来源:中国信息通信研究院云计 算与大数据研究所 ”。违反上述声明者,本院将追究其相关法律 责任。 牵头编写单位 (排名无先后) : 中国信息通信研究院 、广州信安数据有 限公司 、 中国 光大集团、 国家 开发 银行 、 南方电网有限责任
2、公司 、 中 国移动浙江公司 、 中国外运股份有限公司 参与编写单位 (排名无先后) : 国家能源集团信息公司 、 中国电信集团 有限公司企业信息化部(数据中心) 、 南方电网数字电网研究院有限公 司 、 石化盈科信息技术有限责任公司 、 联通大数据有限公司、 北京百 度网讯科技有限公司 、 腾讯科技(深圳)有限公司 、华为技术有限公 司、 阿里云计算有限 公司、 杭州数梦工场科技有限公司 、 成都四方伟 业软件股份有限公司 、 浩鲸科技 编写组成员 (排名无先后) : 中国信息通信研究院 :魏凯、姜春宇、李雨霏、刘海燕、闫树 广州信安数据有限公
3、司 :骆阳 中国 光大集团:刘巍 国家 开发 银行 :钟晓良 南方电网有限责任公司 :陈彬 数据标准管理实践白皮书 中国移动浙江公司 :傅一平 中国外运股份有限公司 :宋清波 国家能源集团信息公司 : 牟岩 中国电信集团有限公司企业信息化部(数据中心) :周文红、张振 南方电网数字电网研究院有限公司 : 甘杉 石化盈科信息技术有限责任公司 : 蔡春久 、辛华 联通大数据有限公司:谢云龙、樊利安 北京百度网讯科技有限公司 : 霍琦、龚政 腾讯
4、科技(深圳)有限公司 : 孙龙君、农益辉 华为技术有限公司 : 刘念 、 李庆波 阿里云计算有限 公司: 朱松 、 解敏 杭州数梦工场科技有限公司 : 念灿华、漆可欣、郝滨 、李楷 成都四方伟业软件股份有限公司 : 刘俊良、李岳璘、周刚、王军 浩鲸科技: 佘 琼渠 数据标准管理实践白皮书 前言 数据标准 ( Data Standards) 是保障数据的内外部使用和交换的一 致性和准确性的规范性约束 。 数据标准管理是 规范 数据标准的制定和实 施的一系列活动 ,是 数据资产管理的核心 活动之一,对于
5、政府和企业提 升数据质量、厘清数据构成、打通数据孤岛、加快数据流通、释放数据 价值有着至关重要的作用。但是目前,各行业缺少数据标准管理的理论 指导和行业实践案例,企业在标准建立、标准审核、标准落地、标准评 估等方面仍存在诸多困难。 本白皮书 结合了 国内外数据管理相关理论知识 的最新成果,以及国 内数据标准管理的实践经验 , 对数据标准管理进行了深入探讨。重点辨 析了数据标准以及相关内涵,梳理了数据标准分类及体系,概括了数据 标准管理的组织架构和制度体系,总结了企业开展数据标准管理面临的 挑战,并提出了相关实践建议。相 信本白皮书对 国内各行业从事数据治 理工作的管理者、实践者和研
6、究者 都将具有一定参考意义。 由于编写的水平和时间有限,难免有所纰漏,欢迎大家批评指正。 目 录 一、 数据标准概述 . 1 (一 ) 数据标准的内涵 . 1 (二 ) 数据标准分类 2 (三 ) 数据标准在数据资产管理中的作用 . 7 二、 数据标准管理主要内容 10 (一 ) 标准规划 10 (二 ) 标准制定 11 (三 ) 标准发布 13 (四 ) 标准执行 14 (五 ) 标准维护 16 三、 数据标准管理的保障措施 17 (一 ) 数据标准
7、管理组织架构 . 17 (二 ) 数据标准管理制度体系 . 17 四、 数据标准管理挑战与建议 19 (一 ) 数据标准管理的挑战 . 19 (二 ) 数据标准管理的实践原则 . 19 数据标准管理实践白皮书 1 一、 数据标准概述 数据标准是进行数据标准化的主要依据 , 构建一套完整的数据标准体 系是开展数据标准管理工作的良好基础,有利于打通数据底层的互通性,提 升数据的可用性。本章从数据标准的概念入手,多角度探讨数据标准的内涵, 构建数据标准分类体系,并阐述了数据标准作为数据资产管理核心要素的 重要性。 (一 ) 数据标准的内涵
8、数据标准 ( Data Standards) 是指保障数据的内外部使用和交换的一 致性和准确性的规范性约束 1。 在数字化过程中,数据是业务活动在信息系 统中的真实反映。由于业务对象在信息系统中以数据的形式存在,数据标准 相关管理活动均需以业务为基础,并 以 标准的形式规范业务对象在各信息 系统中的统一定义和应用,以提升企业在业务协同、监管合规、 数据共享开 放、 数据分析应用等各方面的能力 。 “数据标准”并非是一个专有名词,而是一系列“规范性约束”的抽 象。但 是, 数据标准的具体形态通常是一个 或多个数据元的集合,即数据 元是数据标准的基本单元。 信息技术数据元的规范与标准化
9、第 1 部分 数 据元的规范与标准化框架( GB/T 18391.1-2002)将 数据元 定义为 用 一组属 性描述定义、标识、表示和允许值的数据单元 2。 表 1 以 银行间市场基础 数据元 ( JR/T 0065-2019)标准 为例,展示了 银行间市场基础数据元属性及 1 数据资产管理实践白皮书 4.0,中国信息通信研究院, 2019. 2 JR/T 0065-2019,银行间市场基础数据元 数据标准管理实践白皮书 2 其描述 : 每一个数据元应由数据元中文名称、数据元英文名称、数据元标识 符、说明、数据类型、取值、 IMIX 域名 七个属性 组成,每一个数据元
10、属性 的 描述包括该属性的注释以及 相关 标准 规则。 表 1 数据元示例 -银行间市场基础数据元属性及其描述( JR/T 0065-2019) 数据元属性 数据元属性描述 数据元中文名称 数据元的中文名称,应按照 GB/T 18391.5-2009 中规定的数 据元命名规则进行命名 数据元英文名称 用英文表示的数据元名称 数据元标识符 数据元在本标准中的唯一标识符,按照数据元的类目分组进 行顺序编号,并适当留有一定的扩展空间 说明 数据元含义的文字描述 数据类型 用于定义数据域的取值类型,本标准由文本、数值、
11、日期和 时间四个基本的数据类型组成 取值 取值范围可以是一个集合,任何在此集合外的取值都被认为 是非法取值,取值若未“无”,则表示本标准中该数据元的 取值无限制 IMIX 域名 JR/T 0066 中基本的数据元素,每个域有其域号、业务含义 和确定的取值范围。 (二 ) 数据标准分类 数据标准是进行数据标准化、消除数据业务歧义的主要参考和依据。对 数据标准进行分类,将有利于数据标准的 编制、 查询、 落地 和 维护 。 数据标准有多种分类方式,对于不同的分类方式,均可采用以数据元为 数据标准制定的基本单元构建数据标准体系。本白皮 书
12、以银行业、电信业的 数据标准分类为例,说明在这种分类方式下的数据标准。 数据可以分为基础类数据和指标类数据。 基础类数据 指 业务流程中直 接产生的,未经过加工和处理的基础业务信息 。 指标类数据 是指具备统计意 义的基础类数据,通常由一个或以上的基础数据根据一定的统计规则计算 而得到。 相应 地,数据 标准也可以分为 基础类数据 标准 或指标类数据 标准 。 基础类数据标准 是为了统一企业所有业务活动相关数据的一致性和准确性, 数据标准管理实践白皮书 3 解决业务间数据一致性和数据整合,按照数据标准管理过程制定的数据标 准 。 指标类数据标准 一般分为基础指标标准和计
13、算指标(又称组合指标)标 准。基础指标 具 有特定业务和经济含义 ,且仅能通过基础类数据加工获得 , 计算指标通常由两个以上基础指标计算得出 3。 并非所有基础类数据和指标 类数据都应纳入数据标准的管辖范围。数据标准管辖的数据,通常只是需要 在各业务条线、各信息系统之间实现共享和交换的数据,以及为满足监控机 构、上级主管部门、各级政府部门的数据报送要求而需要的 数据。 在基础类数据标准和指标类数据标准这个框架下,可以根据各自的业 务主题进行细分。细分时应尽可能做到 涵盖企业的主要业务活动 ,且 涵盖企 业生产系统中产生的 所有 业务数据 。以银行业的基础类数据标准和指标类 数据标准
14、分类为例(见 图 1),基础类数据标准分为客户数据标准、产品数 据标准、协议数据标准、渠道数据标准、交易数据标准、财务数据标准、资 产数据标准、公 共代码数据标准、机构和员工数据标准、地域和位置数据标 准等。指标类数据标准包括监管合规指标、客户管理指标、风险管理指标、 资产负债指标、营销管理指标、综合经营指标等。 基础类数据标准和指标类数据标准通过分别建立基础类数据元和指标 类数据元,并将基础类数据元和指标类数据元与数据映射,实现基础类数据 标准和指标类数据标准的落地。具体来说,对于结构化数据中的任意一个字 段,当其不具备指标特征时,可直接将其与某一业务类别下的基础类数据元 (如包
15、含命名规则、数据类型和值域等属性)映射,实现该字段的标准化(符 3 在企业结构化数据中,还存在标签数据。标签数据是主要反映客观对象的概括性特征,一般由客观对象的基 础或指标数据按一定规则加工而成,因此通常被当作一种指标类数据来管理,但由于标签数据具有多变性、周期 性、时效性且数量非常大,从管理实践上看与指标类数据还存在一定的差异 。 数据标准管理实践白皮书 4 合命名规则、数据类型和 值域的规定);当其具备指标特征时,可直接将其 与某一业务类别下的指标类数据元(如命名规则、约束规则、数据类型和值 域等)映射,实现该字段的标准化(符合命名规则、约束规则、数据类型和 值域的
16、规定)。 图 1 银行业典型基础类数据标准和指标类数据标准 下面以银行业的数据标准 分类 为例进行 数据元及其属性的 说明。 1. 银行间市场基础数据分类及数据元 银行间市场基础数据分类为参与方、产品、事件、公共数据、条件、风 险控制,其类别及描述如 表 2 所示。 表 2 银行间市场基础数据分类 基础数据分类 基础数据分类描述 参与方 与机构、用户等有关的数据元 产品 与市场、产品有关的数据元 事件 与交易、交易后相关的数据元 公共数据 与交易工具(包括货币、货
17、币对、债券、 资产支持证券等)有关的数据元 条件 与交易时间段、节假日、起息日等有关的 数据标准管理实践白皮书 5 数据元 风险控制 与限额、授信等有关的数据元 银行间市场基础数据的数据元具备相同的数据元属性,包括数据元中 文名称、数据元英文名称、数据元标识符 、说明、数据类型、取值、 IMIX 域 名 ,数据元属性描述见 表 1。 以每一基础数据类别为例,在各类别下展示部分数据元。如 表 3 所示。 其中,可以注意到部分数据元属性的值包含数据元属性标准(如“基础数据 类别”为 “产品” 时的“取值”,直接注明取值范围),部分数据元属
18、性的值 需引用其他标准(如“基础数据类别”为“产品”时的“说明”)。 表 3 银行间市场基础数据类别及数据元示例 基础数据 类别 数据 元 数据元属性 数据元 中文名 称 数据元英 文名称 数据 元标 识符 说明 数 据 类 型 取值 IMIX 域名 参与方 统一 社会 信用 代码 统一社 会信用 代码 Unified Social Credit:Id entifier 1218 按照 GB 32100- 2015 规定,赋予
19、每个法人和其他 组织在全国范围 内唯一的,终审不 变的 18 位法定身 份识别码 文 本 无 PartySubID( JR/T 00665 一般以 “ Party”组件描 述机构实体,以 “ Party”下的子 组件“ SubID”描 述机构实体详细 信息) 产品 市场名称 市场名称 MarketName 0595 市场的名称 文本 债券市场、 货币市场、 衍生品市 场、外汇市 场 无 事件 交易 模式 名称 交易模 式名称 Trading Mode Name 0760 交易模式的名称
20、 文 本 指令驱动、 报价驱动、 协商交易、 拍卖 无 公共数据 计算方法 计算方法 Calculation Method 0177 即利息分配方式,债券或其他证券 文本 天数、频率 InterstAllocationMethod 数据标准管理实践白皮书 6 利息或收益率的 计算规则 条件 交易 时段 类型 交易时 段类型 Trading Session Type 0861 对交易时段的分类 文本 开市、开盘、 停盘、复盘、 收盒、闭市 TradSesStatus
21、风险控制 检查类型 检查类型 Check Type 1051 系统进行授信关系检查的方式 文本 单向检查、双向检查 无 2. 银行经营管理指标数据分类及数据元 银行经营管理指标数据元( JR/T 0137-2017)将 银行经营管理指标数 据 分为 基本信息、统计信息、口径信息、管理信息 。银行 经营管理指标数据 的数据元具备 相同的数据元属性,包括名称、定义、约束规则、数据类型、 值域、备注(见 表 4)。 表 4 银行经营管理指标数据元属性及其描述 数据元属性 数据元属性描述 名称 赋予数据元的单个或多个中文字词的指称,应按照 G
22、B/T 18391.1- 2009 中规定的数据元命名规范进行命名 定义 表达一个数据元的本质特性并使其区别于所有其他数据元的陈述 约束规则 数据元构成的应有或可有要求及其遵循规则 数据类型 用于表示数据元的符号、字符或其他表示的类型和格式需求,按照 JR/T 0105 给出的银行数据标准的数据类型进行定义 值域 数据元允许值的集合 备注 与该数据元相关的其他说明 以每一指标数据类别为例,在各类别下展示部分数据元 , 如 表 5 所示。 表 5 银行经营管理指标数据类别及数据元示例 指标数据 类别
23、 数据元 数据元属性 名称 定义 约束规则 数据类型 值域 备注 基本信息 指标编号 指标编号 指标的唯 一识别编 号,一经 分配,不 可变更 应有。不 可重复, 宜定义统 一的指标 编 号 规 则,包括 编码类 无 无 数据标准管理实践白皮书 7 编号的长 度、编号 的构成、 各组成部 分的业务 含义、字 符编码大 小写敏感 要求等 统计信息 指标维度 指标维度 说明指标 在统计时 使用的机 构、时间、 币种等维 度,可以 是一个或 多个维度 应有。列 举维度名 称,多个 维
24、度时用 “ ,” 分 隔。 文本类 参考“常 用指标维 度”规则 无 口径信息 指标类型 指标类型 按照指标 构成方式 及指标间 关系划分 的类型, 分为基础 指标、组 合指标 应有 代码类 1 基本 指标 2 组合 指标 应用于指 标口径描 述,以及 指标关联 分析,可 配合指标 口 径 信 息,自动 解析出指 标的关联 关系 管理信息 数据提供者 数据提供者 跨金融机 构的统计 数据提供 者 可有 文本类 无 无 (三 ) 数据标准 在
- 温馨提示:
建议用WPS软件(.pptx、.docx)打开文档,少量文档使用Microsoft(.ppt、.doc)打开易出错。
- 配套讲稿:
如PPT文件的首页显示word图标打开文档,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 标准 管理 实践 白皮书
