大数据局数据治理解决方案V3.0.pptx

《大数据局数据治理解决方案V3.0.pptx》由会员分享，可在线阅读，更多相关《大数据局数据治理解决方案V3.0.pptx（39页珍藏版）》请在悟道方案网上搜索。

1、大数据局数据治理解决方案,大数据治理,身边的大数据,大数据无处不在，善于解读、分析、运用大数据指标，将为科学决策和管理提供重要的数据支撑；但如果对大数据指标的理解不够透彻， 就会产生疑惑甚至是大数据误用。如： 工业增加值的大数据范围是规模以上工业企业，所以工业增加值增速严格意义上是指规模以上工业企业增加值增速，但经常被使 用者认为是全部工业企业增速。 有些数据使用者对工业增加值增速波动大，产生疑惑，但很少有人全面了解规模以上工业企业的划分标准经历了三次调整。,2007-2010年为年主营业务收入在500万元以上 的工业企业,自2011年起，工业大数据局范围调整为年主营业务 收入2000万元以上

2、的工业企业,2006年以前为全部国有及年主营业务收入在500 万元以上非国有工业企业,大数据与政府工作,产业升级 产业结构调整 招商引资,经济发展,污染治理 资源调控 灾害防治,环境保护,社会保障：医疗、教育、养老 交通 物价,民生服务,城镇化建设 城市基础设置建设 房地产供给,城市建设,流动人口管理 治安 重大事件应急管理,安全维稳,大数据,行业 进出口 能源 数据 数据 数据,资源 数据,排放 数据,气象 数据,人口 数据,就业 数据,医疗 数据,房地产 建筑业 交通 数据 数据 数据,流动人 治安 口数据 数据,灾害 数据,问题与现状,数据使用难 领导决策中，所需报表需要手工制作 手工传

3、输，效率低 公众只能通过传统数据产品或网上下 载电子表格文件查询数据，使用繁琐 内部用户使用数据亦需要通过多个电 子文件进行手工组合，效率低易出现 错误,数据管理难 数据以电子文件或孤立系统的形式分 散于各个部门，形成数据孤岛 不同数据版本存在于各个电子文件中， 导致数据使用出现误差，造成不必要 的麻烦 缺失兄弟省市数据，不利于比较,核心痛点：数据融合与管理,数据统一存储和管理，打破数据孤岛 所有数据按照大数据架构进行统一存储和管理，打破部门壁垒实现数据的整合 提升数据存储的安全性，避免因人员变动和设备故障导致数据的遗失和使用误差 将文件流转化为信息流，提升数据管理的效率 将文件转化为数据库中

4、的数据，方便进行各种数据质量的检验，及时发现问题提升管理效率 数据从采集到管理，全程可追踪监控，提升流程管理效率 强化历史数据和数据版本的管理，提升数据质量 对数据多次变更进行版本管理，避免版本无用导致的数据管理事故 实现历史数据追溯和管理，提升数据实用价值,核心痛点：提升数据易用性,快速支持领导科学决策的数据需求 通过PC端和手机端简单易用的查询快速查找决策所需数据 通过PC端和手机端查询大数据局局制作并推送的各种报表 为公众提供生动实用的政府数据公开服务 通过PC端和手机端生动便捷地获取各种大数据局数据，引导经济和民生建设合理预期，健康发展 为各委办局提供数据共享服务 通过PC端和手机端增

5、强各部门之间的数据共享，变单向输出为互动共享，促进数据交流积极性 为局内提供专业使用的数据应用平台 提供专业灵活的数据查询和交叉制表，支持各种核算 提供系统化的数据产品（如：年鉴、月报、季报等）制作，提升工作效率,数据治理要素与实施,计划、制度与标准规法 Plan & Rule & Standards,数据质量提升是目标,主数据管理是关键,元数据管理是基础,数据治理流程,数据采集与使用,数据治理,建立数据标准,制定数据管理流程,形成平台与工具,SDMX标准,SDMX(Statistical Data and Metadata Exchange)标准始于2001年，由国际清算银行、欧洲中央银行、

6、欧盟大数据局局、国际货币基 金组织、经济合作和发展组织、联合国和世界银行等7个国际组织发起并资助建立的，其目的是促进大数据局数据及其元数据在国际组织及 其成员国之间进行交换和共享。,World Bank,UNSD,SDMX标准的内容,一是大数据局数据及其元数据交换的技术标准，易 于数据的使用者获取并使用大数据局数据及大数据局元数 据；,二是大数据局术语及共同的元数据词典，以便对统 计数据的正确理解和使用；,三是可利用的工具软件，这些工具软件基于 SDMX标准，可实现大数据局数据和元数据的交换,为实现交换与共享的 IT 构 造 （IT Infrastructure for exchange an

7、d sharing）,内容指向型 指导 (Content Oriented Guidelines),SDMX 信息 模型 （informati on model）,基于SDMX的大数据结构定义,时间/频数,库存流量,国家 (维度),(维度),(维度),乘积单位 (属性),(维度),指标 (维度),变量单位 (属性),数值 (测量值),大数据局数据立方结构,截面,横,国家,ES,IT,FR,AT,旅游活动项目,A100,B010,B020,年份,2007 2006,2005 2004,时间序列,2006年的横截面数据,12 57 8 289 2 529 546,1 257 1 250 1 216

8、 1 220,Tourism activity fi,xed at B010,大数据局大数据治理流程,梳理指标,数据整理,数据加载,指标体系,模板中心,入库系统,基础库,工作库,发布库,查询,展示,应用,建立,数据 交换,传输,传输,报 表 查 询,跨 表 查 询,可 视 化 查 询,分 析 预 测,地 图,可 视 化,图 表 联 动,数据大管家平台,基础库管理系统,在线加载录入系统 文件上传加载,互联网终端,移动互联网终端,支持内部数据管理和各项统 计数据应用,发布库发布系统,服务于社会公众，满足社会对大数据局 信息的需要,服务 接口,工作库应用系统,在单位内部或与协作单位共享使用， 主要用

9、于内部日常工作的开展，包 括数据查询、搜索和数据产品应用,1. 数据整合管理,尊重现有流程与制度，实现在线化，提升效率与质量,网络数据采集：采集前移提升效率与数据质量,下载模板,填写数据,上传数据,数据校验,数据提交,质量问题直接返回给上报部门进行核实,各委办局根据流程在线上报,数据整合管理服务：从横向和纵向增强数据实用性,纵向：通过对历史数据的整理，实现更方便 快捷的时间序列分析，使数据分析更加深入， 更好的支持数据决策 横向：通过对其他地区数据的补充，建立数 据分析的标杆，使分析更加有的放矢,纵向：对历史数据进行整理,横向：补充其他地区数据,数据内容补充：拓展数据宽度，建立比较标杆,全国宏

10、观数据 涉及GDP、投资、消费、进出口、物价、工资水平、财政、金融、农业、工业、建筑业、交通运输、邮电等方面 包含年度、季度、月度 各地区宏观数据 涉及GDP、人口、从业人员、城镇居民收入与支出、固定资产投资、房地产投资、CPI、PPI、财政收支、社会消费品零售 总额、进出口、工业企业利润、建筑业总产值、货运量、客运量、城市建设情况、环境保护情况等 包含各省及70个大中城市数据 国际数据 涉及GDP、CPI、人口、失业率、土地面积、森林面积、耕地面积、粮食产量、商品进出口、客运量、货运量、同业拆借率、 汇率、黄金流通、货币流通、利率等。 ,2. 多层次数据应用,高效支持科学数据决策，实践政府数

11、据公开,2.1 简便易用的数据查询,简单易懂的分类浏览：帮助您了解数据资源,查看指标解释,排序,作图,灵活的跨表指标查询：快速制表发现问题,指标分类,备选指标,选中指标,指标查询,收益：任意指标均可一键查询进行比较,用日常用语即可搜索,关键词分词 关键词分组 指标词 地区词 时间词 搜指标 搜地区 搜时间 组合获取数据 返回搜索结果,用户输入关键词,最易用的关键词搜索：用最通俗的词语查找专业的指标,2.2 可视化与决策支持,让数据讲出自己的故事,丰富的可视化与决策支持（1）,通过与KPI结合， 形成各种数据可 视化产品，充分 帮助政府进行有 效决策。,丰富的可视化与决策支持（2）,规模以上工业

12、经济效益情况,中国人口变化状况,中国城镇化进程,70个大中城市住宅销售价 格变动地图,重庆人均GDP变化情况,房地产投资,2015年2月份主要经济指标,2015年1-2月工业100强企业总产值,。,，,主动式服务：定制报表的推送,定期推送,定向推送,领导,部门,主要经济指标月度报告 工业百强企业总产值月 度报告 商业20强企业零售额月 度报告 分行业固定资产投资额 月度报告 ,2.4 便捷的移动端,随时随地查询数据,随身的数据小秘书,大数据局大数据应用案例,“国家数据”系统平台,时任XX大数据局局局长XX，授予为XX大数据局 数据库作出杰出贡献的XX先生奖杯，同时一并 肯定了XX的工作成果。,

13、依托于ACMR系统开发经验及大数据局数据开发使用经验，国家统 计局创新升级了“涵盖内容更加全面、使用体验更加快捷”的 新版数据库平台“国家数据”。该数据库平台主题更加 鲜明、涵盖更加广泛、用户体验更加卓越。,其他成功案例,XX市大数据局局,工业和信息化部电信研究院,XX自治区大数据局,XX大数据局局,XX大数据局局社科文司,大数据局局XX 调查总队,XX市XX区大数据局局,XX市大数据局,大数据局大数据平台发展方向,战略目标一：构建从采集、加工、分析到应用的一体化数据平台,数 据 管 理 层,微观数据中心,元数据中心,数据分析 宏观数据中心 中心,示数 层据 展,门 户,数据查询,数据可视化,

14、分析报告,预测预警,搜索,政府决策支持系统,公众发布系统,法人库群,人口库群,政企数据互动社区,数 据 采 集 中 心,企业 委办局 ,企业 调查人员 手机用户,商业终端 景点 交通设施 运营商 招聘网站 电子商务 医院 ,报表上报 系统 一套表 系统 问卷调研 系统 传感器统 计系统 大数据统 计系统,战略目标二：构建基于大数据的数据采集体系,问卷调研 系统,传感器统 计系统,大数据统 计系统,政企数据互动社区,手机短信,通过多种互联网和大数据的方法建立新的数据采集体系：利用大数据监测日常数据或通过在线调研进行专题调研。 通过政企数据交互社区向企业推送问,卷，或通过与运营商合作直接通过短 信

15、向个人推送问卷获取调研数据。如 针对离开四川的移动用户进行短信调 研旅游满意度等。,通过这些企业的数据上加装 大数据大数据局终端，直接大数据局 上报数据。,电信运营商,医院,批发零售企业,物流企业,交管部门,如：移动用户数、 上网流量、人口 迁移状况等 如：诊疗人数、 病床占用率、药 费、诊疗费等,如：价格数据等,如：快递件数、 流向等,景点,农贸市场,通过放置在特定场合的各种传感器获 取大数据局数据。如：在景点通过摄像头 获取参观人数信息，在农贸市场通过 电子秤获取价格和交易量等信息。,如：拥车情况、 交通流量等,战略目标三：构建省市两级节点大数据局数据云管理体系,通过数据 统一管理 系统对所 有指标及 维度进行 统一编码 管理，形 成完整的 数据共享 和分发机 制。建立 省、市、 区县三级 工作平台。,市级云节点,市级基础库管理系统,市级决策 支持系统,市级发布库 发布系统,省级云节点,省级基础库管理系统,省级决策 支持系统,省级发布库 发布系统,数据交换管理总线,政企数据 互动社区,大数据局云,政务云,当前大数据局大数据的应用只是冰山一角,绝大部分隐藏在表面之下。 未来，大数据所带来的精彩值得期待！,