政务大数据平台数据智能治理子平台建设方案.pptx
《政务大数据平台数据智能治理子平台建设方案.pptx》由会员分享,可在线阅读,更多相关《政务大数据平台数据智能治理子平台建设方案.pptx(33页珍藏版)》请在悟道方案网上搜索。
1、政务大数据平台_数据智能子平台建设方案,项目概述,按照S市大数据中心对市区两级大数据资源平台建设统一标准规范的要求下,以实际需求为导向,搭建m区大数据资源平台,加快推进与承接S市大数据资源平台的落地数据资源,归集区内各单位公共数据资源,按需实现共享交换,逐步构建形成m区公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系,构建m区数据基础库、专题库和主题库为核心的数据资产,充分挖掘与发挥数据应用价值,构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系按照总集规划,对m区大数据资源平台中的数据智能子系统进行建设,数据智能子系统作为大数据资源平台的核心系统,包括:数据
2、资产、数据治理2大核心管理;通过数据资产子模块管控整个大数据资源平台中的数据资产,围绕数据资产的全生命周期进行管理;数据治理作为大数据资源平台中作为数据清洗、融合、挖掘的核心工具,对平台内的数据进行治理。,项目概述平台上下文,总体架构,第三方系统,门户系统,归集系统,编目系统,共享交换系统,GIS系统,数据资产平台,目录管理,资产管理,目录分类管理,目录上报,目录浏览,资源浏览,组织机构管理,应用管理,数据治理平台,数据标准管理,主题管理,数据工厂,元数据管理,任务调度,数据质量,数据服务,控制中心,存储,临时归集库(GP库),临时治理库(PG库),XH底座,平台应用库(MySQL库),编目对
3、接中间库库(MySQL库),安全中心,身份认证,数据安全,运维监控,监控平台,运维平台,应用架构,目录数据流,目录同步流程,数据资产,数据治理,定时把中间库的数据同步到资产,归集完成,根据数据湖的实际表信息生成元数据的表、字段(需要对比历史元数据的MD5,如有差异生成新版本的元数据),元数据保存,每天定时目录同步,数据湖,委办上报目录:根据归集消息&元数据,保存目录的原始资源表市区下发目录:无操作;市区会级联下发目录的开放资源,MQ,MySQL同步中间库,编目系统,归集系统,消费归集消息,归集通知,目录实时更新消息,目录实时同步更新,共享交换,API目录同步,API目录实时更新消息,目
4、录分类同步,目录分类同步,数据治理流程,委办局,门户,数据资产,数据治理,1 目录浏览&申请,数据湖,ODS贴源层数据,DWD清洗层数据,DWS融合层数据,2.2 申请未治理的数据:数据开发人员,根据任务清单,在数据治理平台进行开发治理任务,4.1 对于新的目录:选择治理后的元数据,创建目录&目录开放资源&目录原始资源(可根据任务的输入、输出表自动生成),共享交换,5 治理任务完成,6.1 数据查询,6.2 数据共享,3 从ODS清洗到DWD,从DWD融合到DWS,把DWD/DWS数据同步至ADS层,2.1 申请已治理数据:直接通过共享交换系统,对外共享数据,ADS共享
5、层数据,4.2 已有目录:查询元数据,进行 目录开放资源的挂载(或根据任务的输入、输出表自动生成),目录、资源、元数据的关联流程,第三方系统,数据资产,数据治理,归集系统,编目系统,目录同步服务,目录,原始资源,归集同步服务,同步,更新,委办目录归集,生成原始资源,元数据,采集XH表结构生成数据治理平台的元数据(需要对比历史元数据的MD5,如有差异生成新版本的元数据),开放资源,市区目录同步,更新开放资源,数据开发人员,根据需求单,治理开发创建元数据,治理开发完成,创建目录(已有目录的,只需要挂载资源),挂载原始资源、开放资源,调度任务,治理完成,目录创建:选择数据治理平台中的元数据,自动创建
6、目录、开放资源(程序根据元数据生成目录、开放资源的信息)、原始资源原始资源挂载:委办上报的编目在归集通知处理时创建;其他目录根据治理调度任务的输入表、输出表的关系 自动挂载原始资源 或 手动挂载开放资源挂载:市区下发的编目在目录同步时创建;其他目录根据治理调度任务的输入表、输出表的关系 自动挂载开放资源 或者 手动挂载,关联逻辑,共享交换,目录创建资源挂载,治理开发,数据资产,同步工程ES定时同步任务,数据资产平台目录、资源全文检索(延迟1天),开始定时每天4:30执行,创建表&修改max_result_window表名称 xxxx_20200914,查询每页的目录数据,插入最新的目录
7、数据,产品库,查询,XHSearch,修改最新查询的表名为新表名,建表,插入,配置表,删除15天前表,删除表,结束,配置表,循环分页查询,修改,存储格式,接口工程数据查询API,门户,查询最新表名,通过最新表名查询目录、资源数据,数据资产平台目录、资源全文检索(准实时),接口工程数据查询API,门户,XHSearch,管理后端工程,数据库,目录/资源/字段,变更日志表,直接更新,其他系统推送目录、资源,通过触发器新增变更日志,首次初始化ES数据,每隔1分钟通过定时任务扫描,对新变更的数据同步更新到ES,同步工程数据初始化程序,目录、资源修改,更新到数据资产的 目录、资源等表中,数据资产,目录的
8、血缘分析,原始资源(目录的原始资源),开放资源(目录的原始资源),需求单(门户的申请需求单),委办目录:原始资源为奥腾归集后的表市区级联目录:无原始资源融合目录:治理人员手动挂载原始资源 或者 创建目录时根据开放资源的元数据血缘(调度任务的输入、输出表)自动挂载原始资源,委办目录:手动挂载 或 自动根据治理任务的 输入表、输出表自动挂载资源市区级联目录:市区级联下发的目录的资源融合目录:手动挂载 或 创建目录时根据选择的元数据 自动创建,查询门户的需求单,目录样例数据的处理方式,编目系统,A.1 目录同步,归集系统,A.3 归集完成通知,MySQL,XH库,A.2 数据归集到XH库,A.4 获
9、取新归集表的前10条,存储到 资产平台的 样例数据表中,样例表,门户,样例数据展示,注:A.x:委办上报目录、市区级联目录的样例数据处理逻辑B.x:通过数据治理融合产生的新目录的样例数据处理逻辑样例数据格式:以JSON方式存储,Key为目录项的字段英文名,Value为抽取数据的字段值样例数据维护:在目录管理中,增加样例数据维护功能,对样例数据进行编辑,数据资产,数据治理,B.1 治理开发,B.2 目录创建&资源挂载,B.3 抽取挂载的开放资源表的前10条,存储到样例数据表中,数据质量检查职责划分,质量报告,资产平台,对外提供,治理平台,目录规范,目录项规范,命名规范,长度规范,完整性检
10、查,唯一主键,时间戳字段,长度规范,删除位规范,共享条件规范,唯一性规范,SQL方式检查,统计查询,SQL查询,数据规范,表不为空,不能有空值,枚举检查,范围检查,格式检查,波动检查,元数据一致性,产品配置检查,资产平台职责1、质量报告的统一入口2、对目录、资源相关规范进行检查3、汇总治理平台的检查结果,并向外提供,治理平台职责1、只做表的数据内容范围的质量检查2、不做目录、目录项的质量检查,数据质量检查实现方式,定时任务,循环执行每个规则SQL,规则配置表,规则检查结果表,规则检查结果明细表,规则执行结果,规则执行异常明细,数据湖分层分库设计,数据湖分层分库命名规范,数据权限控制,数据治理平
11、台:用户:由身份认证平台同步过来,也可自行创建团队:由身份认证平台同步过来,也可自行创建;一个用户默认关联的团队为:用户关联的组织机构,治理组人员可在数据治理平台中关联多个团队数据权限:根据当前登录用户所属的团队,切换不同的团队,看各个团队及子团队下的数据;数据资产平台:用户:由身份认证平台同步过来,也可自行创建团队:使用数据治理平台中的团队数据;可考虑后续再数据资产平台中 增加团队管理功能,方便功能改造数据权限:根据当前登录用户所属的团队,切换不同的团队,看各个团队及子团队下的数据;,数据资产身份认证集成,用户,角色,团队,菜单,1:N,1:N,目录,1:N,1:N,自有用户角色、菜单的关联
12、数据来自于 数据库(用户-角色-团队)通过数据库查询,不通过身份认证接口获取,角色,菜单,1:N,用户,用户操作权限来源有2种,统一用户角色、菜单的关联数据来自于 身份认证角色、菜单信息,不查询自有数据库的数据,只通过身份接口获取,1:1,1:N,身份认证平台,数据资产平台,1:N,数据治理平台,团队团队使用 数据治理平台 中的团队用户与团队的关联,使用 数据治理平台中的用户团队关联,用户,1:1,1:N,任务调度依赖归集消息的流程,数据共享脱敏方案,共享交换,XH库,安全信息表,门户,数据资产,数据治理,脱敏系统,敏感数据探查,探查结果实时同步,目录浏览&申请,根据安全级别进行脱敏查
- 温馨提示:
建议用WPS软件(.pptx、.docx)打开文档,少量文档使用Microsoft(.ppt、.doc)打开易出错。
- 配套讲稿:
如PPT文件的首页显示word图标打开文档,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 政务 数据 平台 智能 治理 建设 方案
