政务大数据平台数据智能治理子平台建设方案.pptx

《政务大数据平台数据智能治理子平台建设方案.pptx》由会员分享，可在线阅读，更多相关《政务大数据平台数据智能治理子平台建设方案.pptx（33页珍藏版）》请在悟道方案网上搜索。

1、政务大数据平台_数据智能子平台建设方案,项目概述,按照S市大数据中心对市区两级大数据资源平台建设统一标准规范的要求下，以实际需求为导向，搭建m区大数据资源平台，加快推进与承接S市大数据资源平台的落地数据资源，归集区内各单位公共数据资源，按需实现共享交换，逐步构建形成m区公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系，构建m区数据基础库、专题库和主题库为核心的数据资产，充分挖掘与发挥数据应用价值，构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系按照总集规划，对m区大数据资源平台中的数据智能子系统进行建设，数据智能子系统作为大数据资源平台的核心系统，包括：数据

2、资产、数据治理2大核心管理；通过数据资产子模块管控整个大数据资源平台中的数据资产，围绕数据资产的全生命周期进行管理；数据治理作为大数据资源平台中作为数据清洗、融合、挖掘的核心工具，对平台内的数据进行治理。,项目概述平台上下文,总体架构,第三方系统,门户系统,归集系统,编目系统,共享交换系统,GIS系统,数据资产平台,目录管理,资产管理,目录分类管理,目录上报,目录浏览,资源浏览,组织机构管理,应用管理,数据治理平台,数据标准管理,主题管理,数据工厂,元数据管理,任务调度,数据质量,数据服务,控制中心,存储,临时归集库（GP库）,临时治理库（PG库）,XH底座,平台应用库（MySQL库）,编目对

3、接中间库库（MySQL库）,安全中心,身份认证,数据安全,运维监控,监控平台,运维平台,应用架构,目录数据流,目录同步流程,数据资产,数据治理,定时把中间库的数据同步到资产,归集完成，根据数据湖的实际表信息生成元数据的表、字段（需要对比历史元数据的MD5，如有差异生成新版本的元数据）,元数据保存,每天定时目录同步,数据湖,委办上报目录：根据归集消息&元数据，保存目录的原始资源表市区下发目录：无操作；市区会级联下发目录的开放资源,MQ,MySQL同步中间库,编目系统,归集系统,消费归集消息,归集通知,目录实时更新消息,目录实时同步更新,共享交换,API目录同步,API目录实时更新消息,目

4、录分类同步,目录分类同步,数据治理流程,委办局,门户,数据资产,数据治理,1 目录浏览&申请,数据湖,ODS贴源层数据,DWD清洗层数据,DWS融合层数据,2.2 申请未治理的数据：数据开发人员，根据任务清单，在数据治理平台进行开发治理任务,4.1 对于新的目录：选择治理后的元数据，创建目录&目录开放资源&目录原始资源（可根据任务的输入、输出表自动生成）,共享交换,5 治理任务完成,6.1 数据查询,6.2 数据共享,3 从ODS清洗到DWD，从DWD融合到DWS，把DWD/DWS数据同步至ADS层,2.1 申请已治理数据：直接通过共享交换系统，对外共享数据,ADS共享

5、层数据,4.2 已有目录：查询元数据，进行 目录开放资源的挂载（或根据任务的输入、输出表自动生成）,目录、资源、元数据的关联流程,第三方系统,数据资产,数据治理,归集系统,编目系统,目录同步服务,目录,原始资源,归集同步服务,同步,更新,委办目录归集，生成原始资源,元数据,采集XH表结构生成数据治理平台的元数据（需要对比历史元数据的MD5，如有差异生成新版本的元数据）,开放资源,市区目录同步，更新开放资源,数据开发人员,根据需求单,治理开发创建元数据,治理开发完成，创建目录（已有目录的，只需要挂载资源）,挂载原始资源、开放资源,调度任务,治理完成,目录创建：选择数据治理平台中的元数据，自动创建

6、目录、开放资源（程序根据元数据生成目录、开放资源的信息）、原始资源原始资源挂载：委办上报的编目在归集通知处理时创建；其他目录根据治理调度任务的输入表、输出表的关系 自动挂载原始资源 或 手动挂载开放资源挂载：市区下发的编目在目录同步时创建；其他目录根据治理调度任务的输入表、输出表的关系 自动挂载开放资源 或者 手动挂载,关联逻辑,共享交换,目录创建资源挂载,治理开发,数据资产,同步工程ES定时同步任务,数据资产平台目录、资源全文检索（延迟1天）,开始定时每天4:30执行,创建表&修改max_result_window表名称 xxxx_20200914,查询每页的目录数据,插入最新的目录

7、数据,产品库,查询,XHSearch,修改最新查询的表名为新表名,建表,插入,配置表,删除15天前表,删除表,结束,配置表,循环分页查询,修改,存储格式,接口工程数据查询API,门户,查询最新表名,通过最新表名查询目录、资源数据,数据资产平台目录、资源全文检索（准实时）,接口工程数据查询API,门户,XHSearch,管理后端工程,数据库,目录/资源/字段,变更日志表,直接更新,其他系统推送目录、资源,通过触发器新增变更日志,首次初始化ES数据,每隔1分钟通过定时任务扫描，对新变更的数据同步更新到ES,同步工程数据初始化程序,目录、资源修改,更新到数据资产的 目录、资源等表中,数据资产,目录的

8、血缘分析,原始资源（目录的原始资源）,开放资源（目录的原始资源）,需求单（门户的申请需求单）,委办目录：原始资源为奥腾归集后的表市区级联目录：无原始资源融合目录：治理人员手动挂载原始资源 或者 创建目录时根据开放资源的元数据血缘（调度任务的输入、输出表）自动挂载原始资源,委办目录：手动挂载 或 自动根据治理任务的 输入表、输出表自动挂载资源市区级联目录：市区级联下发的目录的资源融合目录：手动挂载 或 创建目录时根据选择的元数据 自动创建,查询门户的需求单,目录样例数据的处理方式,编目系统,A.1 目录同步,归集系统,A.3 归集完成通知,MySQL,XH库,A.2 数据归集到XH库,A.4 获

9、取新归集表的前10条，存储到 资产平台的 样例数据表中,样例表,门户,样例数据展示,注：A.x：委办上报目录、市区级联目录的样例数据处理逻辑B.x：通过数据治理融合产生的新目录的样例数据处理逻辑样例数据格式：以JSON方式存储，Key为目录项的字段英文名，Value为抽取数据的字段值样例数据维护：在目录管理中，增加样例数据维护功能，对样例数据进行编辑,数据资产,数据治理,B.1 治理开发,B.2 目录创建&资源挂载,B.3 抽取挂载的开放资源表的前10条，存储到样例数据表中,数据质量检查职责划分,质量报告,资产平台,对外提供,治理平台,目录规范,目录项规范,命名规范,长度规范,完整性检

10、查,唯一主键,时间戳字段,长度规范,删除位规范,共享条件规范,唯一性规范,SQL方式检查,统计查询,SQL查询,数据规范,表不为空,不能有空值,枚举检查,范围检查,格式检查,波动检查,元数据一致性,产品配置检查,资产平台职责1、质量报告的统一入口2、对目录、资源相关规范进行检查3、汇总治理平台的检查结果，并向外提供,治理平台职责1、只做表的数据内容范围的质量检查2、不做目录、目录项的质量检查,数据质量检查实现方式,定时任务,循环执行每个规则SQL,规则配置表,规则检查结果表,规则检查结果明细表,规则执行结果,规则执行异常明细,数据湖分层分库设计,数据湖分层分库命名规范,数据权限控制,数据治理平

11、台：用户：由身份认证平台同步过来，也可自行创建团队：由身份认证平台同步过来，也可自行创建；一个用户默认关联的团队为：用户关联的组织机构，治理组人员可在数据治理平台中关联多个团队数据权限：根据当前登录用户所属的团队，切换不同的团队，看各个团队及子团队下的数据；数据资产平台：用户：由身份认证平台同步过来，也可自行创建团队：使用数据治理平台中的团队数据；可考虑后续再数据资产平台中 增加团队管理功能，方便功能改造数据权限：根据当前登录用户所属的团队，切换不同的团队，看各个团队及子团队下的数据；,数据资产身份认证集成,用户,角色,团队,菜单,1：N,1：N,目录,1：N,1：N,自有用户角色、菜单的关联

12、数据来自于 数据库（用户-角色-团队）通过数据库查询，不通过身份认证接口获取,角色,菜单,1：N,用户,用户操作权限来源有2种,统一用户角色、菜单的关联数据来自于 身份认证角色、菜单信息，不查询自有数据库的数据，只通过身份接口获取,1：1,1：N,身份认证平台,数据资产平台,1：N,数据治理平台,团队团队使用 数据治理平台 中的团队用户与团队的关联，使用 数据治理平台中的用户团队关联,用户,1：1,1：N,任务调度依赖归集消息的流程,数据共享脱敏方案,共享交换,XH库,安全信息表,门户,数据资产,数据治理,脱敏系统,敏感数据探查,探查结果实时同步,目录浏览&申请,根据安全级别进行脱敏查

13、询,数据对外提供,查询目录、资产的安全信息,查询目录、资产、表的安全信息,资产表,安全同步中间库,业务操作,通过触发器更新,查询安全信息，更新资产表,2个安全信息更新逻辑1、触发器更新：脱敏系统 探查 XH库中 表的 安全信息后，会 通过 Otter组件，实时同步到 资产平台数据库中的 安全信息相关表中；通过安全信息表中的触发器，更新 目录、资源 的 探查状态和安全标签2、业务操作更新：通过数据资产平台，进行目录创建、资源挂载时；查询表的 探查状态和安全标签；保存到 目录和资源相关表中,应用库,产品表,资产表,安全同步中间库,数据共享脱敏方案脱敏探查数据同步,脱敏系统,XH库,数据资产,实时同

14、步,探查记录表,敏感数据表,安全标签,目录,资产,元数据,敏感数据探查,查询,触发器更新,元数据：元数据相关的表，仅是关联查询；无需保存安全相关数据到元数据表中；关联方式为：通过 schema+tab_name+colum_name 查询ODS层的表：更新原始资源中zc_origin_resource.DP_META_ID_等于对应ODS元数据tab_id的目录的探查状态，目录项的安全标签DWD层的表：更新开放资源中zc_open_resource.DP_META_ID_等于对应DWD元数据tab_id的开放资源的探查状态、开放资源项的安全标签DWS层的表：更新开放资源中zc_open_res

15、ource.DP_META_ID_等于对应DWS元数据tab_id的开放资源的探查状态、开放资源项的安全标签；以及对应目录的 探查状态、目录项的安全级别ADS层表：不做处理,逻辑1：通过触发器更新,只需要对探查记录表（ais_database_record）做触发器即可，触发类型（On Insert/Update/Delete），其他表关联查询,产品表,资产表,安全同步中间库,数据共享脱敏方案脱敏探查数据同步,数据资产,探查记录表,敏感数据表,安全标签,目录,资产,元数据,委办上报目录：(CATA_TYPE_=1)挂载开放资源：通过 手动挂载 或者 平台自动挂载时，根据元数据查询 探查状态、字

16、段安全标签；保存到 开放资源、开放资源项中挂载原始资源：通过归集消息 自动挂载 原始资源 或 手动挂载原始资源时，根据元数据查询 探查状态、字段安全标签；保存到 目录、目录项中平台新增目录（融合目录）：(CATA_TYPE_=2)挂载开放资源：通过 手动挂载 或者 平台自动挂载时，根据元数据查询 探查状态、字段安全标签；保存到 开放资源、开放资源项、目录、目录项中挂载原始资源：无处理市级/国家目录：不会通过资产平台操作市级目录和国家目录,逻辑2：通过业务操作更新,资产后端,用户操作目录、资源,查询,写入,脱敏系统,XH库,实时同步,敏感数据探查,查询,数据共享脱敏方案数据库划分,用户权限划分：

17、1、ais用户：具备ais_mid库的 所有表的 insert/update/delete/select 权限2、dam用户：具备 kun_dam 库的所有权限具备 ais_mid 库的 所有表的 select/create/drop/alter/trigger/create view 的权限,数据共享脱敏方案相关问题确认,database_record 每个XH湖中的表，最多再此表中仅有一条记录？而且每次探查后，record_time 都会更新？每个XH湖中的表，最多在此表中仅有一条记录；record_time都会更新。sensitive_data_database 与 database_r

18、ecord 表的关联字段是什么？两个表的关系是否为：一条 database_record对应多条 sensitive_data_database？sensitive_data_database与database_record没有关联关系sensitive_data_database是关系型数据库敏感数据表，表示探测关系型数据库后存在敏感数据的表，并记录此表的字段和类型等信息；database_record是探测记录表，只要此表被探测过，就会记表表sensitive_data_database中字段database_model_id、table_name与表database_record中字段d

19、atabase_model_id、table_name是匹配的。sensitive_data_database 与 sensitive_tag 表是多对多的关系？一个字段可能有 多个标签?是多对多关系，一个敏感表字段可以对应多个标签。几个表有会有一些 状态或删除字段，可否给一个确认的说明?我们使用时认为每个表中的哪些数据是有效的？表database_model 字段status=enable：使用中，新增数据源的状态；disable：下线，删除时的状态，属于逻辑删除 表sensitive_tag 字段status=enable：使用中 disable：禁止使用，此敏感标签失效,数据入湖小文件合

20、并,背景实时数据的场景下，数据以流式方式入湖，存储方式方式为：hyperbase表和hive的text表；其中text表对于每一次的入湖操作都会产生一次小文件影响从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能HDFS存储太多小文件,会导致namenode元数据特别大,占用太多内存,制约了集群的扩展解决方案将SlipStream的参数(morphling.hdfs.flush.size、morphling.hdfs.flush.interval.ms)调大，减小每次入湖的频率Text表创建为分区表，如：按天分

21、区；每天凌晨对前一天分区的小文件进行合并通过Inceptor的 INSERT OVERWRITE 的方式，合并每个分区下的小文件,数据入湖小文件合并INSERT OVERWRITE 的验证,验证说明：di.test_small_file_text 共 4个字段,1 个分区字段Part=1分区 共：35782656 条数据，672 个 3M 小文件验证语句：set mapred.reduce.tasks=3;INSERT OVERWRITE table di.test_small_file_text PARTITION(part=1)select id,name,date,remark from

22、 di.test_small_file_text where part=1 distribute by rand();set mapred.reduce.tasks=-1;验证结果：执行时间：148.338 秒合并后小文件个数：3个，每个文件大小为：700M左右其他说明：根据不同场景、小文件个数、小文件大小，来决定 mapred.reduce.tasks 的值,数据入湖小文件合并参考资料,distribute by：用来控制map输出结果的分发，即map端如何拆分数据给reduce端。会根据distribute by 后边定义的列，根据reduce的个数进行数据分发，默认是采用hash算法。当

23、 distribute by 后边跟的列是：rand()时，即保证每个分区的数据量基本一致mapred.reduce.tasks：reduce task的数量；在本例中：决定了 最终结果产生文件的数据量,物联实时数据入湖ODS层方案,ODS-区政务库,SlipStream,kafka,物联实时数据,示例表,JSON格式存储：消息上报内容以JSON格式存储在表中，防止物联上报数据结构变化，数据丢失（如果解析JSON存储到结构化表中，当JSON中增加字段时，结构化的表中会丢弃此部分字段；无法保证ODS层作为原始数据）分区规则：物联实时ODS的表，必须要每天一个分区；第二天凌晨对前一天分区的小文件进

24、行合并JSON解析：当JSON解析清洗时，优先考虑：json_tuple、get_json_object 函数来解析JSON；当无法实现或者性能太差时，考虑通过定制化的spark程序、flink程序处理,资源管控对接背景,大数据场景下实现作业调度是复杂的，因为调度系统不仅要考虑到任务自身的优先级和资源占用情况，而且要结合不同场景的资源配额限制，做细粒度的调度管理。通常会遇到以下几项问题：资源被大的批处理任务占用，导致小的报表任务一直无法被调度。某个用户持续不间断提交任务，导致系统资源被过度占用，无法处理其他用户的作业。,数据治理,XH,资源队列1,资源队列2,资源队列3,资源队列.,调度程序1

25、,调度程序2,调度程序3,调度程序.,不同的调度程序提交到XH的不同资源队列中,调度程序1,资源管控对接通过调度程序配置资源队列,资源队列1,资源队列2,资源队列3,SQL节点1,SQL节点2,数据治理平台,XH数据湖,权重：1预留CPU：50最大CPU：100,调度程序2,SQL节点1,调度程序3,SQL节点1,SQL节点2,1、每个调度程序配置XH资源队列2、调度程序执行时，程序内所有节点都提交到对应的资源队列上执行,权重：5预留CPU：100最大CPU：500,权重：10预留CPU：200最大CPU：2000,资源管控对接资源队列的划分,1、先创建一个通用的资源队列，作为默认资源队列；2、根据治理场景和业务场景，划分资源队列；以治理程序的输出表作为资源队列的划分条件可参考如下示例：,THANKS,