AI大数据平台技术架构方案.pptx

《AI大数据平台技术架构方案.pptx》由会员分享，可在线阅读，更多相关《AI大数据平台技术架构方案.pptx（31页珍藏版）》请在悟道方案网上搜索。

1、AI大数据平台技术架构方案,大数据平台功能介绍,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,数据地图,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,人工智能,分析,应用,智能调度,共享开放服务,API,SDK,微服务,JDBC/ODBC,数据处理,数据分析,数据迁移,模型算法库,机器学习,可视化建模,任务发布,任务调度,任务管理,任务监控,任务关联,数据资产,大数据平台方案概述,数据采集,数据安全,权限管理,安

2、全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元/主数据管理,数据视图,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,人工智能,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,数据管理,模型工厂,模型共享,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,数据采集,1,专业化数据采集,通过部署agent探针，快速构建采集环境，支持常见工业通讯协议接入。组建企业的通用数据连接器，实现仓储

3、专业化数据的全方位信息感知收集。,3,互联网数据采集,2,物联网感知设备采集,业务系统数据采集,4,根据设置规则从互联网中抓取相关的网页信息作为数据，输入到系统，可针对性形成特定的特征库、分类库、内容库。并且能够智能识别和分析信息中的各类数据，用于对于相关页面数据的分析用途。,采用OPC UA、MQTT等最新的物联方式对动环数据、摄像头数据、电机卫士等数据进行采集。,通过图形化拖拉拽方式配置业务系统数据采集全流程，对采集全过程提供监控告警。支持jar包、API接口、流式组件、离线组件的采集配置,基于专业的数据采集网关实现各种类型的数据接入能力，汇集全企业关键资产状态数据，支持数据实时动态对接、

4、批量数据采集、静态录入等各种方式。,感知设备采集,信号处理,通信模块,二维码标签,控制层,感知层,RFID标签,摄像头,震动感应器,ESB数据总线,温度传感器,声音感应器,压力感应器,采集作业调度系统,配置化采集,STEP1.选择组件,STEP2.配置信息,STEP3.执行工作流,STEP4.查看工作流,平台提供数据源组件，处理组件，终端组件选择，用户可通过拖拽将需要的组件拖入工作流画布中连线后完成工作流,组件之间关联好后，对各类组件进行信息配置，例如：处理组件进行添加节点，配置节点信息,实现数据采集任务的统一调度功能，包括作业发布管理，作业审核管理，作业运行管理，作业进程管理等,查看工作流各

5、个环节的状况，通过界面查询，用户能直观的知道整个作业的执行情况，异常发生等,智能调度系统,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,人工智能,数据管理,模型工厂,模型共享,智能调度,复杂任务简单化

6、,对于业务算法要求每天定时执行，或者在每天晚上凌晨空闲时执行，产品提供各类型定时功能，更可用户自定义，满足多种业务场景,任务定时,产品提供多渠道通知功能，包括邮件，短信等。用户自定义告警规则，任务执行失败时，及时通知相关人员处理,个性化任务告警,本产品与我司的多租户权限管理相结合，可实现租户间资源隔离及存储空间隔离，既保证了平台资源的合理分配及使用，也保障了用户私有信息的安全,多租户空间资源隔离,组件式按需配置,用户可通过产品界面进行图形化任务创建及管理，操作多以拖拽及连线方式，大大降低操作难度，及使用大数据平台的门槛,图形化工作界面,产品具有多任务关联功能，对于复杂任务，可拆分多个子任务后关

7、联，用户管理子任务，大大降低复杂度。更可建立公共子任务，减少重复工作量，提高效率,产品松耦合，提供各类通用型数据组件，各个组件可自由插拔组合，用户可根据实际应用场景配置，更提供定制化组件开发服务，为用户量身订造自有组件,发布任务,管理任务,监控任务,作业仓库,任务调度,平台数据处理,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,分析,服务,智能调度,数据服务

8、,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,人工智能,数据管理,模型工厂,模型共享,数据处理,依托大数据集群强大的计算能力，实现海量数据的处理能力交互式开发界面支持：全流程、图形化、组件拖拽式的交互式开发能力，快速便捷完善的算法调试支持：提供小批量数据运行、断点调试、模型参数调试等实现异构数据交换的快速通道，便于用户查询及关联分析不同数据源的数据,平台数据分析,交互式开发界面支持：全流程、图形化、组件拖拽式的交互式开发能力，快速便捷完善的算法调试支持：提供小批量数据运行、断点调试、模型参数调试等多租户管理支持

9、：底层融合多租户权限体系，保证数据资源、存储资源以及计算资源的安全管控数据挖掘建模支持：常用机器学习算法（随机森林，逻辑回归二分类，二分类评估，预测），统计分析（数据视图，数据直方图），模型管理及共享等,提供可视化数据建模挖掘工作台，依托大数据集群强大的计算能力，进一步提升租户对于海量数据的建模挖掘能力，提高开发效率。,数据治理,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库

10、,处理,数据总线,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,人工智能,数据管理,模型工厂,模型共享,数据治理,构建企业级数据目录,整合IT支撑所有模型，建立了企业级的完整数据目录，极大地提升了数据模型获取和使用便捷度,血缘分析,通过数据血统追踪，可以解决数据的可信度、质量、版本信息等，获得结果数据的来源信息，及数据在数据流中的演化过程。,信息版本控制,实现数据资产的各版本间的切换、对比。对无法回溯的物理变更，有着重要意义。,闭环工作流,从需求接手、设计、开发、审核、上线。有着完

11、整的工作闭环。有效降低冗余和流程上的繁琐。,数据治理的总体目标是理解企业的信息需求，规范数据的生成，持续改进数据质量，实现数据最大价值。,数据治理流程,元数据标准治理与管理,主数据标准治理与管理,数据迭代治理和运营,数据质量审核与管理,业务数据盘点与标准管理,梳理业务系统及流程分析业务数据流程梳理数据识别与分类数据业务规则重新梳理和重建数据技术规则重新梳理和校验让数据成为资产，盘点企业哪些业务、哪些系统、哪些数据,已建设系统的元数据重新梳理未建设系统的元数据标准制定梳理元数据技术、管理、业务标准，形成元数据标准管理元数据信息构建整套元数据的管理与标准制定的流程,已建设系统的主数据重新梳理和整理

12、未建设系统的主数据标准制定梳理主数据技术、管理、业务标准，形成主数据标准管理主数据信息构建整套主数据的管理与标准制定的流程,根据元数据标准与主数据标准，建设数据质量管控规则定时输送各系统数据质量报表；各业务部门根据数据情况，开展业务数据治理工作实时监控主数据一致性问题,数据治理是持久的迭代治理；需要定时开展治理活动，以及新系统根据治理标准，对接和设计指导；对数据开展运营服务，和业务指标服务,数据标准管理,数据标准,数据标准制定与执行,数据标准监控,数据标准维护,数据标准制定与执行：数据标准制定包括数据标准的编制、数据标准的审查、数据标准的发布。基础性标准：主要用于在不同系统间，形成信息的一致理

13、解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；应用性标准：是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。,数据标准监控：稽核规则录入：系统将标准规范提供给数据标准接口，同时对标准稽核规则进行配置，放入稽核规则库中。前向稽核校验：向对接口数据进行记录条数和长度等的前规则稽核效验，并对稽核效验结果通过错误文件记录的方式反馈给数据开发者。后向稽核校验：通过规则库的后向质量稽核规则去发现数据标准规范中字段质量的相关问题，同时进行数据标准质量的稽核告警

14、。稽核反馈：根据稽核结果，当有稽核错误发生时系统提供告警功能，向数据开发者发出警示。通过稽核后则数据进行存储，供共享使用,数据标准维护：数据标准维护包括数据标准的编制、数据标准的审查、数据标准的发布、数据标准的变更、数据标准的版本管理。,数据质量管理,支持总量评估功能支持源系统数据质量问题评估功能支持专项数据质量问题评估功能,数据质量评估分析,业务规则检查,数据阀值监控,支持对质量检查的规则进行配置，支持按照不同源业务系统进行配置；提供按照数据质量规则进行数据检查功能；提供数据检查结果展示功能；提供数据检查结果分析统计功能。,单系统数据质量检查,跨系统数据质量检查,数据质量预警告警,提供对一致

15、性的检查规则进行配置；提供按照数据一致性检查规则进行数据质量检查功能；提供数据检查结果展示功能；提供数据检查结果进行分析统计功能。,支持对一定时间段内的数据质量告警/预警信息进行列表显示；告警/预警信息应包括数据质量审核问题单相关信息；针对每条数据质量检查规则可以设置是否作为告警/预警信息出现在告警/预警界面。,支持业务规则设定，能够随着业务的发展进行扩展；支持按照业务规则对数据进行检查，并能够生成检查报告；,支持数据阀值的设定，阀值的触发点可以设置到不同的环节，或者不同的数据处理方式；支持阀值触发点的扩充，以适应监控的需求扩展；支持阀值的动态监控，能够实时地显示监控报告。,数据资产管理,血缘

16、管理,构建企业级数据目录,整合IT支撑所有模型，建立了企业级的完整数据目录，极大地提升了数据模型获取和使用便捷度,血缘分析,通过数据血统追踪，可以解决数据的可信度、质量、版本信息等，获得结果数据的来源信息，及数据在数据流中的演化过程。,信息版本控制,实现数据资产的各版本间的切换、对比。对无法回溯的物理变更，有着重要意义。,闭环工作流,从需求接手、设计、开发、审核、上线。有着完整的工作闭环。有效降低冗余和流程上的繁琐。,数据治理的总体目标是理解企业的信息需求，规范数据的生成，持续改进数据质量，实现数据最大价值。,智能分析,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采

17、集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,人工智能,数据管理,模型工厂,模型共享,平台AI智能分析,AI模型工厂,编程笔记本提供Web、Shell和接口的交互方式，以Ipython或Jupyter等形式进行算法开发。并提供多容器/租户的方式进行管理训练方式：提供集群和单

18、机两种训练模式。框架集成：支持PyTorch，Tensorflow和MXNet多种框架。Operator封装任务提交、模型发布等API实现模型,数据安全,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,

19、人工智能,数据管理,模型工厂,模型共享,数据全生命周期安全管控,大数据安全,数据服务,数据安全,权限管理,安全接入,数据加解密,日志审计,数据分级,统一认证,采集,数据采集,实时采集,离线采集,结构化数据采集,非结构化数据采集,数据治理,数据标准,数据质量,元数据管理,血缘分析,存储,HDFS,Hive,Hbase,关系型数据库,内存数据库,其他数据库,处理,数据总线,分析,服务,智能调度,数据服务,数据处理,数据分析,数据迁移,作业仓库,任务调度,任务管理,任务监控,任务关联,数据资产,共享API,可视化,即席查询,工作台,人工智能,数据管理,编程笔记本,模型共享,大数据工作台,开发人员，需

20、使用平台提供的数据，开发环境/组件，API，分析挖掘环境/组件进行数据分析，应用开发，具体角色包括：应用开发人员数据分析人员数据模型建设者研究人员,管理运维人员，保障平台正常运行，管理平台中各类使用者，监控组件，作业，环境状态，具体角色包括：平台管理人员运维支撑人员日常监控人员,管用分离的专属门户：划分开发者与管理者专属门户，为不同角色的人员提供专属服务能力。高集成度的工作平台：向租户提供一个一站式的工作平台。将租户所有的工作进行分类整理后，在工作台中提供统一的功能入口，满足租户所有的日常工作操作。个性化的定制界面：在工作台的标准定义下，用户可以根据操作习惯进行自定义配置，定制与之工作相关的数

21、据视图、图表、分析报告等。,IDP（Ideal Data Platform）大数据工作台，提供一站式开发管理服务入口,管理者,开发者,DataAPI,快速基于数据资产，快速自动建立可供应用调用的标准接口,融通通过数据API使部门间数据得以共享，发掘数据深层价值,赋能共享API是数据平台与上层应用的交互界面，为应用赋能,管理统一管理平台的API出口，保障数据利用安全有序,场景一：API新建需求问题：解决用户数据资产支撑上层应用的通道功能描述：在多租户体系下，用户以在其租户权限范围内的数据资产为对象，按业务场景，根据用户勾选，自动封装API接口提供使用。,场景二：API共享需求问题：解决数据融通问

22、题，易于不同部门间数据共享，提升效率功能描述：用户可将已建API进行发布，发布后的API除本租户外，其余租户皆可进行申请。,场景三：API申请需求问题：解决跨部门数据使用问题，保障数据安全功能描述：用户对其余租户发布的共享API进行申请使用，审核通过后，即可获取数据。,数据开放网关DataAPI，为数据中台提供方便快捷的数据共享开放能力以及统一的接口管控能力,数据即席查询,1.便捷化SQL工作台hive，spark,hbase等没有有效可视化工具来简化用户操作，需要登录运维服务器后台进行查询操作，造成一些普通用户无法也没有权限进行自主查询。即席查询就是为了为了实现用户通过web的方式进行SQL

23、的数据查询,2.友好智能提示即席查询极尽简单的为用户提供一目了然的强大查询工具，支持导入导出脚本、语法高亮、语法自动补全、以及自定义语法高亮等方便用户操作。对于熟悉SQL操作的用户来说，自然过渡，无需学习成本,3.查询历史可追溯系统自动记录并展示历史查询记录和结果，让用户的查询日志可追溯，可重用。免去用户安装工具，方便快捷,数据能力开放,服务器选型推荐,海量数据存储能力：集群主机数量从几台到几千台规模，支持PB、EB级数据存储，快速计算数据、高速数据吞吐,虚拟机以提升服务器资源利用率为目标，把单台服务器物理资源虚拟化成多个逻辑资源，虚拟化处理hypervisor也会消耗5%-10%的服务器性能,物理服务器优点是性能稳定、安全性高，可控性强。虚拟机有点安装简便，可以同时运行多个系统，资源可以随意扩展缩减。,卫岗大数据智能平台建设完成，产生大量的大量I/O读写的应用，数据目录对时效性要求较高，本次项目推荐采用物理机进行部署。,谢 谢,