大数据平台技术架构解决方案V3.0.pptx

《大数据平台技术架构解决方案V3.0.pptx》由会员分享，可在线阅读，更多相关《大数据平台技术架构解决方案V3.0.pptx（30页珍藏版）》请在悟道方案网上搜索。

1、,大数据平台技术架构解决方案,目录,大数据平台技术架构大数据技术解决方案,提供专家撰写的政策、行业、宏观类分析报告,为高端分析人员提供数据挖掘、分析及深度处理,为业务人员提供在线自助式数据服务,数据分析、展示、报表、报告、可视化,自助分析平台,可视化挖掘平台,商业智能可视化平台,决策,各类存储、计算框架，目前是国 际规范的一套体系。,hbase,hive,impala,shark等,Mysql/Oracle Hadoop/Spark,存储层,大数据应用架构,可视化层,挖掘层,分析层,决策层,从分析层到展现决策层，XXX大数据平台拥有完善的解决方案。 让普通用户、数据分析专家、IT集成商、数据挖

2、掘人员都能够利用XXX大数据平台，实现大数据分析。,SQL JDBC/ODBC,可视化数据挖掘平台多维分析平台,可视化 设计平台事件 开发平台,内存计算服务,批处理,实时流处理,交互式查询,Hadoop生态系统/关系型数据库,自助 分析平台报表 开发平台,一栈式大数据架构,基于分布式内存迭代计算框架Spark，全面支持七大应用平台。 目前国内涵盖数据存储、数据可视化、数据挖掘最完整产品方案。,移动BI,分布式存储-hadoop,spark集群,支持TB,PB及数据的大数据服务器集群,内存数据库支撑的高性能查询数据库,计算云,存储云,性能 100倍于hadoop,分布式集群与内存计算技术,国际标

3、准hadoop 大数据内存计算技术,数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风 险控制相关的模型、与生产销售预测相关的模型等,数据挖掘应用领域,产品名,XXX可视化挖掘,概要,通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出,特点,通过视觉工作方式轻松获得此 界面可以保障操作的灵活性 在最短的时间内形成最多样的 模型大数据挖掘，速度快,大数据应用平台-可视化挖掘,大数据应用平台-可视化挖掘,拖拽式数据挖掘建模普通业务、管理人员能够用简单的拖拽方式来构建数据挖掘案例，并实现模型的发布、管理可扩展性强为数据导入和导出、数据转换、建模算法

4、、模型评估和部署方面增加新的应用提供了良好的扩展性，在保持系统架构不变的情况下，增加新的数据挖掘模型丰富的数据挖掘模型聚类算法（快速聚类、分层聚类、基于密度聚类）分类预测算法（贝叶斯、逻辑回归、线性回归、岭回归、决策树、时间序列）关联规则算法(Apiori、Carma，序列)数据挖掘案例支持重用模式,。,XXX-算法模型,特点一,丰富建模方法,特点,可拖拽式建模,JDBCWeb ServicesRestful api,可扩展性强自定义模型，扩充组件,特点,传统的关系型数据(mysql、Oracle等)列式数据库(Hbase等)非结构化数据(Hdfs、文件系统) 大数据（Hbase、Hive等）

5、,.R语言、其他算法模型等等,特点二,大数据处理,特点,开放型平台,将模型结果写入共享库将建模结果与其它人共享BS结构，一站式建模、评估、部署,基于内存计算平台内存计算运算速度快,特点,GB,PB,特点三,特点基于内存计算平台内存计算,执行数据挖掘时，方法论非常重要.因为准确的方法论能够提高作业速度,能系 统地减少各种进展状况，所以选择正确的方法论是很重要的. CRISP-DM 方法论 是全球认可的数据挖掘的标准执行方法论.,XXX建模流程,大数据应用平台-可视化设计平台 丰富的控件、图文图形、业务组件,五大类设计控件控件(模型绑定表格、基本组件、控制组件、多表拼接、布局容器)SQL组件(SQ

6、L绑定表格、分层树、下拉列表等)仪表盘(多种微型图和仪表盘)图形组件(常见图形展现组件)业务组件(KPI、业务展现模型、复用组件、公共维度)丰富的可视化数据展现KPI绩效、决策分析地图分析、信息图仪表板、驾驶舱完美图文分析报告全面支持office格式,大数据应用平台-可视化设计平台丰富设计控件，二次开发平台支撑自定义复杂应用需求,大数据应用平台-可视化设计平台,仪表盘,决策分析,管理驾驶舱,地图分析,KPI绩效,信息图,大数据应用平台-可视化设计平台,目录,大数据平台技术架构大数据技术解决方案,技术架构解决方案,手机,平板,电脑,数据存储,传统的关系型数据(mysql、Oracle等)大数据库

7、(HIVE,Hbase,MPP等)非结构化数据(Hdfs、文件系统、excel等)支持OLTP、OLAP、ERP、CRM、大型机,数据模型,表关联模型（星型，雪花等）SQL数据模型（基于SQL语句绑定数据）Excel数据模型（配置Excel数据语义映射关系）API数据模型,统一元数据管理,解决方案-数据管理,数据来源多样非结构化数据数量巨大业务数据、生产 数据、销售数据,解决方案-ETL监控调度系统无缝支持主流ETL工具，并能实现ETL统一调度、ETL调度监控,Informatica 工作流,Kettle工作流,统一数据访问支持RDBMS、OLTP、OLAP、ERP、CRM、大型机、云和各种非

8、结构化数据高速数据导入和提取可以在源系统与目标系统之间或直接在Hadoop 及数据仓库中，访问、加载、复制、 转换和提取大数据无限可扩展性IT 部门可以处理从 TB（千吉字节）到 PB（兆吉字节）任何范围的所有数据类型优化性能实现最低成本Hadoop 上的提取、转换和加载 (ETL)基于 Hadoop的一系列预置转换功能，包括数据类型转换和字符串操作、高性能缓冲 查找、连接器、排序器、路由器和聚合,解决方案-ETL监控调度,实时在线处理,批处理,交互式查询Spark,+Spark SQL+Spark Stream实时流处理,基于内存的通用计算模型，同时支持批处理、交互式处理、 流处理。,解决方

9、案-要解决的问题,应用特征：应用逐个处理用户请求，输出结果需立即呈现给用户；每次处理的数据量相对较少， 处理逻辑简单；典型应用：各种门户、CRM、实时事件告警、积分平台、搜索引擎等技术平台：Hbase、Spark SQL,应用特征：应用逐个处理用户请求，输出结果需 立即呈现给用户；每次处理数据规模很大，处理 逻辑复杂；典型应用：数据查询、数据钻取、市场预测、 多维数据报表等技术平台：Hadoop、Hive、Spark SQL,解决方案-分布式内存计算批处理应用,（分钟级别小时级别）应用特征：应用批量处理输入数据，输出结果 不需立即呈现给用户；每次处理需 分钟小时 级别内完成；典型应用： ETL

10、数据处理、数据挖掘、日志清洗、 用户行为分析等技术平台：MapReduce、Hbase、Hive 、Spark,OLTP/在线事务处理应用（毫秒秒级别）,OLAP/在线交互式分析应用（秒级别）,实时流处理（持续不断）,达,应用特征：应用请求由数据流驱动，据流实时到，实时处理，典型应用： 广告CTR计算、推荐系统等技术平台：Hadoop、Spark Stream、Flume,解决方案-交互式查询,关系表,关系表,关系表,Studio,SQL接口JDBC/ODBC,并行算法,内存分析库（Index,filters,）,Hadoop HDFS,sqoop,cache,数据挖掘,自助分析,多维分析,s

11、qoop,sqoop,通常的时间跨度在数十秒到数分钟之间按数据维度进行统计、聚合根据历史数据进行拟合和预测计算数据之间的相关性和模式等适合提供高速在线分析服典型应用场景政府各部门数据证券交易银行保险企业ERP/CRM等适用于数据量在GB到TB的高速数据分 析,关系 数据库,已有应 用服务 器,应用,查询分析引擎,HBase,实时入库,警告事件记录,影像,HTTP/REST,接口,接口,接口,搜索、统计、分析、图推理,简单 查询 扫描,交易记录、实时事件、电话清单等724不间断数据,OLAP即时查询搜索统计分析,解决方案-实时在线处理,通常的时间跨度在数百毫秒 到数秒之间数据来源多、高并发、数据

12、处 理量大分析结果快速响应典型应用场景社交网络分析、关联关系分析用户分类、用户行为预测高并发查询按主键毫秒级检索,按多维度秒级检索按照关键字秒级检索,事件驱动计算模型，系统 处于持续不断计算之中， 事件响应延迟在毫秒秒 级。流式计算系统处理应用的 处理逻辑是由源源不断的 数据流驱动。典型应用场景有金融在线欺诈预警广告CTR推荐系统,解决方案-实时流处理,Spark Stream流引擎,在线模型训练,时间窗口统计,r,Stream Drive流驱动器,转换、清洗,Stream QL统计,Spark MLlib机器学习,Stream Applications实时查询,异常阀值报警,消息队列,Map/Reduce,Hadoop HDFS,事件开发平台可视化数据挖掘,日志,解决方案-批处理及离线挖掘,XXX 内存计算引擎,YARN资源管理框架,ROB,Text,ImageBinaryFileLogs,SqoopETL工具,Flume 日志采集,时间跨度在数十分钟到数小时之间。离线挖掘主要用于，多 维统计预测，准实时分 析以及对客户进行聚类、 分类等数据挖掘应用。典型应用场景电子商务推荐引擎流失客户预测挽留日志清洗、ETL用户行为分析,谢 谢,