大数据分析技术解决方案.pptx

《大数据分析技术解决方案.pptx》由会员分享，可在线阅读，更多相关《大数据分析技术解决方案.pptx（45页珍藏版）》请在悟道方案网上搜索。

1、,大数据分析技术解决方案,目录,1,大数据分析概述,2,大数据分析解决方案,大数据分析典型案例,3,由于计算能力的指数级增长和人工智能技术的不断成熟，原来遥不可 及、只存在于科幻小说中的所谓“黑科技”正在成为现实。万物互联、万物智联，基于大数据的人工智能时代的到来。,大数据基 因检测,视频识别 与深度学 习,智能工厂,基于深度 学习的智 能机器人,支付宝大数据安全 预测账户风险,精准营销,大数据分析概述,数据的价值,大数据分析的价值,大数据无处不在，而且正呈指数的形式增长。,大数据分析面临的环境,只有极少数开发者有 能力构建人工智能应 用。需要一个统一的 大数据分析平台，让 没有任何人工智能经

2、 验的人，在10分钟以 内就可以从无到有搭 建1个数据应用。这 将促进大数据的产业 化工程，以及与行业 的深度融合，形成大 数据分析的基础设施,资料分析,机器学习,统计学,专业知识,工程开发,存储,挖掘,数据采集,一体化 平台,可视化,需要统计学 、资料分析 、机器学习 、工程开发 等方面的专 业知识,需要贯穿数 据采集，存 储，挖掘， 可视化等全 流程的系统,因此,需要一个大数据分析平台,易用用户不需要开发，通过鼠标拖拽连接组件，数 据处理组件，标准化算法组件、可视化组件， 设置参数，即可完成开发，不用写一行代码先进具备算法与模型库，涵盖统计、挖掘、特征工 程、深度学习、大规模机器学习、文本

3、，图像， 语音等领域的数据技术,高效支撑海量数据的处理，以及更优的性能,大数据分析平台需具备的特点,国务院印发促进大数据发展行动纲要,日前国务院印发促进大数据发展行动纲要，纲要提出未来5至10 年我国大数据发展和应用应实现的目标，将惠及全民，助力经济转型。专栏8 大数据关键技术及产品研发与产业化工程通过优化整合后的国家科技计划（专项、基金等），支持符合条件的大数据关键技术 研发。加强大数据基础研究。融合数理科学、计算机科学、社会科学及其他应用学科，以研 究相关性和复杂网络为主，探讨建立数据科学的学科体系；研究面向大数据计算的新 体系和大数据分析理论，突破大数据认知与处理的技术瓶颈；面向网络、安

4、全、金融、生物组学、健康医疗等重点需求，探索建立数据科学驱动行业应用的模型。 大数据技术产品研发。加大投入力度，加强数据存储、整理、分析处理、可视化、信 息安全与隐私保护等领域技术产品的研发，突破关键环节技术瓶颈。到2020年，形成 一批具有国际竞争力的大数据处理、分析、可视化软件和硬件支撑平台等产品。提升大数据技术服务能力。促进大数据与各行业应用的深度融合，形成一批代表性应 用案例，以应用带动大数据技术和产品研发，形成面向各行业的成熟的大数据解决方 案。,大数据分析平台结构,基于大数据商业 智能平台，普通业务用 户可以：快速整合和管理各 类大数据，对信息 进行高级分析可视化所有数据， 对数据

5、进行统计、 挖掘、关联分析为构建报表、仪表 板、图文报告、可 视化分析、钻取分 析、数据挖掘等应 用提供了整套基于html5的设计环境,大数据分析平台功能架构,核心功能连接（环境的认知）：环境的 连接，通过传感器连接万物，通 过采集连接各种系统，支持结构化，非结构化，视频，语音，互 联网数据的连接。存储（数据的存储）：提供集 成环境下的列式存储，支持每秒 百万级实时数据存储，并行扩展，PB级数据存储。挖掘（技术的衔接）：深度学 习、统计、特征学习、大规模机 器学习等人工智能算法。基于内 存计算。可视化（人的连接）：人机接 口，数据价值呈现，以及平板， 移动化数据呈现。促进人与环境 的反馈与交融

6、。,大数据分析平台,目,录,1,大数据分析概述,2,大数据分析解决方案,大数据分析典型案例,3,大数据解决方案,真正一站式大数据解决方案,E T H I N K 是业界唯一的端到端的H a d o o p 、 S p a r k 平台上的大 数据分析基础平台。 简化大数据分析的过程，让人人都能 够快速从数据获得决策智慧。简洁的数据集成、数据清洗、数据预处理便可实现数据分析、数据挖掘、 数据可视化、数据报告等的工具。是一个集成性的平台，能够将您所有的数据,加载到Hadoop, Spark平 台，并能够可视化您的数据，挖掘您 的数据的高效平台,企业级大数据平台,互联网 开放数据,阿里云数据库，阿里

7、云盘,腾讯云数据库，微云，腾讯统计，腾讯开放数据,企业私有云,企业数据库数据，企业大数据平台数据，文本数据，视频数据,工业物联网 数据,传感器实时数据,电信天翼云数据库百度云数据库，百度网盘,更多.,统计局数据、世界银行数据、天气数据、政府开放数据、 百度统计、腾讯统计、位置信息数据、金融基金股票数据等连接更多数据，识别更多数据种类，采集更有价值的数据,大数据分析平台数据连接,数据可视化：900多种可视化组件、创造性关联分析和探索式关联分、 析全面支持平板/手机/大屏等,大数据分析平台可视化,强大丰富的组件库广泛的组件库，包括表格，图形，图表，地图，仪表盘等 各种组件，用户还可以自定义自己的业

8、务组件，使用户能够创建 简单的数据可视化仪表板或惊艳的业务信息图表和可视化。,大数据分析平台可视化,、跨系统，完美支持所有流行的操作系统过各种设备来访问。,是基于HTML5，能够跨平台Android/Iphone等主流的智能终端和常用的浏览器。这样用户就可以,。支持随时随地的通,大数据分析平台可视化,HDFS分布式文件系统,HBase实时、分布式、高维数据库,MapReduce分布式计算,Manager监控与管理平台,Zookeeper,分 布 式 协 调 服 务,Sqoop,关 系 数 据,ETL,工 具,Flume,数 据 收 集 工 具,Hive/Impala分布式数据仓库与查询计算,大

9、数据分析平台数据存储,Impala,hbase,hive,计算,sql,hdfs,R,拖拽式设计,用户体验流畅,、展示 丰富,可视化图表 一站式开发,多终端展示,算法与,模型,语音识别,统计,深度学习特征工程,自动数据准备,视频，图像分析文本分析自动模型选择,graphSparkSparkStreaming数据挖掘，支持鼠标拖拽的编程可视化，支持数据可视化和模型可视化。通过与Spark、sparkStreaming、R等开源技术对接，已经集成Kmeans、逻辑回归、随机森林、统计分析，以及深度学习，视频文本分析等50多种算法模型。,大数据分析平台数据挖掘,深度学 习计算,自组织 数据挖 掘,卷

10、积神 经网络,DMLC,SAE,深信度网络,BSN,数据挖掘提供我们自由的算法模型，如自组织数据挖掘，卷积神 经网络，深信度神经网络，同时也对接了开源的例如DMLC，H2O， Mahout等框架。,大数据分析平台数据挖掘,大数据挖掘支持WEB在线可视化开发。,大数据分析平台数据挖掘,大数据分析平台，实现了业界常用的经典算法约30类，并自创20 多类独有算法。并实现了深度学习，自组织数据挖掘，特征工程等海量数 据的人工智能算法。,大数据分析平台-数据挖掘,实现自动数据准备智能算法，包含数据清洗，数据变换，数据降维，分箱等数 据处理技术。能根据输入数据自动剔除数据中噪音和干扰变量，对维度中明显 的

11、不合理值进行自动处理提高数据质量，选择对目标影响权重较大的维度，对 数据进行降维操作，减少模型运行的复制度，提高模型运算的速度和准确性。,自动数据准备,离散化,缺失值填充,自动降维,PCA,Fisher,Bayesian,KNN,LDA,PP,Kmeans决策树KNNSTL中间值众数KNN相关列,如何从繁杂的、高维的数据中进行数据特征的选择与准备？,平台优势1算法智能性,模型参数选择及优化是决定模型效果好坏的最重要因素，自动分类模型会根据用 户的输入数据，自动进行参数优化，效果评测，最优模型选择等操作，自动选择 出效果最好，结果最准确，应用最合适的分类模型。,模型自动选择,分类,预测,神经网络

12、,随机森林,支持向量 机,高斯混合,贝叶斯,梯度提升 树,逻辑回归,相关列,最优结 果的模 型,如何自动选择最优的算法? 如何设置算法的参数最优配置？Kmeans决策树聚类KNNGMDH,平台优势1算法智能性,千亿级记录秒级查询（即席 查询）DAG图的分布式框架基于内存的分布式文件系统多迭代批量计算处理弹性分布式数据集(RDD)多次数据共享减少数据读取 的IO开销(快速加载数据),高 性 能 计 算 平 台,YARNCluster Resource ManagementHadoop Storage(HDFS2,Hbase),并行算法库,内存分析库 Index,filters,SQL接口 JDB

13、C/ODBC,交互界面,平台优势2高性能,物联网,传感器,HDFSHadoop 集群,flume,制造中控大屏实时可视化数据监测,采 集,Kafka分布式发布订阅消息消息缓存和持久化， 同步采集和处理数据,保史 存数 历据,上万个传感器节点，每秒发送多组数据,每秒可处理 100万个100字节数据流,每天超过300GB级的数据写入,实时通过监控对设备进行预警,爬虫数据,mysql持久化处理,HBase实时视图,Storm在线实时流处理,平台优势3实时数据,目,录,1,大数据分析概述,2,大数据分析解决方案,大数据分析典型案例,3,智慧工厂,物联网,仓储预测,故障预警,人工智能,智能机器,生产控制

14、,能耗预测,工艺优化质量检测,金融,教育,制造业,电信,政府,已经在国家智能制造2025的环境下，在制造业大数据里形成 了核心竞争力和应用。并在政府大数据下，实现了多行业的大数据 分析。应用场景应用领域,大数据分析的应用,产品数据设计、建模、 工艺、加工、 测试、维护数 据、产品结构、 零部件配置关 系、变更记录 等,运营数据业务管理、生 产设备、市场 营销、质量控 制、生产、采 购、库存、目 标计划、电子 商务等。,价值链数据客户、供应商、 合作伙伴等。,外部数据经济运行数据、 行业数据、市 场数据、竞争 对手数据等,个性化定制数据定制和网络协 同的发展，使 得个性化定制 数据成为消费 者张

15、扬个性的 载体,智慧工厂,制造业大数据,项目需求以实时数据和现有数据为基础，建立数据中心，其核心应用包括： 设备故障预警，能耗预测 ，工艺，质量控制等数据存储近1年数据，每秒钟10000个数据采集点硬件环境： 数据库服务器1台+45台分布式pc server单台4核，16G内存数据可视化自定义报表，可视化推送大屏以及移动数据,全厂整体运行状态可视化，生产上下游环环相扣 的整合，组织构架将趋于扁平化，提高部门间的 协同效率,挖掘核心价值点，发现用户价值的缺口、 发现和管理不可见的问题，优化生产资源 的利用,制造业大数据分析烟厂,设备状态实时监测分析,车间生产情况分析,严重外观缺陷报表,批周月工艺

16、质量评价报告,制造业大数据分析系统截图,设备健康指数模型,提前4周进行预警,大数据平台,振幅、频率、相位。,温度、湿度、空气质量。,润滑油：粘度、闪点、杂质。设备数据：弹性、刚性。,运行,数据,环境,数据,材料,数据,优化的算法,利用优化的聚类分析k-均值算 法、变化和偏差分析等数据挖掘方法,制造业大数据设备故障预警,产品质量控制模型,大数据平台,优化的算法,利用优化的神经网络算法、限制波尔兹曼机算法等数据挖掘方法,实现合格率100%,设备数据,材料数据,其它数据,物理性能化学性能成分性能。,精度保养强度。,工艺数据环境数据人员数据。,制造业大数据质量控制模型,项目需求以省级电信数据中心为基础

17、，建立大数据分析平台， 核心应用为：客户画像应用、客户流失预测、 用户行为分析、换机预测等功能数据存储数据量（流量表）：日汇总后的数据集市每日3亿记录，每月100亿条记录查询统计响应时长：4秒以内硬件环境： 数据库服务器1台+25台分布式pc server(4颗4核CPU,16G内存)数据可视化自助报表查询中心，可视化推送与呈现,经营管理可视化，管理人员能够及时准确地 了解市场竞争、业务发展和资源使用情况， 以便及时发现问题和解决问题,客户投诉智能识别系统辨别客户投诉的真实 原因、发现问题、改进产品、提升服务体验,运营商大数据分析电信,客户流失预测模型,大数据平台,竞争对手、朋友圈、家庭成员。

18、,客户通话频率、上网偏好、地区位置、年,数据龄、性别、职业。,外部,数据,其它,用户体验评估、服务品质、市场波 数据动。,优化的算法,利用优化的神经网络算法、回归分析算法等数据挖掘方法,命中率达70.57% 覆盖率达67.49%,运营商大数据客户流失预测,某一省为例：769个投诉原因被识别;配合业 务部门提出37个产品优化建议，协助优化21 个产品;优化不满意点68个，消除468,295客 户的潜在不满隐患;每年节约成本达840万。,客户流失预测模型,历史数据,客户,环境 数据,服务 数据,大数据平台,历史上的其 它投诉数据,客户基,数据本数据,与客户相关的经济、,政治法律、社 会文化、科学

19、技术等数据,客户投诉,以及处理数据,客户在用的产品及套餐相关 的数据产品数据,优化算法采用向量空间模型建模 技术，利用优化 的K最相邻算法、一 次迭代LR等算法,运营商大数据客户投诉智能识别,项目需求整合金融非结构化数据、结构化数据和敏捷数据建立大数据分析平台，核心应用： 客户群体划分、精准营销、风险管控、运营优化、欺诈行为分析等功能数据存储某省数据中心，近五年的操作、交易记录，共1000亿条左右。80台X86架构的PC服务器单台服务器，8核CPU,32G内存数据可视化全行数据集中可视化，可视化推送以及移动应用,全行数据分析资源集中优化管理，提升数 据分析效率，助力业务转型、创新和发展,全行数

20、据分析挖掘的灵活扩展，风险预警 评价体系，实现系统化的运营监控,金融大数据分析银行,结构化数据,传统的信用风险分析定量成熟,更注重内部 数据,信用风 险评估是基于大数据平台，可以不 断发展，自我 完善的模型库,信用风,险评估,数据,由信用风险系统提供电子化的信息（包含：评比、预期、信用等 级下滑指标等）具备信用风险作业人员的专业常识（例如：所在公司过度时期的一些背景事实，老板的个人问题、应收账款品质下降等）外部资料，社交媒体，黑名单、分析报告、所在行业产能等等数,算法模型,的优化,针对行业优化的深度学习算法、优化的分类预测、聚类 分析算法等,基于大数据 平台，在数据分析 的维度和算法的先 进性

21、方面有更大的 优势,金融大数据信用风险评估,大数据分析 平台，数 据发现敏 捷平台,信用风险评估模型库,以大数据分析平台为基础 ，以信用风险评估模型库为引擎 ，实现系统化的运营监控；日均手工监督工作量由895.8万 笔降至5.4万笔，全行释放了 5900余名的业务监督人员。,金融大数据信用风险评估,项目需求建立审计数据中心，核心应用：事件预警，对发现的审计疑点，进行提前预警。数据存储全省审计数据，近年数据，记录数过十亿条系统环境硬件环境： 数据库服务器1台+8台分布式pc server单台4核，16G内存数据可视化可视化报表设计，完成自动生成审计报表,实现可视化审计全覆盖，开展多维度数据分析，提升审计效益质量和效率,建立多种挖掘分析模型和方法体系，扩展审 计视野和监督深度,政府大数据分析审计,审计疑点评估模型库,建立风险分析模型32个，可以 提前2周对相应风险进行预警,基于大数据平台，利用 优化的聚类分析、关联分析、回归分 析、因子分析和判别分析等先进算法优化的算法,审计主 体数据,审计客 体数据,外部数 据,其它数 据,大数据平台,跨部门、跨机构、跨区 域跨行业、跨产品、跨风,险信息的数据。,法律法规数据、审计程 序规范和标准。,企业财务、生产经营活 动相关的数据。,审计人员自身 数据、审计决,定和审计意见 书数据。,政府大数据审计疑点预警,谢 谢,