人工智能应用系统技术方案.pptx
《人工智能应用系统技术方案.pptx》由会员分享,可在线阅读,更多相关《人工智能应用系统技术方案.pptx(98页珍藏版)》请在悟道方案网上搜索。
1、人工智能应用系统技术方案,什么是人工智能(AI)?,全面实施战略性新兴产业发展规划,加快人工智能等技术的研发和转化,做大做强产业集群把发展智能制造作为主攻方向,推进国家智能制造示范区、制造业创新中心建设,人工智能:国家战略(2017年政府工作报告),人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能是对人的意识、思维的信息过
2、程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。,什么是人工智能?,人工智能有那些类型?,弱人工智能,包含基础的、特定场景下角色型的任务,如Siri等聊天机器人和AlphaGo等下棋机器人;通用人工智能,包含人类水平的任务,涉及机器的持续学习;强人工智能,指比人类更聪明的机器;,目录 content,人工智能简述,深度学习算法,知识图谱,人工智能将引领人类第四次工业革命 智能化,时间,18世纪末,工业1.0创造了机器工厂的“蒸汽时代”,20世纪初,电力广泛应用,蒸汽机,信息物联系统,1970年代初,今天,工业2.0将人类带入分工明确、大批量生产的流水线模式和“电气时代”,
3、工业3.0应用电子信息技术,进一步提高生产自动化水平,自动化、信息化,工业4.0开始应用信息物理融合系统(CPS),复杂度,悄悄来临,互联网时代,正在终结,人工智能机器人,交通工具(即无人机、无人驾驶等)VR(虚拟现实),AI将催生“无用阶层”吗?,人工/脑力劳动:翻译、记者.人工/体力劳动:保安、保姆.,1956,1974,1980,1987,1993,2006,AI的诞生1956达特矛斯 会议,“人工智 能”正式诞生,孕育期电子计算机 机器翻译与NLP 图灵测试 计算机下棋 早期神经网络,搜索式推理聊天机器人,乐观思潮
4、,所有的AI程序 都只是“玩具”,运算能力,计算复杂性,常识与推理,专家系统,知识工程,五代机,神经网络重生,未达预期 削减投入,摩尔定律,统计机器学习,AI广泛应用,大数据,计算能力,应用增多,深度学习,人工智能,2016,人工智能发展历程,手机中的AI,人工智能相关技术刚刚越过曲线高峰(处于狂热期),是推动透明化身临其境体验技术发展的主要动力涉及透明化身临其境体验的人本技术(如智能工作空间、互联家庭、增强现实、虚拟现实、脑机接口)是拉动另外两大趋势的前沿技术数字平台在曲线上处于快速上升期,其中的量子计算和区块链将在今后510年带来变革性的影响,AI处于什么阶段?,A
5、I Roadmap,国人为什么要关注AI?,为什么人类能成为地球的主宰?,基因:人和大猩猩的基因,有98.4%都是完全一样的,只有1.6%有区别,“符号语言”(口头语言和书面文字):传递、保存、共享知识“集体知识”:人类的大脑可以相互共享信息,交换知识,人类个体比其他动物没有多大优势,掌握了符号语言,人类社会的结构发生了突变,有了一个连接在一起的集体大脑。这种物种之间相互关联、相互作用的方式,才是我们和其他物种的真正区别,脑容量:历史上的“尼安德特人”和我们的祖先脑容量是一样的。但后来尼安德特人就没留下来,只有我们这一支留下来了,时间地图:大历史导论,知识和创新是推动人类发展的动力,AI学科结
6、构,AI的几大门派,符号学派,联结学派,行为学派,神经网络,知识表示,机器人,模拟人的心智,模拟脑的结构,模拟人的行为,聪明的AI,有学识的AI,深度学习,知识图谱,感知识别判断,思考语言推理,贝叶斯学派,进化学派,类推学派,人工智能产业生态的三层基本架构,基础资源层:主要是计算平台和数据中心,属于计算智能;技术层:通过机器学习建模,开发面向不同领域的算法和技术,包含感知智能和认知智能;应用层:主要实现人工智能在不同场景下的应用。,基础资源支撑,AI生态逐步形成:基础资源+技术+应用,人工智能系统的技术架构,智能终端,智能云平台,人工智能简述,深度学习算法,知识图谱,推理期,知识期,机器学习期
7、,人工智能的三个研究阶段,1950s,1970s,1980s,基于符号知识表示 通过演绎推理技术,基于符号知识表示 通过获取和利用领域知识 建立专家系统,神经网络第二个高潮 NP(non-deterministic polynomial-time)难题 中获重大进展 助力大量现实问题,神经网络第一个高潮期,神经网络以深度学 习之名再次崛起 大幅提升感知智能 准确率,2017,90s中期,统计学习登场并占据主流,支持向量机、核方法为代表性技术,提出支持向量、VC维等概念,统计学
8、的研究成果经由机器学习 研究,形成有效的学习算法,联结学派对大脑进行逆向分析 灵感来自于神经科学和物理学 产生的是“黑箱”模型 神经网络可归置此类,符号学派将学习看作逆向演绎 并从哲学、心理学、逻辑学中寻求洞见 代表包括决策树和基于逻辑的学习,机器学习&深度学习,从以“推理”为重点到以“知识”为重点,再到以“学习”为重点机器可以自动“学习”的算法,即从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。目前,机器学习=“分类”人工智能 > 机器学习 > 深度学习,深度学习是使用包含复杂结构或由多
9、重非线性变换构成的多个处理层对数据进行高层抽象的算法深度学习是一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征,用数据优化计算机程序的模型参数,通过经验自动改进的计算机算法,深度学习算法简介:机器学习,机器学习的基本定理 模型的出错率 推论: 模型复杂-大样本 样本小-简化模型,模型的复杂程度 样本的大小,Class label(
10、Classification),Vector(Estimation),机器学习实施过程,特征提取,特征选取是成败的关键,人脑是通过分级的、多层网络模型来识别减少数据量,保留物体的有用信息,低层信息,预处理,特征提取,识别分类,对效果影响极大手动化特征工程非常耗时,图像识别的一般流程,人脑识别图像的过程,第一个模型是一个线性模型,低度拟合,不能很好地适应训练集;第三个模型是一个四次方的模型,过度拟合,虽然能非常好地适应我们的训练集,但在新输入变量进行预测时可能会效果不好;中间的模型似乎最合适,经过算法预测的结果是一个连续的值,我们称这样的问题为回归问题。,算法能够学会如何将数据分类到不同的类里,
11、我们称这样的问题为分类问题。,深度学习算法简介:数学基础,当感知器用于两类模式的分类时,相当于在高维样本空间中,用一个超平面将两类样本分开神经网络的学习过程就是神经网络参数的设定过程一个神经元网络结构确定之后,需要对一系列参数(权重、阈值等)进行有效的设定。这个过程叫做学习或训练过程,此时的方法叫学习算法,是一个由线性阈值元件组成的单层(或多层)神经元的神经网络当输入的加权和大于或等于阈值时,输出为1,否则为0模型假定神经元中间的耦合程度(即加权系数W)可变,这样,该模型可以学习,深度学习算法简介:感知器,深度学习的训练方法,2006年,Geoffrey Hinton在科学上发表论文提出深度学
12、习主要观点:多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,逐层初始化可通过无监督学习实现的在著名的ImageNet问题上将错误率从26降低到了15,并且输入没有用到其他任何人工特征,仅仅是图像的像素,深度学习的神经网络训练方法,C1层:输入图片大小:32*32卷积窗大小:5*5卷积窗种类:6输出特征图数量:6输出特征图大小:28*28(32-5+1)神经元数量:4707 (28*28)*6)连接数:12304 (5*
13、5+1)*6*(28*28)可训练参数:156 (5*5+1)*6,局部感受 - 卷积,FeatureMap,池化,原理:根据图像局部相关的原理,图像某个邻域内只需要一个像素点就能表达整个区域的信息常见的方法:最大值池化(max-pooling)L2池化(L2 pooling)均值池化(Mean Pooling),LeNet-5,Yann Lecun,1989年用美国邮政系统提供的近万个手写数字的样本来训练神经网络系统,在独立的测试样本中,错误率只有5%,进一步运用CNN,开发出LeNet-5用于读取银行支票上的手写数字,这个支票识别系统在九十年代末占据了美国接近20%的市场,深度学习的训练方
14、法,Hinton in ImageNet比赛140万图像,1000类图库1000万图像20000类7层CNN准确率74%->85%,深度学习的成功应用,AlphaGo战胜李世乭图像识别全面超越人类语音识别接近人类将声学模型中混合高斯模型替换为DNN模型获得30%+ 相对提升Tesla Autopilot投入商用Google Translate投入商用它把原文例如中文词先翻成一个词向量,变成一个数字向量。它对这个词向量再编辑,变成一个语义表示的方式。再把它翻译成它的目标语言,例如英文。,人工智能简述,深度学习算法,知识图谱,知识图谱(Knowledge Graph),知识图谱旨在描述真实世
15、界中存在的各种实体或概念及其关系,一般用三元组表示知识图谱亦可被看作是一张巨大的图,节点表示实体或概念,边则由属性或关系构成,知识图谱构建,Web,字典, 术语表, 百科,书本,知识获取,已有知识库,知识融合,知识验证,知识图谱,基于人工规则的语义理解,神话是孙楠和谁合唱的?,文法解析,知识库查询,SPARQL查询语句生成,答案生成,孙楠和韩红合唱了神话,韩红,歌手 6万歌曲 260万专辑 44万标签 200
16、0类,param:singer孙楠#param:song神话#predicate:chorusWith神话是孙楠和谁合唱的,查询神话这首歌曲的演唱者,演唱者要包括孙楠,输出还包括的另外一个演唱者,文法,规则,模板,歌手 6万歌曲 260万专辑 44万标签 2000类,互联网各种音乐相关信息,下载,融合,知识图谱的成功应用:现代搜索引擎,半结构化数据,结构化数据,文本数据,实体对齐,异构数据整合,属性值决策,关
17、系建立,知立方数据,索引生成,检索系统,本体库,SPARQL查询语句,Query,面向知识图谱的Sogou搜索技术,Gene Ontology,LOD,企业对知识图谱根据内部数据有大量的业务需求,从两方面来建设知识图谱体系: 知识实体,算法,企业知识图谱的建立,结构化数据,数据融合,自由扩展数据模式,行业智能问答,业务需求,技术方案,数据挑战,知识图谱助力企业商业智能,通用知识图谱 + 行业知识图谱,通用知识图谱的广度,行业知识图谱的深度,相互补充,形成更加完善的知识图谱,通用知识图谱中的知识,可以作为行业知识图谱构建的基础;而构建的行业知识图谱,再融合到通用知识图谱中,通用知识图谱,行业知识
18、图谱,通用知识图谱,深度学习与智能围棋,第二节,从AlphaGo Lee/Master讲起,蒙特卡洛树式搜索,AlphaGo的实现原理,AlphaGo Zero,01,人机大战:深度学习算法的标志性成果,最复杂(注:状态复杂度与博弈复杂度)的智力游戏:看似简单,实为复杂,具有10的170次方状态复杂空间,涉及逻辑推理,形象思维,优化选择等多种人类智能(注:国际象棋只有逻辑推理,没有形象思维),02,接近人类,公认是人工智能领域长期以来的重大挑战,03,标志性,国际学术界曾经普遍认为解决围棋问题需要15-20年时间,04,挑战,为什么做围棋AI?,创新性,投入力度,业内龙头,目前技术优势:起步早
19、,算法新,技术强,资源雄厚 最近一年专注于强化学习研究 拟于近期公布新论文和数据,并从此退出围棋AI领域,Google Deepmind 简介,深度学习与智能围棋,第二节,从AlphaGo Lee/Master讲起,蒙特卡洛树式搜索,AlphaGo的实现原理,AlphaGo Zero,传统围棋AI算法 MCTS (蒙特卡洛树搜索),双人一人一步双方信息完备(棋类完全信息,牌类不完全信息)零和,动态博弈问题,计算机下棋,棋类要素的数字化恰当的数据结构 棋盘、棋子、棋规(着法规则,胜负规则)用着法推演局面博弈树展开
20、从有利局面选择当前着法博弈搜索局面评估指标定义与综合,展开深度为4的博弈树,根节点为当前局面叶节点为展开终点双方轮流出手偶数层为本方奇数层为对方,围棋落子蒙特卡洛数学模型及评估,围棋对弈过程可以看做一个马尔科夫过程:五元组:T,S,A(i),P(|i,a),r(i,a)T:决策时刻S:状态空间,S=iA(i):可行动集合(可落子点)P(|i,a):状态i下选择行动a的概率r(i,a):状态i下选择行动a后课获得的收益,从当前局面的所有可落子点中随机(或者给胜率高的点分配更多的计算力)选择一个点落子重复以上过程直到胜负可判断为止经多次模拟后(计算越多越精确),选择胜率最大的点落子,传统围棋AI算
21、法 数学模型 MCTS (蒙特卡洛树搜索),基本思想与特点:- 将可能出现的状态转移过程用状态树表示- 从初始状态开始重复抽样,逐步扩展树中的节点- 某个状态再次被访问时,可以利用已有的结果,提高了效率- 在抽样过程中可以随时得到行为的评价,选择 - 从根节点出发自上而下地选择一个落子点扩展 - 向选定的点添加一个或多个子节点,模拟 - 对扩展出的节点用蒙特卡洛方法进行模拟回溯 - 根据模拟结果依次向上更新祖先节点估计值,深度学习与智能围棋,第二节,从AlphaGo Lee/Master讲起,蒙特卡洛树式搜索,AlphaGo的实现原理,AlphaGo Zero,AlphaGo的实现原理,控制宽
22、度(250),控制深度(150),基本算法,快速模拟,围棋是完全信息博弈,从理论上来说可以通过暴力搜索所有可能的对弈过程来确定最优的走法,Policy Network策略网络:落子棋感,深度神经网络的有监督学习,目标是获得在围棋盘面下的落子棋感学习职业棋手和业余高段棋手的棋谱(数十万份棋谱,上亿数量级的落子方式)把当前局面作为输入,预测下一步的走棋。它的预测不只给出最强的一手,而是对棋盘上所有可能的下一着给一个分数用Policy Network作为第一感,将计算力分配到最有希望的选点分枝数从上百个减少到几个优先计算PolicyNetwork分数高的点,计算力充沛时,适当分配到其他分值较低的点,
23、PolicyNetwork输入特征,局部感知域权重共享特征训练卷积层+池化层,模型结构13个卷积层,每层192个3*3卷积核数百万个参数训练数据KGS 6d以上对局,17万,职业对局8万。训练数据量5000万+训练时间几十天运算速度GPU,3ms预测准确率57%,左右互博,自我进化,Agent通过和环境s的交互,选择下一步的动作a,这个动作会影响环境s,给Agent一个reward,Agent然后继续和环境交互。 根据游戏结果迭代更新转移概率和评估函数神经网络结构与策略网络相同训练方法:自我对局目标:校正价值导向将策略网络权值作为初始值,自我对弈更新权值,从而提升棋力Pros: 棋艺更高(wi
24、n 80% of the games with SL policy network)Cons: 走法集中,不适应MCTS多搜索范围的需求,强化学习(RL),Fast-Rollout 快速走子,Rollout(随机模拟走子)通过随机模拟走子胜率来判定形势速度快随机性,合理性的平衡原因:1. 策略网络的运行速度较慢 (3ms) 快速走子在2us 2. 用来评估盘面。在同等时间下,模拟走子速度快乃
25、至使用随机走子,虽然单次估值精度低,但可以多模拟几次算平均值,效果未必不好。提升棋力 结构:局部特征匹配 + 线性回归特征:围棋专业知识,Value Network:胜负棋感,深度神经网络的增强型学习(DeepMind独创)通过自我博弈,学习不同盘面下的胜负情况(三千万盘自我对局)获取在围棋盘面的胜负棋感(注:对每一个落子点给一个当时的快速的胜负感(估算),这个胜负估算并不是根据分析计算出来的,而是直觉)(通过AlphaGo几千万盘的训练学习得来的),形势判断:-1:白棋必胜0:黑棋优势1:黑棋必胜,Value Network 模型,模型结构13个卷积层,每层192个卷积核,每个卷积核3*3数
- 温馨提示:
建议用WPS软件(.pptx、.docx)打开文档,少量文档使用Microsoft(.ppt、.doc)打开易出错。
- 配套讲稿:
如PPT文件的首页显示word图标打开文档,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能应用系统技术方案