云AI平台架构提升方案.pptx

《云AI平台架构提升方案.pptx》由会员分享，可在线阅读，更多相关《云AI平台架构提升方案.pptx（33页珍藏版）》请在悟道方案网上搜索。

1、云AI平台架构提升方案,语音云从0到1的在线服务量增长,什么是语音云： 依托于语音及其他人机交互能力， 将用户意图与应用行为自然便捷 地关联起来，从而满足用户多样 化交互需求的服务通道 让语音像水电一样方便接入 语音云流量的特点： 流式会话 通常一次服务中语音25秒 为了实时性要求，一次服务中的 语音大概通过100次请求响应完成,第一代服务的核心架构,和常规互联网服务架构不一样的地方就 是为了管理高密集计算引擎而做的负载 均衡组件,语音数据流图,应用,SDK,接入负载,业务,引擎,支,/ 数 据,服,启 动,语音交互,初始化,接入选择,发起业务,流式音频交互,登录服务,加载资源,识别处理,务处

2、理,识别结果 语义&业,业务加载 参数更新 引擎选择 创建实例,数据预处理,结果缓存 多引擎调度 业务处理,结果呈现,数据收集,更新下发,撑 策略配置,务 业务配置,资源更新,高密集计算引擎调度架构演进,业务-节点1,业务-节点2,ASR引擎 节点1,ASR引擎 节点2,Round-Robin,计算能力不一样？Weighted Round-Robin,如何做过载保护？如何熔断？,5,-50,0,50,100,150,200,250,300,计算密集型应用的性能指标,050100150200250,Throughput 15000 10000 5000 0,Concurrent, , ,无法轻松

3、的定出指标,性能定标测试, ,如何精细化调度？,计算引擎负载均衡, , , ,业务-节点1,ASR引擎 节点1,载均衡 节点,1.获取可用计 算引擎节点,2.调用计算引擎,0.实时上报当前并 发量以及警戒水位,ASR引擎 节点1,ASR引擎 节点1,ASR引擎 节点1,ASR引擎 节点N,负,负 载均衡 节点,负载均衡 节点,用户级个性化定制, , ,负载均衡节 点,1.获取uid-123的可用 计算引擎节点,2.调用计算引擎,业务-节点 1,0.预热uid-123的资源,ASR引擎 节点1,ASR引擎 节点2,ASR引擎 节点3,DB,问题,极大增加了调度的复杂性 某个分段都是热点用户 无法

4、很好的适配弹性伸缩的运 维体系,个性化调度的转机, ,大道至简,让调度更加纯粹 计算节点无明显状态，更好的适配弹性架构,将个性化资源做集中缓存方案，类CDN方案 子系统指标更加明确：并发、时延、成功率、缓 存命中率,1.调用计算引擎,业务-节点 1,ASR引擎 节点1,ASR引擎 节点2,ASR引擎 节点3,一级缓存,一级缓存,一级缓存,OSS,2.获取个性化资源,3.获取个性化资源,接入网关的演进, , , ,好用,穿透 性强,省流量,速度快,接入网关的演进, , ,client,upstream,nginx,http/2 - Http/1.1,Http/1.1 - http/2,这样的实现

5、支持不了Server Push,接入网关的演进, , , ,流量爆涨带来的质量问题, ,全链路日志, , ,日志跟踪2.0 基于Google Dapper原理，实现了调用 链的结构化描述,埋点的一些实践案例,日志埋点要细到什么程度才能让Boss有安全感？ 万一是在发布会演示，玩砸了怎么办？ 某日Boss在良好的4G网络下使用输入法，反馈慢，要求彻查 收到问题的第一反应就是网络的锅 经过日志链排查，确实有一次会话出现了一次慢响应，原因是某个数据报文到服务端慢了 通过大量的日志统计分析，显示当时所在基站下的接入成功率正常，排除是大范围接入问 通过对该基站的测试，发现确实有极低概率的丢包重传问题 为

6、此，整个问题分析结束，分析工期17天！ 于是把从TCP_INFO的采点加入到了日志中，Apache Traffic Server的代码就是这样干的,链路盲点上的各种坑, , ,运营商 全站HTTPS迫在眉睫,第二代平台架构的前身,语音识别,语义理解,语音唤醒,定向拾音,回音消除,远场降噪,端点检测,离线命令词,云端听写,无效拒识,对话管理,纠错,上下文信息,内容管理,情感 情境 语音合成,AIUI系统边界,基于语义理解的技能驱 动交互流程 全双工流式交互的难点 Q:我要听周杰伦的 歌（VAD）烟花易 冷 A:为你推荐周杰伦 的告白气球 A：为你播放烟花 易冷,全双工接入通道,上下行分离，全异步

7、化处理 上行只做数据上传 下行只做异步响应or Server Push 几个关键的Id标识 did : 设备唯一标识 up_router_id ： 上行路由ID， 用于将数据路由到服务调度层节 点 down_router_id ： 下行路由ID， 用于数据路由到,C10M下行推送网关进程架构,并发模型 基于epoll的多线程Eventloop 多Eventloop间的notify机制，将锁粒 度降到最低 32核下，平均每Eventloop下连接数 为320K 30秒心跳下，平均每Eventloop下 10Kqps 内存 基于动态请求内存池和静态对象缓存 池 应用层内存，静态对象内存为 10M*

8、512B= 5GB TCP协议栈内存分配相对复杂，有压 力模式，粗略估算10M*（4K+4K）= 80G 心跳时，应用层0内存分配 动态消息时，4KB内存池,C10M下行网关,内部路由 静态对象池是基于递增ID 基于ID的对象路由信息+其他辅助校验唯一性信息 基于ID的路由内部查询效率为 O(1) 基于对象池可以有效的防止野指针的情况 Push Pipelining消息处理 消息零拷贝 Proxy 消息缓冲队列防雪崩 Pipelining高速转发,消息零拷贝,0,20000000,40000000,60000000,80000000,100000000,120000000,1 12 23 34

9、 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199 210 221 232 243 254 265 276,net,net/total send,0,20,40,60,80,100,120,1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 221 231 241 251 261 271,net/total recv cpu,total cpu usage usr total cpu usage idl total cpu usage

10、 hiq,total cpu usage sys total cpu usage wai total cpu usage siq,1E+11 8E+10 6E+10 4E+10 2E+10 0,1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 221 231 241 251 261 271,memory,memory usage used memory usage cach,memory usage buff memory usage free,流式编排调度,流式编排 消息总线 服务扩展,架

11、构思想与技术选型, ,用户响应时间量化的复杂度,梳理清全链路，并结合埋点，形 成量化优化闭环，用户响应时间 由23秒下降到1秒,云+端时间拟合 语音尾静音以及云端VAD 全双工的持续交互，会导致持 续语音识别出多段识别结果,问题：当前一些日志跟踪对 异步系统的支持并不好,AIUI系统的挑战与未来, , , ,Android有没有可能成为发展为智能交互 系统的“浏览器”？ 智能交互系统的“前后端”如何标准化？ 智能交互系统的应用开发平台能否做到 微信小程序平台水平？,NLP的突破,第二代平台, , ,AI服务 平台,深度学习 平台,数据,模型,为什么不能做一个服务平台里的TensorFlow呢？,系统逻辑架构, ,流式编排, ,语音翻译的调度实践,AI Link平台的思考,物联网通信技术的发展与AI技术的广泛应用 将推动智能物联网走向浪潮之巅,互联网,移动互联网,物联网,智能物联网,AIoT,连接,数据,智能,连接万物，互联互 通，打破数据的孤岛,海量数据处理 智能决策的前提,AI赋能，万物智能,AIoT的三驾马车,AI Link平台的未来,