电商大数据平台架构设计方案.pptx

上传人：悟***

文档编号：4063

格式：PPTX

页数：49

大小：9.79MB

提示：建议用WPS软件打开文档,少量文档使用Microsoft打开易出错

《电商大数据平台架构设计方案.pptx》由会员分享，可在线阅读，更多相关《电商大数据平台架构设计方案.pptx（49页珍藏版）》请在悟道方案网上搜索。

1、电商大数据平台架构设计方案,现时较为热门的话题,互联网电商大数据,应用程序,应用服务器,文件,文件服务器,数据库,数据库服务器,小型电商网站架构,中型电商网站架构,大型电商网站架构,项目梳理流程,每一个步骤都是一个需求翻译的过程,应用系统与基础架构是两种不同类型的语言,应用系统语言,人工翻译由于相互之间的不熟悉，如何确保需求翻译的正确性？,高并发，大流量高可用： 7*24海量数据用户分布广泛安全：网站受攻击，密码泄露需求快速变更，发布频繁,基础架构语言,端口数量核心层、接入层带宽速率VLAN划分IP地址规划防火墙QoS 负载均衡CPU、内存、网卡、存储,姑且称之为应用与基础架构之间的语言

2、障碍,应用系统和基础架构人员必须相互翻译自己的语言,如何跨越这个障碍？,架构师,懂业务,熟系统,熟悉网络、服务器、防火墙,在哪里？,有其他的办法吗？,Soni Jiandani,Application Centric Infrastucture以应用为中心的基础架构,应用需求,应用（web）,中间件,数据库,ACI 理解并翻译 APP的需要,Aci将应用的语言翻译成网络的语言,网络需求,开放标准，拥抱开源,ACI 以应用为中心的基础架构并不是单一的产品,先来看一个传统的案例,Web Servers,L3,FW,SLB,SSL,DB Servers,www,www,www,App Serve

3、rs,FW,SLB,app,app,FW,db,db,switch1(config)#switch1(config)# int eth 1/1switch1(config)# switch mode accswitch1(config)# switch acc vlan 666switch1(config)# no shut,router(config)#router(config)# int eth 1router(config)# ip add 6.6.6.1 255.255.255.0router(config)# not shutrouter(config)# int eth 2rou

4、ter(config)# ip addr 1.1.1.1 255.255.255.0router(config)# no shutrouter(config)# router eigrp 100router(config)# network 6.6.6.0 mask 255.255.255.0router(config)# network 1.1.1.0 mask 255.255.255.0router(config)# ip route 0.0.0.0 0.0.0.0 6.6.6.254,switch2(config)#switch2(config)# int eth 1/2 - 3swit

5、ch2(config)# switch mode accswitch2(config)# switch acc vlan 111switch2(config)# no shut,fw1(config)#fw1(config)# int eth 0/1fw1(config)# nameif outside 0fw1(config)# int eth 0/2fw1(config)# nameif webfront 20fw1(config)# object network webfront_vipfw1(config)# host 6.6.6.6fw1(config)# static (webfr

6、ont,outside) 1.1.1.6fw1(config)# access-list outside_web permit tcp any host 6.6.6.6 eq 80fw1(config)# access-list outside_web permit tcp any host 6.6.6.6 eq 443fw1(config)# access-group outside_web in interface outside,switch3(config)#switch3(config)# int eth 1/4 - 5switch3(config)# switch mode acc

7、switch3(config)# switch acc vlan 222switch3(config)# no shut,switch4(config)#switch4(config)# int eth 1/6switch4(config)# switch mode accswitch4(config)# switch acc vlan 333switch4(config)# no shutswitch4(config)# int eth 1/7 - 9 switch4(config)# switch mode accswitch4(config)# switch acc vlan 333sw

8、itch4(config)# no shut,IDS/IPS,IDS/IPS,switch5(config)#switch5(config)# int eth 1/10 - 11switch5(config)# switch mode accswitch5(config)# switch acc vlan 444switch5(config)# no shutswitch5(config)# int eth 1/11 - 15switch5(config)# switch mode accswitch5(config)# switch acc vlan 555switch5(config)#

9、no shutswitch5(config)# monitor session 1 source vlan 555switch5(config)# monitor session 1 dest eth 1/16,switch6(config)#switch6(config)# int eth 1/16 - 19switch6(config)# switch mode accswitch6(config)# switch acc vlan 777switch6(config)# no shutswitch6(config)# monitor session 1 source vlan 777sw

10、itch6(config)# monitor session 1 dest eth 1/20,slb1 (CONFIG) probe http http-probe interval 30 expect status 200 200rserver host websrvr1 description foo web server ip address 3.3.3.1 inservicerserver host websrvr2 description foo web server ip address 3.3.3.2 inservicerserver host websrvr3 descript

11、ion foo web server ip address 3.3.3.3 inserviceserverfarm host FOOWEBFARM probe http-probe rserver websrvr1 80 inservice rserver websrvr2 80 inservice rserver websrvr3 80inservicecrypto generate key 1024 fooyou.keycrypto csr-params testparms country US state California locality San Jose organization

12、-name foo organization-unit you common-name serial-number crisco123crypto generate csr testparms fooyou.keycrypto import ftp 12.13.14.15 anonymous fooyou.cerparameter-map type ssl SSL_PARAMETERS cipher RSA_WITH_RC4_128_MD5 version TLS1ssl-proxy service FOOWEB_SSL key fooyou.key cert fooyou.cerclass

13、-map match-all FOOSSL_VIP_CLASS 2 match virtual-address 2.2.2.22 tcp eq https policy-map type loadbalance first-match L7-SSL-MATCH class L7_WEB sticky-serverfarm sn_cookie policy-map multi-match FOOWEB-VIP class FOOWEB_VIP_CLASS loadbalance vip inservice loadbalance policy FOOWEB-MATCH loadbalance v

14、ip icmp-reply loadbalance vip advertise active class FOOSSL_VIP_CLASS loadbalance vip inservice loadbalance policy FOOSSL-MATCH loadbalance vip icmp-reply loadbalance vip advertise active ssl-proxy server FOOWEB_SSLinterface vlan 222 service-policy input FOOWEB_SSL,fw2(config)#fw2(config)# int eth 0

15、/1fw2(config)# nameif webfront 20fw2(config)# int eth 0/2fw2(config)# nameif appfront 50fw2(config)# object network appfarm_vipfw2(config)# host 5.5.5.5fw2(config)# nat (appfront,webfront) static 4.4.4.4fw2(config)# access-list web_to_app permit tcp any host 4.4.4.4 eq 8081,slb2 (CONFIG)rserver host

16、 appsrvr1 description foo app server ip address 5.5.5.1 inservicerserver host appsrvr2 description foo app server ip address 5.5.5.2 inservicerserver host appsrvr3 description foo app server ip address 5.5.5.3 inserviceserverfarm host FOOAPPFARM probe http-probe rserver appsrvr1 8081 inservice rserv

17、er appsrvr2 8081 inservice rserver appsrvr3 8081inserviceclass-map type http loadbalance match-any FOO_APP 2 match http virtual-address 4.4.4.44 tcp eq 8081class-map match-all FOO_APP_VIP_CLASSpolicy-map type loadbalance first-match FOO_APP-MATCH class FOO_APP sticky-serverfarm sn_cookiepolicy-map m

18、ulti-match FOO_APP-VIP class FOO_APP_VIP_CLASS loadbalance vip inservice loadbalance policy FOO_APP-MATCH loadbalance vip icmp-reply loadbalance vip advertise active,fw3(config)#fw3(config)# int eth 0/1fw3(config)# nameif appfront 70fw3(config)# int eth 0/2fw3(config)# nameif dbfront 90fw3(config)#

19、object network db_clusterfw3(config)# host 7.7.7.7fw3(config)# nat (dbfront,appfront) static 5.5.5.50fw3(config)# access-list web_to_app permit tcp any host 5.5.5.50 eq 1433,Web Servers,L3,FW,SLB,SSL,DB Servers,www,www,www,App Servers,FW,SLB,app,app,FW,db,db,switch1(config)#switch1(config)# int eth

20、1/1switch1(config)# switch mode accswitch1(config)# switch acc vlan 666switch1(config)# no shut,router(config)#router(config)# int eth 1router(config)# ip add 6.6.6.1 255.255.255.0router(config)# not shutrouter(config)# int eth 2router(config)# ip addr 1.1.1.1 255.255.255.0router(config)# no shutrou

21、ter(config)# router eigrp 100router(config)# network 6.6.6.0 mask 255.255.255.0router(config)# network 1.1.1.0 mask 255.255.255.0router(config)# ip route 0.0.0.0 0.0.0.0 6.6.6.254,switch2(config)#switch2(config)# int eth 1/2 - 3switch2(config)# switch mode accswitch2(config)# switch acc vlan 111swit

22、ch2(config)# no shut,fw1(config)#fw1(config)# int eth 0/1fw1(config)# nameif outside 0fw1(config)# int eth 0/2fw1(config)# nameif webfront 20fw1(config)# object network webfront_vipfw1(config)# host 6.6.6.6fw1(config)# static (webfront,outside) 1.1.1.6fw1(config)# access-list outside_web permit tcp

23、any host 6.6.6.6 eq 80fw1(config)# access-list outside_web permit tcp any host 6.6.6.6 eq 443fw1(config)# access-group outside_web in interface outside,switch3(config)#switch3(config)# int eth 1/4 - 5switch3(config)# switch mode accswitch3(config)# switch acc vlan 222switch3(config)# no shut,switch4

24、(config)#switch4(config)# int eth 1/6switch4(config)# switch mode accswitch4(config)# switch acc vlan 333switch4(config)# no shutswitch4(config)# int eth 1/7 - 9 switch4(config)# switch mode accswitch4(config)# switch acc vlan 333switch4(config)# no shut,IDS/IPS,IDS/IPS,switch5(config)#switch5(confi

25、g)# int eth 1/10 - 11switch5(config)# switch mode accswitch5(config)# switch acc vlan 444switch5(config)# no shutswitch5(config)# int eth 1/11 - 15switch5(config)# switch mode accswitch5(config)# switch acc vlan 555switch5(config)# no shutswitch5(config)# monitor session 1 source vlan 555switch5(con

26、fig)# monitor session 1 dest eth 1/16,switch6(config)#switch6(config)# int eth 1/16 - 19switch6(config)# switch mode accswitch6(config)# switch acc vlan 777switch6(config)# no shutswitch6(config)# monitor session 1 source vlan 777switch6(config)# monitor session 1 dest eth 1/20,slb1 (CONFIG) probe h

27、ttp http-probe interval 30 expect status 200 200rserver host websrvr1 description foo web server ip address 3.3.3.1 inservicerserver host websrvr2 description foo web server ip address 3.3.3.2 inservicerserver host websrvr3 description foo web server ip address 3.3.3.3 inserviceserverfarm host FOOWE

28、BFARM probe http-probe rserver websrvr1 80 inservice rserver websrvr2 80 inservice rserver websrvr3 80inservicecrypto generate key 1024 fooyou.keycrypto csr-params testparms country US state California locality San Jose organization-name foo organization-unit you common-name serial-number crisco123

29、crypto generate csr testparms fooyou.keycrypto import ftp 12.13.14.15 anonymous fooyou.cerparameter-map type ssl SSL_PARAMETERS cipher RSA_WITH_RC4_128_MD5 version TLS1ssl-proxy service FOOWEB_SSL key fooyou.key cert fooyou.cerclass-map match-all FOOSSL_VIP_CLASS 2 match virtual-address 2.2.2.22 tcp

30、 eq https policy-map type loadbalance first-match L7-SSL-MATCH class L7_WEB sticky-serverfarm sn_cookie policy-map multi-match FOOWEB-VIP class FOOWEB_VIP_CLASS loadbalance vip inservice loadbalance policy FOOWEB-MATCH loadbalance vip icmp-reply loadbalance vip advertise active class FOOSSL_VIP_CLAS

31、S loadbalance vip inservice loadbalance policy FOOSSL-MATCH loadbalance vip icmp-reply loadbalance vip advertise active ssl-proxy server FOOWEB_SSLinterface vlan 222 service-policy input FOOWEB_SSL,fw2(config)#fw2(config)# int eth 0/1fw2(config)# nameif webfront 20fw2(config)# int eth 0/2fw2(config)

32、# nameif appfront 50fw2(config)# object network appfarm_vipfw2(config)# host 5.5.5.5fw2(config)# nat (appfront,webfront) static 4.4.4.4fw2(config)# access-list web_to_app permit tcp any host 4.4.4.4 eq 8081,slb2 (CONFIG)rserver host appsrvr1 description foo app server ip address 5.5.5.1 inservicerse

33、rver host appsrvr2 description foo app server ip address 5.5.5.2 inservicerserver host appsrvr3 description foo app server ip address 5.5.5.3 inserviceserverfarm host FOOAPPFARM probe http-probe rserver appsrvr1 8081 inservice rserver appsrvr2 8081 inservice rserver appsrvr3 8081inserviceclass-map t

34、ype http loadbalance match-any FOO_APP 2 match http virtual-address 4.4.4.44 tcp eq 8081class-map match-all FOO_APP_VIP_CLASSpolicy-map type loadbalance first-match FOO_APP-MATCH class FOO_APP sticky-serverfarm sn_cookiepolicy-map multi-match FOO_APP-VIP class FOO_APP_VIP_CLASS loadbalance vip inser

35、vice loadbalance policy FOO_APP-MATCH loadbalance vip icmp-reply loadbalance vip advertise active,fw3(config)#fw3(config)# int eth 0/1fw3(config)# nameif appfront 70fw3(config)# int eth 0/2fw3(config)# nameif dbfront 90fw3(config)# object network db_clusterfw3(config)# host 7.7.7.7fw3(config)# nat (

36、dbfront,appfront) static 5.5.5.50fw3(config)# access-list web_to_app permit tcp any host 5.5.5.50 eq 1433,www,www,需要增加更多的WEB服务器,switch4(config)#switch4(config)# int eth 2/7 - 9 switch4(config)# switch mode accswitch4(config)# switch acc vlan 333switch4(config)# no shut,slb1 (ADDED CONFIG)rserver hos

37、t websrvr4 description foo web server ip address 3.3.3.4 inservicerserver host websrvr5 description foo web server ip address 3.3.3.5 inserviceserverfarm host FOOWEBFARM rserver websrvr4 80 inservice rserver websrvr5 80 inservice,在这个传统案例中每台相关的设备：路由器、交换机、防火墙、负载均衡都要去一一的进行配置网络是一种层级拓扑，各类设备需要放在相关的位置一旦发生变

38、更，例如增加应用服务器，相关网络设备也要发生配置变更,传统的案例,如果是ACI，会怎么样.,ACI的方式,4-7层网络服务器,虚拟机或者物理服务器,ACI 核心交换机,ACI 接入交换机,APIC集群,1) 应用服务器，无论是WEB、中间件、数据库（VM或者物理机）连接进了ACI网络,2) ACI 接入交换机（或者是VMM，例如vCenter）检测到了有设备接入，于是将设备接入信息转发给APIC,3) APIC 检测到接入的是一台WEB服务器，于是将WEB应用的策略和配置推送到Leaf交换机,定义策略 .,DB_contractConsumer: App EPGProvider: DB EPG

39、 Filter: TCP port 1433Contract: use firewall+NAT copy to IDS/IPS,定义网络服务,定义应用,WEB服务器,数据库服务器,中间件服务器,入侵检测,APP_contractConsumer: Web EPGProvider: App EPG Filter: TCP port 8081Contract: use firewall NAT use SLB copy pkt to IDS/IPS,负载均衡,防火墙,WEB_contractConsumer: Outside EPGProvider: Web EPG Filter: TCP po

40、rts 80 and 443Contract: use firewall NAT + SLB + SSL offload,ACI：抽象出一个逻辑模型来支持应用程序的部署,定义策略 .,DB_contractConsumer: App EPGProvider: DB EPG Filter: TCP port 1433Contract: use firewall+NAT copy to IDS/IPS,定义网络服务,定义应用,WEB服务器,数据库服务器,中间件服务器,IDS/IPS,Outside EPG,APP_contractConsumer: Web EPGProvider: App EPG

41、 Filter: TCP port 8081Contract: use firewall NAT use SLB copy pkt to IDS/IPS,SLB,FW,WEB_contractConsumer: Outside EPGProvider: Web EPG Filter: TCP ports 80 and 443Contract: use firewall NAT + SLB + SSL offload,在APIC中定义所有策略,定义策略,定义网络服务,定义应用,WEB服务器,数据库服务器,中间件服务器,IDS/IPS,Outside EPG,SLB,FW,由APIC统一下发给基础

42、架构,ACI 以应用为中心的基础架构无状态网络,ADC,app,db,f/wADC,WEB,互联策略,安全策略,QOS带宽设置,存储和计算单元,应用的4-7层服务,可扩展的脚本语言模型,ACI如何能够自动识别应用？,DNS *,DNS,DHCP Pool,VM Attribute,Subnet,VLAN,VxLAN,NVGRE,Phys Port,Virtual Port,Systems Telemetry,ACI: 将应用快速部署到网络中，同时保证扩展性，安全性和应用可见性,让物理网络和虚拟化环境相结合,Tenant HEALTH SCORE,LATENCY,VISIBILITY,VMs,P

43、hysical,Application Delivery Controller,Firewall,Microsecond(s),3,35,2,Packet Drops,0,Systems Telemetry,Application HEALTH SCORE,LATENCY,VISIBILITY,VMs,Physical,Application Delivery Controller,Firewall,Microsecond(s),5,16,8,Packet Drops,25,ACI提供强大的排错和监控,随时监控为应用提供服务的基础架构的健康状况,ACI知道应用的结构和组成部分,82%,10,2

44、5,研发部门,法律部门,销售部门,人事,财务,ACI 更灵活完善的安全管控,PolicyEngine,动态的企业安全策略,市场部门,ACI L4-L7层服务策略,L4-L7层的服务根据策略自动生效匹配策略的报文自动被处理,ACI提供了新一代的应用分析引擎,Physical And Virtual As One,VXLANPer hop Visibility,粒度可调整：按照应用、租户、数据中心健康打分时延原子级的计数器资源消耗比例,应用级别的可视化,Triggered Events or Queries,自动测量：原子级的计数器,Path1,Path2,Path3,Path4,ACI与VM

45、Ware集成,三种方式,+,Distributed Virtual Switch (DVS),vCenter + vShield,Application Virtual Switch (AVS),封装方式: VLAN安装方式: NativeVM发现机制: LLDP软件许可: vCenter with Enterprise+ License,封装方式: VLAN, VXLAN安装方式: NativeVM发现机制: LLDP软件许可: vCenter with Enterprise+ License, vShield Manager with vShield License,封装方式: VLAN,

46、 VXLAN安装方式: VIB through VUM or ConsoleVM发现机制: OpFlex软件许可: vCenter with Enterprise+ License,31,VI/Server Admin,Instantiate VMs, Assign to Port Groups,Create Application Policy,Web,Web,Web,App,WEB Port group,App port group,Db port group,8,5,1,9,ACI Fabric,Automatically Map EPG To Port Groups,Push Policy,Create VDS,