大数据安全规划总体方案.pptx

《大数据安全规划总体方案.pptx》由会员分享，可在线阅读，更多相关《大数据安全规划总体方案.pptx（45页珍藏版）》请在悟道方案网上搜索。

1、大数据安全规划总体方案,一、大数据安全风险分析,提纲,二、大数据安全规划建议,HDFS资源池,数据源系统,镜像采集,FTP server集群,A省HDFS资源池,B省HDFS资源池,c省HDFS资源池,31省HDFS资源池,HDFS资源池,开放作业管理,收入管理集中集客集中渠道,集中生产应用,XX公司,MPP,面向深度关联及进一步加工的数据,Oracle,面向深度关联应用的数据,MySQl,面向临时结果应用的数据,Hbase,面向查询的数据,开放式应用平台,数据服务,基于工具的直接应用,定制化开发应用,数据层,应用层,加工层,服务支撑层,调度管理平台,部分个性化省分处理集群，如针对事件触发信令

2、处理,业务办理人员,合作伙伴人员,第三方开发运维,外部合作伙伴1,外部合作伙伴2,数据全生命周期安全风险,内外部人员的安全管理风险,Hadoop等大数据组件的安全风险,数据中心目前主要包括的安全风险点：数据全生命周期的安全管理，内外部人员的行为管控，Hadoop组件、安全管理支撑方面的安全风险。,大数据中心安全风险分析,数据全生命周期风险分析,固网用户数据,固网网络数据,移网用户数据,移网网络数据,数据存储层,数据处理层,数据应用层,第三方接入,应用层,数据采集,数据采集,数据源,数据消费,数据消费,第三方数据,数据挖掘,数据建模,数据加工,数据封装,操作维护,算法升级,合作伙伴分享,数据分布

3、不清晰，哪些是需要重点保护的数据不明确,数据明文存储，包括30%的非结构化文本文件和70%的结构化关系型数据,数据在应用系统不分用户权限明文展现,数据泄露后，无法溯源和追责。泄露途径难以及时发现和弥补,数据导出到人员终端后，可通过网络和终端外设外发,数据后台维护明文展示,数据分享的文档服务器随意连接，对端数据访问主体缺乏管理,生产环境导出到开发测试环境的数据未经处理，存在泄露风险,数据输出的合法性没有审核标准，缺乏有效合法性审核,第三方人员安全风险分析,HDFS资源池,A节点HDFS资源池,B节点HDFS资源池,c省HDFS资源池,31省HDFS资源池,HDFS资源池,开放作业管理,MPP,面

4、向深度关联及进一步加工的数据,RMDB,面向深度关联应用的数据,MySQl,面向临时结果应用的数据,Hbase,面向查询的数据,开放式应用平台,数据服务,数据层,加工层,服务支撑层,调度管理平台,业务办理人员,合作伙伴人员,第三方开发运维,合伙伙伴专区,平台租户界限划分不清晰。合作伙伴非法盗取、使用数据,第三方人员进入生产环境的流程不明确。存在绕过监管手段进入系统访问的风险,第三方人员生产过程中的操作命令、脚本上传、数据导出需要严格监控，核心数据相关操作重点管理,第三方人员的终端准入条件需要进行加强，防止终端病毒、木马传入内网,Hadoop及相应组件安全风险分析,Hadoop权限模型 Linu

5、x权限模型新文件/目录默认权限：755 rwxr-xr-x hadoop fs-chmod,只有研发能看懂的语言，无法让普通管理者一目了然看懂日志，无法有效审计。,大数据系统帐号=主机帐号帐号自然人帐号共享,帐号问题,权限问题,审计问题,认证问题,2015-07-19 18:04:10,527 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace:src:/10.21.16.21:50010,dest:/10.21.16.21:34867,bytes:7,op:HDFS_READ,cliID:DFSClient_NON

6、MAPREDUCE_679482453_1,offset:0,srvID:2fa4e867-9c13-41c3-b470-5353dde9d260,blockid:BP-1353038354-127.0.0.1-1422861007070:blk_1074033064_293820,duration:40244,个人身份信息(PII),企业关键业务数据,Hadoop平台核心安全问题,Hadoop大数据平台认证依赖操作系统认证，自身组件支持keboros三方认证，但是大数据平台未开启。平台认证强度总体薄弱,数据中心风险点,风险感知。缺乏数据中心风险趋势感知能力；缺乏舆情感知和安全情报更新能力政策

7、和规范落地。缺乏对监管部门安全政策的管理和分析能力，缺乏公司安全规范的落地监督能力数据使用流程安全管控敏感数据存储分布不清晰应用系统、主机文件、数据库访问敏感数据明文使用非报备连接文件服务器获取数据管理触角无法到达终端，存在拷贝、外发等数据泄露风险对外数据合作缺乏流程支撑，出现问题无法审计缺乏数据外泄后的溯源能力安全监控基础设备分布、位置、归属状况不明设备漏洞、补丁、健康度、合规性不明缺乏安全流程和运维自动化能力安全支撑。人多，系统杂，用户身份、应用系统、组织机构、职责角色等信息不统一，存在重复调研、难以对接、用户帐号重复申请/冒用等诸多跑冒滴漏风险。,1,2.3,3.6,3.5,3.4,3.

8、3,5,2,数据,数据,数据,数据,3.2,3.1,4.1,4.2,4.3,基础设施,数据产生、使用、传播流程仍存在风险点，安全管理支撑体系仍需持续完善和加强。,大数据 安全管理支撑风险分析,大数据平台安全防护需求,大数据平台安全防护内容（一）,大数据平台安全防护内容（二）,大数据平台安全防护内容（三）,大数据平台安全防护内容（四）,一、大数据安全风险分析,提纲,二、大数据安全规划建议,大数据安全防护体系包括数据安全管理支撑、数据生命周期安全管理、数据应用安全防护、大数据安全管控、大数据基础设施安全五大工作领域。,大数据安全防护体系建设工作思路,大数据安全防护体系,数据安全管理支撑,数据生命周

9、期安全管理,数据应用安全防护,大数据安全管控,大数据基础设施安全,数据分类分级；数据工作流程；安全责任；合作伙伴管理,数据发现、数据采集、数据存储、数据使用、数据权限,客户信息保护、访问行为异常、终端数据安全保护.,数据授权、数据签权认证、数据使用管控、数据脱敏、,网络、系统、中间件、数据库、应用层安全防护,大数据安全防护体系建设构成,安全责任矩阵,业务安全管理,不良信息管控,异常行为检测,访问流量监测,应用WEB防护,数据使用流程管控,安全运营体系,安全策略体系,大数据安全防护体系,数据发现,虚拟化安全,IPS/IDS/防火墙/,网络准入控制,基础安全,APT防护,电子文档安全,数据网关,敏

10、感数据规则,服务器扫描,内部敏感数据运营,合作伙伴数据安全运营,维护环节责任,运行环节责任,开发环节责任,普通数据安全运营,数据库扫描,数据脱敏,数据外联,终端DLP,输出审核,数据溯源,数据索引标记,数据脱敏规则,主机文件脱敏,数据库脱敏,应用系统脱敏,数据访问报备,网络流量采集,非法外联比对,非法外联整改,终端文件扫描,自然语义分析,数据审核标准,数据内容审核,数据大小审核,数据类型审核,敏感数据规则,敏感数据标记,语义分析引擎,敏感数据溯源,应用终端防护,Hadoop权限集中管理,Hadoop集中审计分析,Hadoop强认证管理,Hadoop帐号集中管理,文档加密,下载数据加密,文档访问

11、权限,Hadoop安全,大数据安全管控,数据应用安全管理,数据全生命周期安全管理,大数据安全防护体系框架,数据安全管理支撑,大数据基础设施安全,17,依据和参照数据中心敏感数据定义和分类标准，参考电信和互联网服务用户个人信息保护分级指南（YD/T 2782-2014）和相关指导标准，调整为符合数据中心特点的数据分级分类规则。举例如下：,敏感数据分类举例,敏感数据分级举例,敏感数据分类分级,建立合理的业务流程规范对外大数据合作管控，配套各环节的管理要求和系统支撑能力，使对外大数据合作全流程可管理、可追查、可审计。,合作申请,商务洽谈,安全审核,安全审核,资质审核,资源开通,合作伙伴,市场专员,安

12、全专员,法律,市场,数据中心,数据使用流程管控,以人员为主线建立数据中心基础数据库，1人员1帐号、1系统1数据，以此厘清数据中心内外部人员、系统之间的关联关系，为数据中心安全管理提供基础数据支撑。,第三方人员安全管理,安全数据分类标识,数据安全控制在系统中逐点落地,数据安全防护规范体系,安全审计登陆日志审计/输入参数审计/出口数据审计/流量控制审计,安全元数据,采集数据安全,运维数据安全,应用数据安全,发布安全防护,建设安全数据分类体系在数据的采集、开发、发布及运维各个环节全流程的控制数据的安全，事后审计工作要确保安全防护工作正常的实施,数据访问控制,定义数据访问策略,数据访问调用策略中心获取

13、安全规则，并控制数据的访问,构建安全数据授权机制：管理如安全策略、算法、规则等。并通过服务的方式提供调用来达到解耦及统一管理的目的。策略可控制到表、文件，粒度到字段级、行级的并可给不同用户授权灵活组合。,数据溯源指根据追踪路径重新数据的历史状态和演变过程，实现数据历史档案的追溯。建立数据机制对数据产生、使用、传播全过程进行追踪，使数据中心具备从外部环境获取的泄露数据样本中追溯其责任人的能力。,合作伙伴接口,应用系统查询,数据库查询,服务器下载,开发测试,运维调试,合作伙伴业务,合作伙伴开发,市场部.领导.大客户经理.市场营销人员,经营分析师.报表人员,系统管理人员,开发测试人员第三方开发人员,

14、大数据平台系统管理员 网络管理员 数据库管理员,数据中心数据,话费详单,客户资料,订购关系,账户信息,积分数据,充值卡数据,经分报表,其它,Fat client,Thin client,Mobile,调用,调用,调用,获取,获取,获取,文件水印,Web页面水印,数据溯源,开发测试人员第三方开发人员,根据水印追溯数据泄露源头,提供数据水印,历史轨迹,数据的完整性防护和溯源,数据加密,应用场景在Hadoop中，数据缺省是明文存放，这样会导致某些敏感数据存在泄密的安全隐患。实现方案Hive支持对表、列加密Hbase支持对表、列族和列加密支持AES、国密算法SM4、RC4等加密算法，同时允许使用用户自

15、定义的加密算法防护效果用户可将敏感数据存储在大数据系统中表、列级别的细粒度加密支持算法的多样性，系统更安全业务透明，加解密过程业务无感知,Hive/HBase细粒度加密,数据备份,数据储存安全性OS层可靠性加固:RAID/OS写缓存保护实现掉电数据保护Raid策略:OS，OMS，NameNode，ZK 及HDFS数据节点采用不同硬盘分区及Raid策略，兼顾性能情况下保证数据可靠性快速故障检测:结合存储产品技术支撑能力，快速发现故障硬盘，降低MTTR，提高数据可靠性硬盘热插拔:支持在线集群硬盘更换不影响业务，降低MTTR.第三方备份系统集成:数据可以灵活的备份在外部系统如NAS、磁带库，只是和N

16、BU等备份软件集成跨数据中心数据备份：HBase集群通过HLOG准实时复制，HDFS/Hive集群通过 BackupAdmin异步复制实现跨数据中心灾备,3,3,3,4,6,5,7,8,6,6,5,8,4,7,数据多租户隔离-,数据隔离技术：基于POSIX模型：支持按用户、用户组、其他用户的读写执行控制权限细粒度ACL访问控制模型：Hadoop2.4支持RBAC，支持任意多个用户组，不同用户组有不同访问权限配额管理：针对目录设置文件数量限额和存储空间的限额,多租户隔离机制采用Hadoop平台自带的资源和数据隔离机制实现。在一个物理Hadoop集群中采用多租户方式实现资源隔离和共享，给租户分配服

17、务的访问权限和资源配额。,对数据输出内容进行控制，通过多种检验规则，降低数据出网时数据泄露的风险。,数据输出审核,结合敏感数据扫描发现的结果和敏感数据分级分类管理办法，制定敏感数据脱敏规则，并与用户权限相关联，针对大数据平台数据访问、主机文件访问、前台页面数据展现三个场景进行数据脱敏。,数据脱敏管控,从接入通道、数据入口、数据出口三个方向提供全方位的安全保障，并提供事后安全审计。,数据转移管控,数据检查校验,应用访问安全,调用标签查询Api(号码)将号码转换为密文密码,提交sql到开放数据库进行查询 Select 号码,姓名 from where 号码=加密(查询号码)将查询的结果的姓名进行解

18、密，返回结果,输入安全控制,输出安全控制,外部系统调用,应用访问安全：第三方应用通过从控制访问数据的入口及出口的链路来防护数据安全。,应用安全防护,产品安全组长：负责产品的整个安全性开发，测试，维护的整体过程，对于出现的问题给予指导，帮助，协调。需求分析人员：负责应用系统需求收集、需求分析为后续工作提供基础。系统设计人员：负载整个应用系统的架构设计、数据库设计、模块详细设计。开发人员：对于开发人员的设计、完成的代码进行代码安全扫描（FindBugs、Jtest等工具），对于存在的安全性问题给予整改。测试人员：产品发布之前进行安全测试（白盒测试、黑盒测试、模糊测试等），对于存在的安全漏洞责令开发

19、人员进行整改。维护人员：配合局方进行的定期部署环境的安全审计。,多扫描器多阶段扫描策略，有效避免因不同扫描工具、不同扫描时间引起结果不同从而导致安全漏洞遗留在运行网站中的情况。扫描工具包括WEBRavor、WEBScan、AppScan等。,安全风险评估,安全危险建模,内部安全核查,投产后安全监控,投产前安全核查,安全开发生命周期流程,安全防护思路：针对大数据平台独特的访问方式建设 大数据安全管控系统，将大数据系统与大数据分析人员、大数据维护人员隔离开来，形成访问缓冲区，既便于对大数据系统的使用者进行统一帐号、权限管理，又实现了访问大数据系统的事中控制和动态访问数据脱敏，极大程度上提高了大数据

20、系统运维操作的安全性；数据开放安全基于接口数据网关的方式，实现应用接入的身份识别、访问控制、业务操作审计以及敏感数据的脱敏。,帐号管理,授权管理,事前访问控制基于访问区域的控制基于访问时间的控制事中访问控制基于命令集的访问控制基于金库模式的访问控制,访问控制,敏感数据识别敏感数据分类、定级敏感数据脱敏,数据安全,应用通过 API 方式访问大数据平台操作日志的完整记录（5W1H）用户通过命令方式访问大数据平台操作日志的完整记录（5W1H）,第三方应用访问租户 API 权限管理用户访问权限的授权（实体级授权）与鉴权用户操作权限的授权（角色、细粒度授权）与鉴权,第三方应用通过数据开放访问大数据平台的

21、认证内部应用系统访问大数据平台的认证用户访问大数据平台的认证、单点登录,大数据平台依赖 Kerberos 认证的帐号管理用户账号的集中管理应用账号的集中管理大数据平台依赖服务器自身认证的帐号管理用户账号的集中管理应用账号的集中管理,大数据安全管控-,大数据安全管控功能框架,用户安全管控,应用层面：使用SAAS应用的用户和对SAAS进行运营管理的用户服务层面：使用DAAS或PAAS的用户和对DAAS、PAAS平台进行运营管理的用户数据处理层：访问小型机集群、Hadoop系统、内存计算集群、流处理计算集群的用户存储层用户：访问数据存储系统的租户或者数据维护人员平台层：访问网络、计算机资源、安全设备

22、的人员采集层：访问 ETL云平台的用户,4A支撑平台,大数据安全管控平台,应用层用户,服务层用户,数据存储层用户,采集层用户,数据处理层用户,数据存储层用户,数据处理层用户,用户分类,效果：4A平台对大数据平中的系统资源、应用资源提供集中帐号管理、统一认证管理、集中权限管理、操作审计管理的安全服务；大数据安全管控平台对大数据平台中的Hadoop、Hive、Hbase、Spark大数据系统提供集中帐号管理、统一认证管理、集中权限管理、操作审计管理的安全服务。,基于 kerberos 实现大数据系统帐号与服务器帐号的解耦，通过4A平台对用户帐号管理过程为：在4A中为其创建自然人帐号和程序帐号并接口

23、同步给大数据安全管控平台。将新创建的帐号同步给其要访问的 Hadoop 的 Kerberos，使得其可以访问 Hadoop 平台，并保证帐号密码的复杂度满足要求。,帐号,唯一身份凭证,自然人,服务器主机帐号,全局,强密码,认证中心,身份认证,票据签发,帐号解耦,账号管理集中化,用户访问大数据系统的权限分为访问权限（实体级授权）和数据操作权限（细粒度授权）两种；通过访问代理技术实现用户访问大数据系统的权限鉴权，只有授权过的用户和操作才可以访问大数据提供，否则拒绝访问。权限的自动化通过 4A 平台和 BDS 共同完成。,访问代理,大数据系统,认证中心,细粒度授权,认证,鉴权,访问授权,集中权限控制

24、,管理上要求运维人员和上层应用将试点系统作为大数据平台唯一入口，避免多入口造成安全风险点分散难以兼顾,统一访问视图,访问代理服务,应用系统,运维人员,大数据平台,大数据平台,应用系统,运维人员,运维人员统一操作入口：提供统一的访问操作视图，供用户访问和操作大数据平台使用。上层应用统一访问入口：提供统一的访问代理服务，应用系统访问大数据平台时均需要通过访问代理服务进行。,访问控制策略,统一访问入口,用户认证管理统一化,数据访问控制,用户访问控制：大数据平台的存储系统分为传统的数据存储系统（MPP、传统DB）、新兴的大数据系统（Hadoop、Hive、Hbase）与流处理，针对数据处理层用户、数据

25、层存储层用户和平台层用户访问存储系统的访问控制分别有4A的堡垒和BDS来实现。效果如下：BDS：为用户访问大数据系统提供单点登录、操作鉴权、操作记录以及结合4A金库实现对重要数据的双重控制。堡垒：为用户访问传统DB和通过命令方式访问大数据系统提供单点登录、访问控制、结合4A金库实现对重要数据的双重控制,数据访问审计,主动或被动获取用户在应用层、服务层、数据处理层、数据存储层、采集层、平台层的各项操作，以审计策略为基准对用户的操作进行合规审计。,对各层的应用系统进行源代码安全审计，以发现应用程序编码过程中造成的安全漏洞，通过源代码静态分析工具，对已有的代码进行扫描、分析，并对导致安全漏洞的错误代

26、码进行定位和验证。,通过主动或被动的方式获取用户、应用对敏感数据访问的操作，对数据的访问权限合规性、数据传输的合规性、数据导出的合规性进行审计。,根据DACP数据安全防护规范体系中对数据的分类、定级以及存储策略的定义，对数据存储层和采集层的各类大数据系统进行定期扫描，对数据存储的合规性进行审计。,平台安全防护方案（安全监控和作业自动化）,平台安全分为两类：传统的：将平台所用的服务器、网络设备、安全设备、新建的应用系统纳入SMP的管控范围，实现安全漏洞、安全补丁、安全合规的统一管理。新兴的：实现对虚拟化软件、大数据系统的安全漏洞、安全补丁、病毒防护的统一管理。,防护效果：传统设备纳入SMP：实现

27、对各类安全设备的集中化监控和策略管理；实现安全的主动“检查”，”合规作业”能力；DS平台安全防护：以最小的资源消耗为同一硬件虚拟出来的所有服务器提供防病毒保护；解决由于更打补丁造成的业务中断和蓝屏等现象，从而降低运维风险；反应快速，可缓解关键服务器和桌面暴露于新漏洞威胁的情况，有效避免泄露事件发生；为停止支持的操作系统和应用程序提供补丁防护，从而延长旧有系统的使用寿命，节省升级或改造成本。,网络安全防护方案（虚拟安全、APT防护）,针对采用虚拟技术构建的资源池防护采用对应的安全防护技术保证虚拟网络环境的安全性。,深度威胁发现平台有效识别、分析APT攻击并进行拦截,Deep Security为虚

28、拟环境提供传统安全防护技术无法提供的安全防护,网络安全防护方案（安全域）,依据中国移动业务支撑网安全域划分和边界整合技术要求对大数据平台进行安全域划分，并提供相应的安全防护。互联网子域：应用层、服务层外部接口子域：服务层内部接口子域：服务层核心域内部：数据处理层、数据存储层、数据采集层,硬件：IDS、防拒绝服务攻击设备、防病毒网管设备、负载均衡设备、基于状态监测的防火墙。软件：防病毒软件。策略或规定：外部接口只允许访问对外必须的服务端口；禁止核心域内部各自域主动发起访问互联网；对外提供的数据必须加密；外部访问内部有限考虑VPN,硬件：防火墙、IDS、防病毒网管。策略或规定：根据源地址、目的地址

29、、目的端口等进行限制；数据加密传输；访问控制列表的控制；,硬件：IDS、防病毒网关。策略或规定：边界网络设备上设置访问控制列表（ACL），并且设置路由过滤安全策略；高可用性部署，消除单点故障；禁止口令文件和敏感信息以明文方式穿越边界。,硬件：防火墙、防病毒网关、入侵检测和入侵防护设备。策略或规定：开发测试系统和生产系统采用ACL或者防火墙进行访问控制；安全设备放入业支网管子域；接入域的特定子域在最小授权原则设置安全策略下访问核心域；操作核心系统依赖资的日志审计。,平台安全防护方案（配置安全基线）,STRIDE安全威胁分析,安全设计,安全编码、安全编码规范、代码安全检视、代码安全编译、代码静态扫

30、描,产品安全测试,ICSL安全测试,安全漏洞修复,Appscan、AWVS Web安全工具扫描Nessus系统漏洞扫描 Codenomicon 畸形报文攻击测试 SecureCAT Tomcat/数据库加固项扫描,第三方安全测试（比如CSEC）,代码、日志中敏感信息扫描（明文密码等）不安全加密算法扫描 常规安全测试用例集覆盖测试 发散式渗透测试,安全防护体系的阶段建设规划,一阶段,二阶段,三阶段,数据安全管理支撑,数据生命周期安全管理,数据应用安全防护,大数据安全管控,大数据基础设施安全,全周期,数据完整性检测,网络基线,数据源头管控,数据关联隔离,数据模糊化,数据加密,数据访问鉴权,数据分类分级,业务访问异常监测,漏洞补丁管理,组件升级管理,安全评估服务,安全基线配置,合作伙伴管理,安全运营流程,数据安全职责,安全运营优化,应用WEB防护,数据消费安全,日志审计,数据审核,数据访问控制,数据脱敏,数据容灾备份,应用基线,数据基线,系统基线,多租户,THANK YOU,