百亿级数据处理解决方案.pdf

《百亿级数据处理解决方案.pdf》由会员分享，可在线阅读，更多相关《百亿级数据处理解决方案.pdf（31页珍藏版）》请在悟道方案网上搜索。

1、百亿 数据处 理实 践 Page  2 目录 日志收集 数据存储 简 介 聚合分析 Page  3 Hadoop生态 Page  4 应 用架构 Page  5 目录 日志收集 数据存储 简 介 聚合分析 Page  6 背景 登录 服务 器查 看每个实 例日志 不能实时监 控服务 日志 每天定时 下载业务 日志进 行分析 繁琐 、不及时 故障发 生 业务变 更感知下载 延时 Page  7 日志平台 Page  8 现 状 慢 日志量逐渐 增大，性能下降 机器宕机导 致数据丢 失问题 日志多样 化，需求多样 化 agent

2、带 来的机器负载 影响业务 Page  9 日志格式 日期日志类 型 文件名称日志来源 日志 按天存储  按时 存储 dockermysql redisphp  机器名称业务类 型 Page  10 优 化 Page  11 优 化 TailAgent 文件监 控 文件级线 程 游标 保存 批量读 取 Page  12 优 化 Page  13 线 上应 用 百台计 算/存储 /队 列服务 器 实时监 控服务 状态 每天百亿 日志中转 量 秒级 客户 端平均延迟 Page  14 目录 日志收集 数据存储 简 介

3、聚合分析 Page  15 背景 线上服务24小时无宕机服务？ 上百亿数据存储? 上百亿数据秒内查询？ 数据不能丢？ Page  16 HBase结 构 Page  17 可用性/可靠性 Page  18 存储压缩 Page  19 配置优 化 Page  20 机器选 型 控制节点：Zookeeper，NameNode，HMaster 数据节点：DataNode，RegionServer Page  21 表设计 rowkey cf1 cf2 . c1 c2 c3 c1 c2 key1 t1:v111   t2:

4、v112   key2 t1:v122  t1:v222 . . .   Page  22 监 控报 警 监 控指标 Master级别：12项 RS级别：近100项 Table级别: 6 项 聚合报 警 报 警服务 Page  23 线 上服务 Cluster A HBase Client Raw HBase Client MOA 业务 config zookeeper Cluster B(HA)  缓 存管理  访问 服务 化  实时备 份  动态 配置客户 端 Page  24 目录 日志收

5、集 数据存储 简 介 聚合分析 Page  25 架构 Page  26 现 状 慢 map过 少，map输 出量太大 数据倾 斜, reduce阶 段非常慢 磁盘 IO，CPU，内存，网络 job数过 多, join耗时严 重 Page  27 优 化 Page  28 优 化 Page  29 原则 尽量早地过滤 数据，减少每个阶 段的数据量，分区表要加分区且只选择 需要使用到的字段1 尽量原子化操作，避免一个SQL包含复杂逻辑 ，可以使用中间 表来完成复杂逻辑 2 单 个SQL所起的JOB个数尽量控制在5个以下3 慎重使用mapjoin,否则 会引起磁盘 和内存的大量消耗4 写SQL要先了解数据本身的特点，要注意是否有数据倾 斜5 Page  30 总结 横向扩 展堆机器 程序、软 件、系统优 化 性能 欢 迎交流！ Q&A