物流园视频云存储技术方案V2.8.docx

《物流园视频云存储技术方案V2.8.docx》由会员分享，可在线阅读，更多相关《物流园视频云存储技术方案V2.8.docx（99页珍藏版）》请在悟道方案网上搜索。

1、XX 物流园 视频 云存储 技术 方案 V2.8 物流园 视频云存储 技术 方案 XX 物流园 视频 云存储 技术 方案 V2.8 第 1 页  目录  第一章 概述 . 6 1.1 系统简介  6 1.2 设计原则  6 1.3 设计目标  7 1.4 术语及缩略语解释  8 1.4.1 术语解释 . 8 1.4.2 英文 /缩略语解释  9 第二章 总体设计  13 2.1 需求说明  13 2.1.1 功能性需求说明 . 13 2.1.2 非功能性需求说明 . 14 2.2 技术路线  1

2、5 2.3 逻辑架构  16 2.4 系统特点  18 2.4.1 高效灵活的空间管理 . 18 2.4.2 海量数据的快速检索 . 19 2.4.3 持续可靠的数据服务 . 20 2.4.4 高可扩展的应用支撑 . 21 2.4.5 开放透明的兼容系统 . 22 2.5 应用场景  22 第三章 视频类云存储设计 . 24 3.1 系统软硬件设计 . 24 3.1.1 软件设计 . 24 3.1.2 硬件设计 . 32 3.2 系统物理拓扑 . 33 3.3 系统功能设计 . 35 3.3.1 视频存储功能  35 XX 物流园 视频 云存储 技术 方

3、案 V2.8 第 2 页  3.3.2 录像管理功能  36 3.3.3 系统管理功能  36 3.3.4 运维管理功能  37 3.4 系统业务流程 . 37 3.4.1 视频存储流程  37 3.4.2 视频检索流程  38 3.4.3 视频读取流程  39 3.5 系统项目设计 . 40 3.5.1 项目信息收集  40 3.5.2 云存储设计流程 . 41 3.5.3 云存储管理服务器设计  42 3.5.4 存储容量计算  44 3.6 系统软硬件总参考清单  46 第四章

4、图片类云存储设计 . 47 4.1 系统软硬件设计 . 47 4.1.1 软件设计 . 47 4.1.2 硬件设计 . 52 4.2 系统物理拓扑 . 53 4.3 系统功能设计 . 55 4.3.1 图片存储功能  55 4.3.2 系统管理功能  56 4.3.3 运维管理功能  56 4.4 系统业务流程 . 57 4.4.1 图片存储流程  57 4.4.2 图片检索流程  59 4.4.3 图片下载流程  59 4.5 系统项目设计 . 60 4.5.1 项目信息收集  60 XX 物流园 视频 云存储 技术 方案

5、 V2.8 第 3 页  4.5.2 云存储设计流程 . 61 4.5.3 云存储管理服务器设计  62 4.5.4 存储容量计算  64 4.6 系统软硬件总参考清单  65 第五章 视频、图片混合云存储设计 . 67 5.1 系统软硬件设计 . 67 5.1.1 软件设计 . 67 5.1.2 硬件设计 . 75 5.2 系统物理拓扑 . 75 5.3 系统功能设计 . 77 5.3.1 视频存储功能  77 5.3.2 录像管理功能  77 5.3.3 图像存储功能  77 5.3.4 系统管理功能  78

6、5.3.5 运维管理功能  78 5.4 系统业务流程 . 78 5.4.1 视频业务流程  78 5.4.2 图片业务流程  78 5.5 系统项目设计 . 78 5.5.1 项目信息收集  78 5.5.2 云存储设计流程 . 79 5.5.3 云存储管理服务器设计  80 5.5.4 云存储存储设备设计 . 82 5.6 系统软硬件总参考清单  84 第六章 存储技术对比分析 . 86 6.1.1 存储技术现状  86 6.1.2 存储技术对比分析 . 92 第七章 附件 . 96 XX 物流园 视频 云存储 技术 方

7、案 V2.8 第 4 页  7.1视频云存储容量计算工具 . 96 7.2 主要硬件产品介绍  96 7.2.1 存储管理服务器 . 96 7.2.2 存储主机 . 97 表格目录  表 1 视频监控云存储与传统集中存储对比表 . 93 表 2 视频监控云存储与文件云存储对比表  95 图片目录  图 1.云存储逻辑架构图  16 图 2. CVM 软件架构  25 图 3. CVS 软件架构 . 27 图 4. CVA 软件架构 . 29 图 5. ASS 软件架构 . 31 图 6.视频云存储物理结构图  34

8、 图 7.视频云存储系统功能图  35 图 8.视频存储流程 . 38 图 9.视频检索流程 . 39 图 10.视频读取流程 . 40 图 11.管理节点双机部署方式 . 43 图 12.管理节点集群部署方式  44 图 13. CVM 软件架构  48 图 14. CVS 软件架构 . 50 图 15. ASS 软件架构 . 51 图 16.图片类云存储系统物理结构 . 54 图 17.视频云存储系统功能 . 55 图 18.图片直存流程 . 58 图 19.图片非直存流程 . 59 图 20.图片下载流程 . 60 XX 物流园 视频 云存储 技术 方案 V

9、2.8 第 5 页  图 21.管理节点双机部署方式  63 图 22.管理节点集群部署方式  64 图 23. CVM 软件架构  68 图 24. CVS 软件架构 . 70 图 25. CVA 软件架构 . 72 图 26. ASS 软件架构 . 74 图 27.视频图片混合云存储物理结构图  76 图 28.视频云存储系 统功能图  77 图 29.管理节点双机部署方式  81 图 30.管理节点集群部署方式  82 图 31. CVR 直连存储图 . 88 图 32.视频云存储拓扑图  91 X

10、X 物流园 视频 云存储 技术 方案 V2.8 第 6 页  第 一 章 概述  1.1 系统简介  随着视频监控系统规模越来越大，以及高清视频的大规模应用，视频监控系 统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续 地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面 都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供 对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控 技术未来发展的决定性因素。  面对百 PB 级的海量存储需求，传统的 SAN 或 NAS 在容量和性能

11、的扩展上 会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性 扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。  云存储是在云计算（ cloud computing）概念上延伸和发展出来的一个新的 概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化 技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共 同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了 大容量存储设备的一个云计算系统。  依据云存储的技术及功能特点， XX 公司专门针对大容量视频数据的存储和 管理以及满足视频监控领域特

12、殊的应用需求，量身设计了一套 XX 视 频云存储系 统（以下文章中称为 XX 视频云存储）。  1.2 设计原则  视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼 容性”等方面的原则。  1) 采用前瞻性的存储技术架构  采用以云存储为核心的 IT 技术与安防监控行业特点进行结合，进而针对性 开发出具有行业属性的先进视频、图片专有云存储系统。将云存储核心技术如集 群化部署、资源虚拟化整合、分布式流数据存储等技术应用到本套云存储系统中。 XX 物流园 视频 云存储 技术 方案 V2.8 第 7 页  同时充分考虑安防监控行业的

13、发展需要，该套云存储系统需要能够支撑未来大数 据处理、智能分析处理等云计算技术的需要，实现云存储系统在安防监控领域的 先进性和前瞻性。  2) 专注与应用结合的设计方式  本套云存储系统是针对安防监控行业内视频数据、图片数据存储而设计的， 对视频数据的具体业务应用进行详细的应用分析后，从系统底 层的流数据结构的 设计一直到上层的应用调度策略设计都必须站在应用的角度考虑存储。  云存储系统需要明确自己作为应用的支撑这一深层次的角色定位，而不能再 停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因 此专注于视频和图片的应用是本套视频云存储系统的重要

14、设计原则。  3) 提供开放和兼容的系统环境  云存储系统的开放性和兼容性是需要考虑的重要原则，本套云存储系统要成 为业内领先的专业存储系统，就必须要考虑到与标准应用平台的无缝对接和第三 方标准存储设备的兼容性问题。  本套云存储系统需要对应用平台提供统一的接口 ，可在不同的行业中与其应 用平台进行良好的互动，对用户的应用提供优秀的数据保障。同时对于第三方标 准存储设备，云存储系统应该做到良好的兼容性，以保护用户的前期投入提供一 个开放、公平的系统环境。  1.3 设计目标  XX 视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够

15、 很好的满足用户需求；其二是为用户应用数据提供高效、稳定、快速的服务；其 三是系统可以实现便捷、可靠的统一管理及运维。  1) 数据存储  XX 视频云存储系统实现百 PB 级的海量存储，突破传统的 SAN 或 NAS 在 容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩 展，满足用户对高性 能、高可用性的需求。  视频云存储系统通过集群智能化部署设计，不同于传统视频存储的部署模式， XX 物流园 视频 云存储 技术 方案 V2.8 第 8 页  系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用 的存储系统。  2)

16、应用服务  XX 视频云存储系统是一套贴合用户需求而设计视频云存储系统，其先天的 基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不 断地为用户提供高效、灵活、可靠的专业级存储服务。  3) 统一管理及运维  视频云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计 将系统的管理资源进行整合，并根据负载均衡算 法提供全高效并发处理机制，提 高了系统的整体性能。  视频云存储系统内的设备和资源的运行情况进行统一监控，以标准的 SNMP 协议与运维服务器进行数据交互，能够非常便捷的实现系统整体运维。  1.4 术语及缩

17、略语解释  1.4.1 术语解释  云存储：是与云计算同时兴起的一个概念。云存储一般包含两个含义：  1）云存储是云计算的存储部分，即虚拟化的、易于扩展的存储资源池。用 户通过云计算使用存储资源池，但不是所有的云计算的存储部分都是可以分离的。  2）云存储意味着存储可以作为一种服务，通过网络提供给用户，用户可以 通过若干种方式来使用存储。  云计算：（ Cloud Computing）是一种基于互联网的计算方式，通过这种方 式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。  双机热备（双机容错）：就是对于重要的服务，使用两台

18、服务器，互相备份， 共同执行同一服务。当一台服务器出现故障时，可以由另一台服务器承担服务任 务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。  集群（ cluster）技术：是一种较新的技术 ,通过集群技术，可以在付出较低 成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度 XX 物流园 视频 云存储 技术 方案 V2.8 第 9 页  则是集群系统中的核心技术。  虚拟化：是指计算元件在虚拟的基础上而不是真实的基础上运行，是一种多 设备虚拟整合、虚拟应用的技术；是一种简化了管理，优化资源的解决方案。  负载均衡：一种分

19、布式计算机处理技术，用来平衡电脑各部件或大型电脑、 服务器各主机的资源使用率。  I 帧：表示关键帧，可以理解为这一帧画面的完整保留；解码时只需要本帧 数据就可以完成。  H.264：是 MPEG-4 标准所定义的最新，同时也是技术含量最高、代表最 新技术水平的视频编码格式之一， H.264 最具价值的部分无疑是更高的数据压缩 比。  720P：是美国电影电视工程师协会（ SMPTE）制定的高等级高清数字电视 的格式标准，有效显示格式为 1280 720， P 是 Progressive,逐行的意思。  1080P：是美国电影电视工程师协会（ SMPTE

20、）制定的高等级高清数字电 视的格式标准，有效显示格式为 19201080， P 是 Progressive,逐行的意思。  1.4.2 英文 /缩略语解释  A AFP： Apple 公司开发的文件协议  API（ Application Programming Interface），称为应用编程接口，就是软件 系统不同组成部分衔接的约定 。软件的规模日益庞大，常常会需要把复杂的系统 划分成小的组成部分，编程接口的设计十分重要。  ASSN（ Asynchronous Storage Service Node）第三方存储服务节点  ASS（ A

21、synchronousStorage Service）异构存储软件  C CIFS（ CommonInternetFileSystem）通用 Internet 文件系统在 windows 主 机之间进行网络文件共享，是通过使用微软公司自己的 CIFS 服务实现的。  CVMN（ Cloud Video Manage Node）视频云存 储管理节点  CVSN（ Cloud Video Storage Node）视频云存储节点  XX 物流园 视频 云存储 技术 方案 V2.8 第 10 页  CVM（ Cloud Video Manage）视频

22、云存储管理软件  CVN（ Cloud Video Net-Snmp）视频云存储运维软件  CVS（ Cloud Video Storage）视频云存储软件  CVA（ Cloud Video Access）视频云存储接入软件  F FC 协议（ Fibre Channel）提高硬盘协议的传输带宽，侧重于数据的快速、 高效、可靠传输， FC 光纤通道拥有自己的协议层。  FCSAN 网络介质为光纤通 道，把服务器与存储设备连接起来的存储技术。  FTP（ FileTransferProtocol）文件传输协议，使得主机间可以共享文件。

23、  G GUI（ GraphicalUserInterface 图形用户接口）是指采用图形方式显示的计 算机操作用户界面。  H Hot-Spare，当一个正在使用的磁盘发生故障后，一个空闲、加电并待机的 磁盘将马上代替此故障盘，此方法就是热备。  HTTP（ Hypertexttransferprotocol 超文本传输协议）是一种详细规定了浏览 器和万维网服务器之间互相通信的规则。  I IO（ Input/Output）输入 /输出。  IP（ Internet Protocol 网络之间互连的协议）中文简称为“网协”，就是为计 算机网络

24、相互连接进行通信而设计的协议。  IPC（ IP Camera）网络摄像机名称缩写。  IPSAN：是在传统 IP 以太网上架构一个 SAN 存储网络把服务器与存储设备 连接起来的存储技术。 IP SAN 其实在 FC SAN 的基础上再进一步，它把 SCSI 协议完全封装在 IP 协议之中即 iSCSI 协议。  iSCSI 是一种由 IBM 公司研究开发的，是一个供硬件设备使用的可以在 IP 协议的上层运行的 SCSI 指令集。  J XX 物流园 视频 云存储 技术 方案 V2.8 第 11 页  JPEG（ JointPhotograp

25、hicExpertsGroup 联合图像专家小组）图像压缩标 准。  M Mibs 网络中所有可能的被管理对象的集合的数据结构。  N NAS（ Network Storage Technologies）基于标准网络协议实现数据传输。  NFS（ NetworkFileSystem）即网络文件系统 .网络文件系统 允许一个系统在 网络上与他人共享目录和文件。  P PB 数据单位， 1PB = 1,024 TB = 1,048,576 GB R Raid（ Redundant Arrays of Independent Disks），中文为独立冗余磁盘阵

26、 列。  RTSP（ RealTimeStreamingProtocol）实时流传输协议，是 TCP/IP 协议体 系中的一个应用层协议。  S SAN（ Storage Area Network）集中式管理的高速存储网络，由多供应商存 储系统、存储管理软件、应用程序服务器和网络硬件组成。  SAS 是新一代的 SCSI 技术，和现在流行的 SerialATA（ SATA）硬盘相同， 都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。  SNMP（ Simple Network Management Protocol）简单网络管理协议

27、，它是 一个标准的用于管理 IP 网络上结点的协议。  SSD（ SolidStateDrives）固态硬盘简称固盘，简单的说就是用固态电子存 储芯片阵列而制成的硬盘。  T Trap 广义的 trap 即 snmp trap，指被管理设备（代理）上报的陷阱报文， 表明设备发生故障或变更的主动通知。  TB 数据单位， 1TB = 1,024 GB = 1,048,576 MB XX 物流园 视频 云存储 技术 方案 V2.8 第 12 页  TCP（ Transmission Control Protocol）传输控制协议，是一种面向连接、 可靠的、基

28、于字节流的运输层（ Transport laye）通信协议。  U UDP（ User Data Protocol）用户数据报协议是与 TCP 相对应的协议，它是 面向非连接的协议，它不与对方建立连接，而是直接就把数据包发送过去。  URL（ UniformResourceLocator）称为网页地址，是因特网上标准的资源 的地址。  W WEB 广泛译作网络、互联网等技术领域。  Web Service 是一种服务导向架构的技术 ,通过标准的 Web 协议提供服务 , 目的是保证不同 平台的应用服务可以互操作。  XX 物流园 视频 云存储

29、技术 方案 V2.8 第 13 页  第 二 章 总体设计  XX视频云存储系统是由 XX自主研发的一套针对安防监控行业应用的专业级 云存储系统。采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离 散存储技术等，通过流式文件系统对存储资源进行虚拟化和应用化整合，为用户 提供高性能、高稳定、高扩展性的数据存储服务。  2.1 需求说明  2.1.1 功能性需求说明  1) 视频功能   要求视频存储系统具备 7 24 小时大码流视频录像、快速检索、回放和 管理的功能，同时，对于视频的回放，须有相应的优化，比如 I 帧序列 回放等

30、。   检索要求支持对录像按照多种方式检索，如按照类型 、标签、时间段等 方式。   回放要求按照类型、时间、 I 帧、正序、倒序、倍数等方式进行回放。   管理要求支持删除、锁定、标注、循环覆盖（时间、空间）等方式进行 管理。  2) 图片功能   要求视频存储系统支持图片的高速写入、并发下载、图片压缩、锁定、 删除等功能。   下载要求支持按时间段和 URL 的方式获取图片。   图片压缩要求能支持按照图片尺寸、大小进行压缩。   提供图片直存和非直存两种解决方案，丰富图片存储的多选性。  3) 运维

31、管理功能  要求支持对系统的运行状态、存储使用情况进行监控，以及对软硬件异常状 态报警，便于用户处理。  4) 系统管理功能  XX 物流园 视频 云存储 技术 方案 V2.8 第 14 页   要求统一服务接口，系统提供的统一的服务接口便于与应用平台进行对 接。   要求提供统一的管理界面，通过管理界面能进行存储设备和资源的配置。  2.1.2 非功能性需求说明  1) 可靠性需求  采用视频云存储技术，将网络中大量各种不同类型的存储设备通过应用软件 整合起来协同工作，共同对外提供视频数据存储和业务访问。保证单个

32、节点失效 时，系统能够通过自动负载将业务调整到其他设备上以满足用户业务的持续性； 并且需要能够提供数据的迁移备份，在设备故障无法快速修复时依然能够支持数 据的正常读取来满足业务应用的需要。  2) 稳定性需求  随着容量和存储设备的增 加，如何保证海量数据存储的安全性和可靠性是传 统视频存储面临的巨大挑战，要求存储系统具备 7 24 小时的不间断写入的能 力。在系统运行的过程中，运行压力的持续或加大系统能够通过集群技术、虚拟 化技术动态自动调整业务压力，将业务响应的压力进行分散来减少单点压力过大。  3) 扩展性需求  云存储系统的建设在不同的阶段可能会

33、有不同的容量要求。随着项目的不断 扩大、应用的不断加强，容量将会不断扩大。那么云存储系统需要能够提供动态 扩展功能，要求对在线系统增加、减少设备时业务不中断。设备一旦融入云存储 系统后立即可用作为整体存储资源的一部 分进行调用，在扩展存储设备时要求能 够支持对接标准第三方存储设备。  另外对于系统的扩展性，在动态调整具体监控区域的存储资源时要求能够做 到良好的灵活性，即不但能够增加存储资源的配给，也能够减少存储资源的配给 工作，充分体现出良好的扩展性。  4) 可用性需求  云存储系统需要提高良好的可用性，将复杂的应用、繁琐的操作流程简单化。 对用户而言只需要使用

34、唯一的 IP 地址就能够访问和管理云存储系统。  XX 物流园 视频 云存储 技术 方案 V2.8 第 15 页  用户在唯一的界面上就能够准确并安全地进行配置、部署、监控整套云存储 系统，能够为用户对设备状态、资源、报警、升级、扩展，维护方面提供便捷 。  5) 性能需求  要求系统提供线性递增的性能属性，容量越大性能越强；同时提供并发响应 机制，加快数据业务的处理能力。  2.2 技术路线  XX 视频云存储系统 基于云架构进行开发，采用面向 用户业务应用的设计思 路， 融合 集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，

35、可将网络 中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外 提供高性能、高可靠、不间断的数据存储和业务访问服务。  在视频云存储系统的设计中， 采用的核心技术如下：  1) 采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架， 可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达 到最大程度上合理利用空间的效果。  2) 采用集群技术，解决单 /多节点失效问题，并利用负载均衡技术充分利用 各存储节点的性能，提升系统的可靠性和安全性。  3) 采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。

36、 4) 采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂 度。  5) 采用开放的集成构架，使其可兼容业界各类 iSCSI/FC 存储设备，保护 用户现有存储投资资源。  6) 采用 数据备份 和容灾技术 ， 保证云存储中的数据不丢失， 确 证云存储 服 务 的安全稳定。  7) 采用视频、图片的全直存技术方案，保证项目整体的成本控制，优化存 储系统流程。  XX 物流园 视频 云存储 技术 方案 V2.8 第 16 页  2.3 逻辑架构  云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、

37、 存储层、管理层、接口层、应用层。  图 1. 云存储逻辑架构图  1) 设备层  设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持 标准的 IP-SAN、 FC-SAN 存储设备。在系统组成中，存储设备可以是 SAN 架 构下的 FC 光纤通道存储设备或 iSCSI 协议下的 IP 存储设备。  2) 存储层  XX 物流园 视频 云存储 技术 方案 V2.8 第 17 页  在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储 传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图

38、片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取 和调用等服务。  3) 管理层  在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、 设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路 冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现 整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智 能分析 数据请求等）的响应。  4) 接口层  应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及 统一的访问接口，接口类型可分为 Web Service

39、 接口、 API 接口、 Mibs 接口， 可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现 和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现 视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾； 实现设备以及服务的监控和运维等。  5) 应用层  从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是 在 XX 视频云 存储系统中，为了与视频监控系统的建设和应用更加紧密的结合， 更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高 XX 视频云存储系统的针对性。  可将行业

40、视频监管平台、运维平台、智能分析平台等通过相应的接口与云存 储系统对接，实现与云存储系统之间的数据以及信令的交互。  行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索 视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数 据的存取。  运维平台采用标准的 SNMP 协议实现并提供 Mibs 接口，对云存储系统以 XX 物流园 视频 云存储 技术 方案 V2.8 第 18 页  及服务进行监控管理 ，及时将产生的告警传递给用户。  将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过 存储的二次分析后的片段

41、信息，文本信息写入和检索。  2.4 系统特点  XX 视频云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统 设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大 的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、 图片等监控行业无疑是一套非常优秀的云存储系统。  2.4.1 高效灵活的空间管理  XX 视频云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存 储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将 系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大

42、 地提高了系统的整体性能。  1) 存储资源的虚拟化  对存储空间的管理方面 XX视频云存储系统将全域各存储节点的资源进行虚 拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。 存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管 理和配置中解脱出来，提高了管理效率。  2) 存储资源的在线扩展  当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时， XX 视 频云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储 设备的 IP 地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样

43、新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用； 同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保 障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在 线扩展。  XX 物流园 视频 云存储 技术 方案 V2.8 第 19 页  云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性 能的线性增长，从而 提供了无限制的容量增长能力。  3) 虚拟空间的灵活使用  用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要 和监控区域的容量大小将存储资源池的存储资源进行分

44、配，分配后的存储资源称 为录像池。  录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策 略依然能够进行调整。调整方式非常灵活，不但能够做到将录像池进行扩大，同 时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。  2.4.2 海量数据的快速检索  XX 视频云存储系统管理着百 PB 级的存储容量空间，但是依然能够具备高 效、准确、快速的数据 检索能力。  1) 一体化索引设计  XX 视频云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所 有与用户业务相关的索引信息统一由 XX 视频云存储系统的视频云

45、存储管理节 点或者集群进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据 索引查找、筛选进行了全面的优化，大大的提高了查找速度。在规模不断扩大时 性能几乎相同，均能做到毫秒级耗时。  2) 深化的应用设计  XX 视频云存储系统本着视频云存储系统的特有性，在视频、图片的某些专 有信息上也进行了独特的设计。可以支持快速的对 I帧定位并直接读取 I帧信息， 避免了传统存储在 I 帧数据获取时反复读取视频数据再分析呈现的过程。该项设 计使得 XX 视频云存储系统在数据存储索引设计与用户应用更紧密地进行了融 合，使得 XX 视频云存储系统能够为用户提供更为高效的海量数据的

46、快速检索能 力。  XX 物流园 视频 云存储 技术 方案 V2.8 第 20 页  2.4.3 持续可靠的数据服务  XX 视频云存储系统为用户能够提供 7X24 小时不间断高效可持续的数据服 务，充分保护数据安全和可靠性。  1) 集群化管理节点设计  XX 视频云存储系统在管理 层面通过部署集群化视频云存储管理节点向用户 提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压 力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够 使系统整体性能提升，还可以使得单台节点的压力下降。  通过这种方式

47、单台视频云存储管理节点的系统消耗更小，也就使得使用寿命 更长，可能出现故障的概率降低。即使视频云存储管理集群中部分（一台或多台） 节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集 群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服 务。  2) 持续并发业务存取  在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储 资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时 XX 视频云存储 系统采用离散存储算法，可以为用户提供系统级分散存储服务。支持将同一 IPC 提供的数据流按照分片的方式分布式存储在不同视频云存储

48、节点上。  这样即使单台或多台存储节点出现故障该 IPC 的录像数据仍然可用。在存 储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的 Raid 技 术在设备层面也能保证数据的高安全和可靠性。  3) 高可靠的录像功能  XX 视频云存储系统在存储节点上内置视频云接入软件，所提供的录像服务 和流媒体服务也是由视频云存储管理节点统一进行调度的，每套视频云接入软件 负责一部分前端的录像工作。当这台节点宕机时视频云存储管理集群会根据当前 资源情况按照负载均衡策略将这部分录像任务重新进行分配，保证业务的不中断。  XX 物流园 视频 云存储 技术 方

49、案 V2.8 第 21 页  2.4.4 高可扩展的应用支撑  XX 视频云存储系统是一套为视频、图片等监控行业而设计视频云存储系统。 其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的 特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。  1) 数据应用性能支撑  由于视频数据具有持续时间长、数据量大等特点，在存储和读取上对存储设 设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储 / 读取慢、前端支持路数底的瓶颈。而 XX 视频云存储系统就能够很好的解决这些 问题。  2) 流数据存储结构设计

50、 XX 视频云存储系统的集群化、分布式设计使得系统的性能有很大的提升， 能够并发服务以满足视频数据的高速读取需求。  XX 视频云存储系统的流数据结构系统也是专门为视频、图片数据而设计， 能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。  对于划分的粒度，通过 XX 多年视频 监控行业的服务经验，同时配合对大数 据服务的扩展需要，以及考虑到后期数据读取和应用的频率而进行的专业调整。 在具体存储空间的分配上 XX 视频云存储也是自有知识产权的设计，摒弃传统存 储的分配方式而为视频、图片数据而特别设计的。  3) 高扩展性应用设计 &nb

51、sp;视频录像的应用方面 XX 视频云存储也进行了充分的考虑。如支持对 I 帧的 快速定位、对录像标注、修改、对存储周期采用时间和存储容量双轴线覆盖策略 等。 XX 视频云存储这些专业化设计使得用户在应用过程中不再需要平台分析服 务器采用反复读取完整录像后再进行分析而得出结论的方式。这样大大优化了 应 用的服务质量，使得监控系统的服务也更加专业、有效。同时为有云计算需求的 用户提供了优质的数据基础。  XX 物流园 视频 云存储 技术 方案 V2.8 第 22 页  2.4.5 开放透明的兼容系统  XX 视频云存储系统的设计理念就是通过云的概念将所有不同类型的应

52、用、 业务接口全部封闭在云内，为上层业务和用户提供统一的、透明的、可调用的系 统级存储资源。  1) 统一开发平台接口  云存储系统在软件接口设计上采用 API 的模式对内部所有处理模块进行筛 选，将对业务有决定性的模块按照接口的模式进行统一封装，提供给上层业务进 行调用，这样云存储系统内部实现对上层业务就不再重要，上层业务只用调用云 存储系统提供的统 一接口即可，大大的优化了上层业务的代码结构、简化了操作 步骤，也将应用的效率和性能进行了大幅提高。  2) 标准第三方设备接入  XX视频云存储系统采用的是标准的设备兼容模式，支持标准 IP SAN、 F

53、C SAN 存储设备的接入。 XX视频云存储系统通过部署第三方存储服务节点的方式，将 用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存 储设备接入到 XX视频云存储系统后，由视频云存储管理集群统一进行管理，第 三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到 差别，真正实现透明、统一、兼容的视频云存储系统。  2.5 应用场景  XX 视频云存储解决方案作为安防监控行业整体方案中的存储技术部分，在 确定使用云存储方案前需先明确存储业务的类型。当前云存储业务应用场景分为 三种类型：纯视频云存储场景、纯图片云存储场景、视频与图片混合类云存

54、储场 景。  视频云存储场景与图片云存储场景的主要区别在于：  视频云存储中视频数据流采用直写方式存储到存储磁盘阵列上。在此场景中 云存储的存储节点替代了流媒体服务器的功能，将流媒体转发与存储结合，简化 了系统结构。因此云存储不需要部署流媒体服务器，可以节省项目的整体成本。 XX 物流园 视频 云存储 技术 方案 V2.8 第 23 页  同时大幅提高存储系统的效率和可靠性。  图片云存储方案中高清抓拍相机的图片数据流需要通过平台接入服务器转 发到存储磁盘阵列。以云存储替代传统的存储方式，可以最大限度的发挥存储设 备的整体性能，大幅提升存储效率和可靠性。对于图片中我司的图片直存云存储 方案则可省去接入服务器，效率更为优良。  混合云存储场景支持一套云 存储能同时满足视频和图片数据的存储要求。并 综合视频和图片的在云存储系统中的存储优势，将复杂的业务存储场景简单化， 向用户提供一体化的存储解决方案。  因此本方案针对业务应用场景