文/张松&孙庆超 东方网力科技股份有限公司
平安城市存储现状与需求
平安城市视频监控系统的建设实现所有图像资源的集中管理，最大限度实现跨地区、跨部门视频监控资源共享和互联互通互控。目前全国公安机关共安装监控摄像机近300万台，社会安装监控摄像机约2000万台，监控点的高清比例约为50%。如果1080P视频图像按照4M码率、24小时不间断存储30天计算，1000路1080P视频图像的存储容量就已经达到了1个PB，1万路的1080P视频图像的存储容量已经超过了10PB，平安城市建设已经全面进入存储P时代。
同时，按照中央深化社会体制改革的整体部署，公安部会同国家发改委、中央综治办等部门研究起草并联合印发了《关于加强公共安全视频监控建设联网应用工作的若干意见》，提出2020年实现“全域覆盖、全网共享、全时应用、全程可控”的总体目标。按照全域覆盖的要求，一个中等规模的县级城市摄像机数量可能达到5000路以上，全省视频联网路数在10万路以上，按照1080P视频图像4M码率、24小时不间断存储30天计算，存储容量将超过100PB，面对如此海量视频存储数据的价值信息提取，势必对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等提出更高的要求。
面对PB级的海量视频存储需求，传统的NVR或IPSAN存储模式在容量和性能上存在一定瓶颈。其系统的吞吐能力无法满足高并发视频存储、回放的需求，且无法适应业务变化对云存储系统能力的需求。通过采购更多、更高端的硬件设备来提高存储能力的方式，会使部署成本急剧增长，系统复杂性提升，运维压力也随之提高。因此，建设大规模存储系统也是平安城市视频存储的刚需。
然而传统的存储设备主要通过RAID方式实现单个存储节点内部的可靠性，数据保护能力有限。当存储节点断电或宕机时，会出现存储业务中断，导致录像丢失等情况，无法保障存储数据的安全性。另外，传统的存储方式无法将整个存储资源进行统一管理，而是将每个设备的空间独立分配及管理，这会使部分设备出现碎片化的容量空间，且新增设备无法整合此类存储空间，造成空间浪费，使空间利用率下降。某些存储设备损坏时，仅通过人工巡检查漏补缺，也增加了运维难度和运维成本。
随着平安城市的持续建设，在摄像机数量不断增长，用户需求对高清要求激增的情况下，视频数据量呈爆炸式增长，这就更加催生了具备海量存储和高速读写性能的云存储系统应用，以应对PB级的视频存储需求。
东方网力视频云存储
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、虚拟化、网格技术或分布式文件系统等技术，将网络中大量、各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
东方网力视频云存储结合平安城市业务系统规模大小不一、业务模式集中和分散相结合等特点，以视频、图片文件存储和管理为核心，采用面向大规模数据密集型应用的、可伸缩的分布式文件系统，存储视频图片数据，有效提高快速并发读写能力、存储空间弹性扩展能力和系统可靠性，满足安防视频监控的新要求，解决城市级海量视频数据存储、检索问题，并能够结合平安城市业务提供灵活的部署方式。存储的内容分为结构化数据和非结构化数据，结构化数据采用分布式数据存储;而非结构化数据(例如视频、图片、文本、特征等)存储在分布式文件系统中。
东方网力视频云存储系统可分为硬件层、软件层、业务层以及应用层四个层级。
图 东方网力视频云存储逻辑架构图
硬件层提供存储设备，存储视频、图片等文件。它包括网络和物理节点及节点内的硬盘、网卡、内存等。
软件层为硬件层服务，实现硬件的虚拟化。管理各个硬件存储设备、实现硬件的可扩展性和稳定性。软件层主要是分布式文件系统和多种增值特性，提供分布式存储、故障自动恢复、性能负载均衡、元数据服务等服务，对整个系统进行统一管理。
业务层主要提供实时视频存储ROFS系统和视图数据存储PFS两种存储技术，主要作用是将实时视频、历史视频以及图片按照不同的存储策略存储在不同的存储卷中。业务层将整个存储池分为视频监控、大文件、小文件3个卷，分别存储实时视频、历史视频、图片和文本文件，它们在逻辑上和物理上相互隔离。针对不同的文件采用不同的技术处理，使云存储系统更加适应平安城市视频监控大数据量存储的应用。
应用层为公安业务应用、政府业务应用、其他行业业务应用等，云存储系统可对各类业务应用提供大容量的数据存储，可以将业务平台的实时视频、历史视频、图片、文本信息等通过云存储保存，进行统一的存储。
全对称架构
目前的云存储系统从架构上区分有两类，即全对称云存储架构和非全对称云存储架构两种。非对称架构指云存储系统中，除了存储服务器外，还需单独的机头服务器或元数据服务器。东方网力视频云存储采用全对称架构，所有节点的硬件、软件、功能完全一样，即其元数据和录像数据分布在集群中的不同存储节点中，无需单独的机头服务器或元数据服务器。在该架构下所有的存储设备位置一样，经过云存储软件系统将存储服务器进行整合，一同发挥效应。
动态负载均衡
现有的网络中往往会存在因带宽、吞吐量导致的存储性能异常的问题，负载均衡就是在这种网络结构上，来加强数据处理能力、提高灵活性和可用性。东方网力视频云存储的动态负载均衡表现在两方面：一方面是写时均衡：系统周期性地从各个节点收集负载情况，当增加一路录像或集群中有节点宕机时，集群会自动选择负载相对较低的节点写入数据;另一方面是再次均衡：当集群中某些节点的负载达到紧张值，可将其存储业务平滑过渡到其他负载较小且未达到紧张值的节点上，且业务不中断。
虚拟化管理
东方网力视频云存储系统是将多个存储服务器的磁盘空间和内存资源聚集成一个单一的虚拟存储资源池，对上层用户和应用屏蔽了底层的物理硬件。简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。
视频流直存
东方网力视频云存储系统接收联网平台下发的录像计划(包括开流时间、关流时间、录像通道信息及存储ID)后，将前端摄像机的视频流直接写入存储设备，无需借助第三方设备，可实现7*24小时不间断的视频流直存。
特有的流式存储系统
随着公安业务的多样化和视频数据的爆炸式增长，对视频数据的并发读写性能及安全性都提出了很高的要求。东方网力视频云存储采用特有的流式存储系统，该文件存储系统主要用于存储视频流数据，以时间作为索引进行查询操作，可实现多路视频流的高性能存储与回放。它是根据视频存储的读写特点，针对视频存储数据的安全性、可靠性设计的存储系统。
该存储系统单节点的(读加写)性能可达500Mb/s，50个节点以内的集群的读写性能随节点数量的增加呈线性增长;数据进行格式化时，时间不超过100毫秒，无需长时间等待;并且提供稳定可靠的redis服务，定期将元数据写入磁盘，当服务异常终止之后，可用磁盘中的元数据进行恢复，保证录像数据不丢失。
在线扩容
随着平安城市视频监控行业存储需求的增加，视频文件的总容量将达到PB级，此时，项目就面临着扩容问题。传统的存储方式设备的存储容量有限，在扩容时需要给上层业务服务器重新分配空间，严重影响上层视频共享业务的连续性，且存储性能、安全性、可靠性、经济性都会随着系统的扩展而大大降低。东方网力视频云存储系统支持横向扩展(Scale-Out)，通过增加存储服务器数量和磁盘数量，实现系统容量、性能的扩展，是单集群的存储容量达到PB级。
系统提供了大容量存储系统集中管理的手段，扩容仅仅是管理员对新加设备的节点挂接，对整个系统的运行没有影响，在快速融合新增设备的同时保证业务不中断，也避免了设备扩充带来的管理麻烦。在线扩容是在不需要停止在线业务的情况下，增加或删除存储节点，使系统的存储容量动态增加或缩小。由于东方网力视频云存储系统是一个整体，只对外提供整体的存储空间，因此节点的增减对业务层仅表现为存储容量的增加和删除，不会影响上层业务。
结语
面对超大数据量的存储，只有采用高性能、高可靠性的云存储技术才能满足平安城市项目对视频数据多样化的应用需求。各大安防软件平台厂商只有不断提高技术水平，不断对产品创新，高质量、高效率地满足用户需求，才能在未来平安城市项目竞争中崭露头角。
a&s是国际知名展览公司——德国法兰克福展览集团旗下专业的自动化&安全生态服务平台，为智慧安防、智慧生活、智能交通、智能建筑、IT通讯&网络等从业者提供市场分析、技术资讯、方案评估、行业预测等，为读者搭建专业的行业交流平台。
粤公网安备 44030402000264号
