数据激增 安防大数据面临三大问题
视频监控从最早的模拟闭路监控系统开始,经历过模拟监控、数字监控、网络监控等重要发展阶段,如今进入了大数据的时代。大数据是飞速增长的,用现有数据库管理工具难以管理所有的数据集合。之于安防行业,大数据来了,因此,问题也来了。
大数据是飞速增长的,用现有数据库管理工具难以管理所有的数据集合。这些数据包括:社交媒体、移动设备、科学计算和城市中部署的各类传感器等等,其中视频又是构成数据体量最大的一部分。在视频监控大联网、高清化推动下,视频监控业务步入数据洪水时代不可避免。
视频监控数据有两个方面的内涵——海量和非结构化。视频监控数据量规模庞大,并且随着高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长;与通常讲的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,这给传统的数据管理和使用机制带来了极大的挑战。
1、存储
视频监控数据具有高并发、大容量的特点。以1080P为例,在8Mbps的码率下,每只摄像头每天产生的视频数据约84GB,中等城市的监控规模一般为数千到数万个摄像头,而且这些数据一般要求必须在系统中保存30天以上。存储系统还必须具有高级别的容错性,存储介质的故障率通常较高,但故障发生时不应造成监控数据的丢失。此外,由于安防项目本身在不断发展,系统可能要进行在线扩容和升级,这就要求存储系统具有高度的可扩展性,可在系统中简单便捷地增添存储设备。
2、共享
大数据需要通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享,用以提高数据处理能力。与科学计算、互联网相比,视频监控的大数据处理难度尤大,首先,视频录像是更原始的非文本非结构化的数据,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理;其次视频录像相对其它形式数据的容量要大几个数量级,对传输、存储和计算的带宽要求大。
3、安全
平安城市、智慧城市的建设促使安防存储技术的新应用,智慧城市一大要求就是将视频存储数据相互之间进行联动、共享。与此同时,视频监控数据具有私密性高、保密性强的特点,不仅是事后追查的依据、而且更是后续数据分析挖掘的基础。因此我们说数据安全一方面是指不受到外界数据的入侵和非法获取、另一方面是指庞大系统的鲁棒性、体系容错机制,确保硬件软件发生故障时,数据仍然可以恢复、得以保存。面对海量数据的存储、共享,硬件和软件设备承载了极大的风险,因此我们如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是难题。