今年，安防行業(yè)得到很到的發(fā)展，作為主力軍的監控市場(chǎng)更是耀眼矚目。監控應用的范圍越來(lái)越大，勢必會(huì )長(cháng)大量的數據。與此相應的我們的大數據時(shí)代已經(jīng)帶到來(lái)，大數據技術(shù)如何用科學(xué)的方式處理數據，會(huì )帶來(lái)怎樣的價(jià)值？
大數據信息來(lái)源豐富
在安防行業(yè)，涉及的數據信息類(lèi)型很多，以數據的結構類(lèi)型來(lái)看，包括了各類(lèi)非結構化、結構化以及半結構化信息。非結構化數據主要指視頻錄像和圖片記錄，如監控視頻錄像、報警錄像、摘要錄像、車(chē)輛卡口圖片、人臉抓拍圖片、報警抓拍圖片等；結構化數據則包括報警記錄、系統日志記錄、運維數據記錄、摘要分析結構化描述記錄，以及各種相關(guān)的信息數據庫，如人口信息、地理數據信息、車(chē)駕管信息等；半結構化數據則如人臉建模數據、指紋記錄等。
這些信息的來(lái)源有幾個(gè)渠道，一個(gè)是安防系統內部產(chǎn)生的信息，如各種視頻錄像、抓拍圖片、系統運維數據、日志記錄、摘要記錄等；另外一些則是通過(guò)外部系統采集或者集成，如人口信息、地理數據信息、人臉庫數據、車(chē)駕管數據等。這些數據作為一個(gè)整體，構成了安防系統或者說(shuō)安防領(lǐng)域的大數據基礎，并且具有以下特征：最顯著(zhù)的是安防數據體量巨大并不斷快速膨脹，隨著(zhù)視頻監控圖像系統的不斷聯(lián)網(wǎng)和整合，以及視頻分辨率和幀率的不斷提高，實(shí)時(shí)視頻數據的存儲已經(jīng)從TB級別開(kāi)始躍升到PB級別；其次，安防數據類(lèi)型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著(zhù)各類(lèi)安防系統以及相關(guān)的信息系統的不斷整合，數據類(lèi)型也會(huì )越來(lái)越多；另外，安防數據整體蘊含的價(jià)值密度低，但是價(jià)值高。以視頻監控數據為例，在7×24小時(shí)連續不間斷監控過(guò)程中，可能有用的數據僅僅1、2分鐘，甚至1、2秒。同時(shí)，這些信息更新頻率特別快，安防數據每時(shí)每刻都在大量產(chǎn)生，信息每時(shí)每刻都在更新。
大數據視頻監控4V特點(diǎn)
在這些數據信息當中，視頻監控的數據占的比例不小，分析視頻監控數據，發(fā)現它們主要呈現出：體積大、類(lèi)型多、速度快、價(jià)值低這四大特點(diǎn)，又被稱(chēng)為是4V：Volume、Variety、Velocity、Value，具體解釋如下：
第一，數據體量巨大（Volume）。高清化帶來(lái)單個(gè)監控點(diǎn)數據量即以指數級增長(cháng)，例如單個(gè)1080PIPC30天就會(huì )產(chǎn)生2T數據；IP化大聯(lián)網(wǎng)后，各平臺實(shí)現互聯(lián)，平安城市網(wǎng)內攝像頭數量達數萬(wàn)數十萬(wàn)級別，其數據量之巨大可想而知。
第二，數據類(lèi)型繁多（Variety）。視頻監控領(lǐng)域的視頻編碼格式包括：H.264、MPEG-4、MJPEG等多樣化的編碼方式。而同時(shí)隨著(zhù)各類(lèi)物聯(lián)網(wǎng)技術(shù)的融入到視頻監控業(yè)務(wù)，匯聚了包括各種傳感器、IT、CT系統產(chǎn)生的多樣的數據。業(yè)務(wù)系統需要把結構化與非結構化數據相互關(guān)聯(lián)，統一存儲。
第三，處理速度快（Velocity）。視頻數據隨時(shí)間快速增長(cháng)，并以持續順序到達。在視頻監控領(lǐng)域，視頻分析的效率決定價(jià)值，更低的延遲、更準確的分析是平安城市這類(lèi)客戶(hù)的普遍需求。隨著(zhù)數據量的增加，哪怕對TB級別的數據進(jìn)行視頻內容的數據分析和檢索，采用串行計算模式都可能需要花費數小時(shí)的計算，已遠遠不能勝任時(shí)效性的需求。
第四，價(jià)值密度低（Value），效率要求高。在視頻監控業(yè)務(wù)中，價(jià)值密度的高低與數據總量的大小成反比。一小時(shí)的視頻監控內容，可能有用的數據僅僅只有一兩秒。如何通過(guò)強大的機器算法更迅速地完成數據的價(jià)值“提純”是目前大數據洶涌背景下亟待解決的難題。
架構更加靈活 伸縮彈性更大
對于大數據的視頻監控處理，我們根據數據的特點(diǎn)，基于大數據的架構，幾種視頻監控數據在處理起來(lái)的時(shí)候更加的方便。
第一，架構更加靈活，伸縮彈性更大
對于一些中大型項目，由于起點(diǎn)的差異，缺乏視頻監控架構的頂層設計，后期的擴容升級難免尾大不掉，如在建設初期就引入面向大數據的架構，為業(yè)務(wù)擴張和管理帶來(lái)好處。
第二，以廉價(jià)通用硬件迎合視頻監控數據的爆發(fā)性增長(cháng)
在面向大數據的架構中，可根據視頻監控業(yè)務(wù)的部署需要，設立多個(gè)HDFS集群組成，采集的流數據會(huì )被劃分成段，并分布于數據節點(diǎn)，這些數據節點(diǎn)可以采用廉價(jià)通用型的硬件，由軟件技術(shù)保證其高可靠性，這種方式避免采用傳統高端硬件的模式，大大降低投資成本。
第三，通過(guò)高速并行計算實(shí)現智能分析和數據挖掘
對于金礦來(lái)講，唯有熠熠發(fā)光的金子才是有價(jià)值，視頻監控數據就猶如這樣一座金礦，傳統人工和串行的數據篩選方式已在大數據時(shí)代不能滿(mǎn)足要求。面向大數據的架構原理就是將海量數據分解為較小的更易訪(fǎng)問(wèn)的批量數據，在多臺服務(wù)器上并行分析處理，從而大大加快視頻數據的處理進(jìn)程。
結合視頻監控業(yè)務(wù)特點(diǎn)，引入Hadoop的架構，以頂層設計的視角來(lái)構建面向大數據視頻監控架構，將對未來(lái)視頻監控業(yè)務(wù)的規劃設計產(chǎn)生深遠的影響。下面簡(jiǎn)要描述下大數據視頻監控邏輯架構。
數據源層，包括實(shí)時(shí)數據和非實(shí)時(shí)數據。實(shí)時(shí)數據指IP攝像頭和傳感器產(chǎn)生的實(shí)時(shí)流媒體數據。非實(shí)時(shí)數據指從DVR、編碼器、第三方系統導入的媒體數據。
大數據存儲層，采用了HDFS和HBASE，實(shí)現數據低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內，并通過(guò)HBase建立訪(fǎng)問(wèn)的索引。把傳統NVR和專(zhuān)用存儲進(jìn)行重構，納入到整體的分布式文件系統中來(lái)。
大數據計算層，實(shí)現智能分析和數據挖掘。通過(guò)MapReduce把對大視頻的分析進(jìn)行分解，充分利用閑置資源，把計算任務(wù)交由多臺服務(wù)器進(jìn)行并行計算分析，另外一方面，根據智能分析產(chǎn)生的視頻元數據，通過(guò)Hive挖掘視頻元數據的價(jià)值信息。業(yè)務(wù)及管理層，實(shí)現設備和業(yè)務(wù)管理。基于Zookeeper組成的服務(wù)器集群，可以保證業(yè)務(wù)系統的無(wú)故障運營(yíng)，基于Ganglia實(shí)現對攝像頭等設備的監管。
基于大數據的視頻架構，本質(zhì)上是把視頻數據作為最有價(jià)值的資產(chǎn)，以數據作為核心來(lái)構建的技術(shù)架構，重點(diǎn)解決了海量的視頻數據分散和集中式存儲并存、多級分布問(wèn)題，極大提升了非結構化視頻數據讀寫(xiě)的效率，為視頻監控的快速檢索、智能分析提供了端到端的解決方案。
大數據視屏監控帶來(lái)的價(jià)值
大數據視頻架構是革命性的技術(shù)，特別在實(shí)時(shí)智能分析和數據挖掘方面，讓視頻監控從人工抽檢，進(jìn)步到高效事前預警、事后分析，實(shí)現智能化的信息分析、預測，為視頻監控領(lǐng)域業(yè)務(wù)帶來(lái)深刻的變革。
視頻監控進(jìn)入網(wǎng)絡(luò )化時(shí)代以后，越來(lái)越多融入IT新興技術(shù)，大數據技術(shù)在視頻監控領(lǐng)域的廣闊發(fā)展路徑已經(jīng)顯現，不少廠(chǎng)家正致力于通過(guò)將大數據技術(shù)和視頻監控業(yè)務(wù)的完美融合，打造大數據時(shí)代的視頻監控解決方案。
