摘要：視頻監控在高清、智能、大聯(lián)網(wǎng)時(shí)代，正面臨著(zhù)數據洪水的沖擊，傳統的視頻體系架構設計思路正在被挑戰，本文從大數據技術(shù)角度，提出未來(lái)視頻監控的技術(shù)發(fā)展建議。
得益于IT信息技術(shù)的快速進(jìn)步，人類(lèi)可以隨時(shí)隨地記錄下產(chǎn)生的各類(lèi)數據，而同時(shí)數據存儲的成本也正以前所未有的速度下降，一個(gè)大數據的時(shí)代在悄然來(lái)臨。根據IDC預測，全球在2010年正式進(jìn)入ZB 時(shí)代，全球數據量大約每?jì)赡攴环馕吨?zhù)人類(lèi)在最近兩年產(chǎn)生的數據量相當于之前產(chǎn)生的全部數據量。爆炸式增長(cháng)的數據，正推動(dòng)人類(lèi)進(jìn)入大數據的時(shí)代。
維基百科全書(shū)的定義：“大數據是飛速增長(cháng)的，用現有數據庫管理工具難以管理的數據集合”。這些數據包括：社交媒體、移動(dòng)設備、科學(xué)計算和城市中部署的各類(lèi)傳感器等等，其中視頻又是構成數據體量最大的一部分。據IMS Research統計，2011年全球攝像頭的出貨量達到2646萬(wàn)臺，預計到2015年攝像頭出貨量達5454萬(wàn)臺。2011年一天產(chǎn)生的視頻監控數據超過(guò)1500PB,而累計歷史數據將更為龐大，在視頻監控大聯(lián)網(wǎng)、高清化推動(dòng)下，視頻監控業(yè)務(wù)步入數據洪水時(shí)代不可避免。
視頻監控數據有兩個(gè)方面的內涵——海量和非結構化。視頻監控數據量規模龐大，并且隨著(zhù)高清化、超高清化的趨勢加強，視頻監控數據規模將以更快的指數級別增長(cháng)；與通常講的結構化數據不同，視頻監控業(yè)務(wù)產(chǎn)生的數據絕大多數以非結構化的數據為主，這給傳統的數據管理和使用機制帶來(lái)了極大的挑戰。
數據洪水給視頻監控的困境
以飛速增長(cháng)的視頻監控數據，使得傳統視頻監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。
困境一，數據量的急劇擴大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則：在滿(mǎn)足客戶(hù)需求的前提之下，往往技術(shù)成本越低，其生命力往往越強。由于數據量的急速擴大，以及隨之而來(lái)的大規模計算的需求越來(lái)越多，一味采用高配硬件，使得硬件投資成為客戶(hù)不可承受之重，客戶(hù)越來(lái)越希望在滿(mǎn)足需求的前提下，用中低端的硬件來(lái)替換高配硬件。
困境二，海量數據和有效數據之間的矛盾。攝像頭7X24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶(hù)來(lái)講可能大部分信息是無(wú)效，有效信息可能只分布在一個(gè)較短的時(shí)間段內，按照數學(xué)統計的說(shuō)法，信息是呈現冪律分布的，也稱(chēng)之為信息的密度，往往越高密度的信息對客戶(hù)價(jià)值越大。
困境三，資源利用和效率之間的矛盾，串行計算和并行計算的矛盾。視頻監控業(yè)務(wù)網(wǎng)絡(luò )化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò )內的設備越來(lái)越多，利用閑置的計算資源，實(shí)現資源的最大化利用，關(guān)乎運算的效率。在視頻監控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準確的分析往往是平安城市這類(lèi)客戶(hù)的普遍需求。隨著(zhù)數據量的增加，哪怕對TB級別的數據進(jìn)行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時(shí)的計算，已遠遠不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴(lài)于傳統的手段，巨量數據的效率優(yōu)化，并行計算是視頻智能分析的唯一出路。
大數據關(guān)鍵技術(shù)簡(jiǎn)介
因為大數據帶來(lái)了很多現實(shí)中的難題，為了解決這些難題我們需要新的技術(shù)變革，需要新一代的數據庫技術(shù)，業(yè)界稱(chēng)之為大數據技術(shù)。IDC 在定義大數據技術(shù)：大數據技術(shù)將被設計用于在成本可承受（economically）的條件下，通過(guò)非常快速（velocity）的采集、發(fā)現和分析，從大量化（volumes）、多類(lèi)別（variety）的數據中提取價(jià)值（value），將是IT 領(lǐng)域新一代的技術(shù)與架構的變革。Hadoop技術(shù)正是在此背景下誕生，歷經(jīng)數年的積累，Hadoop已成長(cháng)為一個(gè)強大的生態(tài)系統，不但衍生出HDFS、HBase、Hive等多個(gè)子項目，成為IT領(lǐng)域廣泛采用的大數據模型框架。
大數據技術(shù)和視頻監控業(yè)務(wù)在體系架構上的融合
“除了上帝，任何人都必須用數據來(lái)說(shuō)話(huà)”，美國著(zhù)名管理學(xué)家、統計學(xué)家愛(ài)德華.戴明將數據提升到了和上帝平行的高度。視頻監控業(yè)務(wù)正是一個(gè)典型的數據依賴(lài)型業(yè)務(wù)，依靠數據說(shuō)話(huà)。可以說(shuō)，大數據與視頻監控業(yè)務(wù)有著(zhù)天然的結合。綜合來(lái)看，大數據與數據監控業(yè)務(wù)的結合主要體現在“存”、“看”、“用”上。
“閃存”：如果類(lèi)比水庫蓄水的方式，典型的網(wǎng)絡(luò )視頻監控數據存儲模型是一個(gè)由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數量增多、水量增大是水庫蓄水量的保證，然而傳統方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式，在河流中游建立多個(gè)中間蓄水池，不僅可以減少主水庫蓄水壓力和成本，化整為零也提高了就近用水效率。在大數據技術(shù)支撐下，網(wǎng)絡(luò )視頻監控數據存儲模型可轉向分布式的數據存儲體系，提供高效、安全、廉價(jià)的存儲方式。
“易看”：在視頻監控業(yè)務(wù)中，錯看漏看、來(lái)不及看等是常見(jiàn)的困擾點(diǎn)。大數據監控圖像的回溯給許多安防監控管理人員帶來(lái)了生理與心理的雙重挑戰。在大量人力投入的公安案件追溯中，都常常耳聞“看到吐”、“看到暈”等無(wú)奈和感嘆。可想而知一般零售行業(yè)、金融行業(yè)等，對于視頻監控圖像的回溯就更為困難。在視頻監控大數據趨勢已經(jīng)來(lái)臨之際，依靠人眼去檢索、查看所有視頻圖像數據已經(jīng)不太現實(shí)。通過(guò)大數據技術(shù)實(shí)現視頻圖像模糊查詢(xún)、快速檢索、精準定位，讓看變得簡(jiǎn)單迫在眉睫。
“善用”：視頻監控業(yè)務(wù)中，看只是信息采集的方式之一，用才是業(yè)務(wù)應用的根本。視頻監控業(yè)務(wù)的效率問(wèn)題已經(jīng)成為阻礙產(chǎn)業(yè)發(fā)展的關(guān)鍵瓶頸。隨著(zhù)視頻監控攝像機覆蓋廣度、密度增大，視頻圖像數據量呈指數級上升，而視頻監控數據的使用效率卻在下降。智能交通應用、消費者行為分析應用等綜合視頻監控和圖像智能分析的業(yè)務(wù)出現，正努力突破視頻監控效率值及商業(yè)價(jià)值低下的瓶頸。通過(guò)大數據技術(shù)，進(jìn)一步挖掘海量視頻監控數據背后的價(jià)值信息，快速反饋內涵知識輔助決策判斷是將視頻監控用好、用善的金鑰匙。
面向大數據的視頻監控體系架構
視頻監控業(yè)務(wù)的核心就是數據，數據就是業(yè)務(wù)本身，那么基于大數據架構，可以給中大型的視頻監控項目帶來(lái)諸多的裨益。
- 第一，架構更加靈活，伸縮彈性更大。對于一些中大型項目，由于起點(diǎn)的差異，缺乏視頻監控架構的頂層設計，后期的擴容升級難免尾大不掉，如在建設初期就引入面向大數據的架構，為業(yè)務(wù)擴張和管理帶來(lái)好處。
- 第二，以廉價(jià)通用硬件迎合視頻監控數據的爆發(fā)性增長(cháng)。 在面向大數據的架構中，可根據視頻監控業(yè)務(wù)的部署需要，設立多個(gè)HDFS集群組成，采集的流數據會(huì )被劃分成段，并分布于數據節點(diǎn)，這些數據節點(diǎn)可以采用廉價(jià)通用型的硬件，由軟件技術(shù)保證其高可靠性，這種方式避免采用傳統高端硬件的模式，大大降低投資成本。
- 第三，通過(guò)高速并行計算實(shí)現智能分析和數據挖掘。對于金礦來(lái)講，唯有熠熠發(fā)光的金子才是有價(jià)值，視頻監控數據就猶如這樣一座金礦，傳統人工和串行的數據篩選方式已在大數據時(shí)代不能滿(mǎn)足要求。面向大數據的架構原理就是將海量數據分解為較小的更易訪(fǎng)問(wèn)的批量數據，在多臺服務(wù)器上并行分析處理，從而大大加快視頻數據的處理進(jìn)程。
結合視頻監控業(yè)務(wù)特點(diǎn)，引入Hadoop的架構，以頂層設計的視角來(lái)構建面向大數據視頻監控架構，將對未來(lái)視頻監控業(yè)務(wù)的規劃設計產(chǎn)生深遠的影響。下面下面簡(jiǎn)明扼要描述下面向大數據視頻監控邏輯架構。
數據源層，包括實(shí)時(shí)數據和非實(shí)時(shí)數據。實(shí)時(shí)數據指IP攝像頭和傳感器產(chǎn)生的實(shí)時(shí)流媒體數據。非實(shí)時(shí)數據指從DVR、編碼器、第三方系統導入的媒體數據。
大數據存儲層，采用了HDFS和HBASE，實(shí)現數據低成本、高可靠的管理。把采集的流視頻保存在HDFS集群內，并通過(guò)HBase建立訪(fǎng)問(wèn)的索引。把傳統NVR和專(zhuān)用存儲進(jìn)行重構，納入到整體的分布式文件系統中來(lái)。
大數據計算層，實(shí)現智能分析和數據挖掘。通過(guò)MapReduce把對大視頻的分析進(jìn)行分解，充分利用閑置資源，把計算任務(wù)交由多臺服務(wù)器進(jìn)行并行計算分析，另外一方面，根據智能分析產(chǎn)生的視頻元數據，通過(guò)Hive挖掘視頻元數據的價(jià)值信息。
業(yè)務(wù)及管理層，實(shí)現設備和業(yè)務(wù)管理。基于Zookeeper組成的服務(wù)器集群，可以保證業(yè)務(wù)系統的無(wú)故障運營(yíng)，基于Ganglia實(shí)現對攝像頭等設備的監管。
基于大數據的視頻架構，本質(zhì)上是把視頻數據作為最有價(jià)值的資產(chǎn)，以數據作為核心來(lái)構建的技術(shù)架構，重點(diǎn)解決了海量的視頻數據分散和集中式存儲并存、多級分布問(wèn)題，極大提升了非結構化視頻數據讀寫(xiě)的效率，為視頻監控的快速檢索、智能分析提供了端到端的解決方案。
大數據視頻監控構架帶來(lái)的價(jià)值
大數據視頻架構是革命性的技術(shù)，特別在實(shí)時(shí)智能分析和數據挖掘方面，讓視頻監控從人工抽檢，進(jìn)步到高效事前預警、事后分析，實(shí)現智能化的信息分析、預測，為視頻監控領(lǐng)域業(yè)務(wù)帶來(lái)深刻的變革：
平安城市領(lǐng)域，實(shí)時(shí)匯總并綜合分析各種公共安全數據和資料，為執法人員快速準確應對提供科學(xué)依據：如實(shí)時(shí)調閱現場(chǎng)視頻錄像、犯罪嫌疑人記錄、同一地區的相似案件資料；進(jìn)行地理、時(shí)間和空間的比較分析，揭示其犯罪模式和行為模式；追蹤嫌疑人與其車(chē)輛的位置等。指揮人員也可以參照各種數據對不同來(lái)源的資料進(jìn)行綜合分析，制作指揮圖。
智能交通行業(yè)，可以輕松監控攝像覆蓋范圍內的所有車(chē)輛的行駛狀態(tài)、運行軌跡，快速分析出其是否違章，通過(guò)對海量交通數據的比對、分析和研判，實(shí)現指定車(chē)輛行駛路徑、道路擁堵研判等功能。
云服務(wù)領(lǐng)域：實(shí)現基于大數據的視頻監控云服務(wù)，讓攝像機僅通過(guò)互連網(wǎng)就能連接云端的視頻監控托管服務(wù)，通過(guò)快速、智能的分析部署在云端的大數據，為小型企業(yè)、零售商店、餐館酒店等提供實(shí)時(shí)監控視頻和潛在風(fēng)險管理，甚至能提供收費的基于視頻內容的分析報告，如日常的客戶(hù)數，平均隊列長(cháng)度等，創(chuàng )造新的商業(yè)模式。
華為視頻監控業(yè)務(wù)在大數據領(lǐng)域積淀
華為技術(shù)有限公司作為世界500強企業(yè)，一直以實(shí)力和創(chuàng )新能力聞名于世。華為結合業(yè)界主流架構Hadoop，創(chuàng )建了屬于華為自己的大數據平臺解決方案，不僅有用于存儲的分布式文件系統，而且是可以在由通用計算設備組成的大型集群上執行分布式應用的框架，已經(jīng)融入到華為視頻監控的體系結構中。華為大數據視頻監控系統具有超大規模容量、跨域資源管理、靈活調度、高性?xún)r(jià)比海量存儲、端到端安全、精細化運維等優(yōu)點(diǎn)，有效支撐平安城市、智能交通等運營(yíng)及應用。
華為Hadoop開(kāi)源組織的影響力
在Yahoo和Cloudera發(fā)布的數據中，華為公司在Hadoop重要貢獻公司名單內，排在IBM和Cisco之前。從2011年截至到現在，華為貢獻到開(kāi)源社區的問(wèn)題合計626個(gè)，報告問(wèn)題685個(gè)，在Hadoop核心和外圍全面、持續積累。
按照業(yè)界的公開(kāi)排名，華為Hadoop團隊在全球綜合排名第七，在HBase和HDFS社區中擁有2名Committer。華為Hadoop團隊的貢獻是均衡的，同時(shí)在Hadoop內核和周邊項目都有貢獻。而在HBase和HDFS社區中的2名Committer可以在第一時(shí)間為華為帶來(lái)大數據管理及應用領(lǐng)域前沿技術(shù)。
華為大數據視頻監控架構的實(shí)踐
X國剛經(jīng)過(guò)戰爭洗禮，社會(huì )秩序正在重建，治安面臨嚴峻的形勢。經(jīng)過(guò)多輪的客戶(hù)需求的分析和挖掘，華為向客戶(hù)提供了基于大數據架構的視頻監控解決方案，贏(yíng)得客戶(hù)的信賴(lài)，并超越客戶(hù)的期望。
- 首先，針對客戶(hù)希望通過(guò)多個(gè)階段實(shí)現由點(diǎn)及面再網(wǎng)的分步建設需求。華為提出基于分布式文件系統的節點(diǎn)架構，可以在攝像頭動(dòng)態(tài)增加的情況下，擴展服務(wù)器，即可達到單點(diǎn)服務(wù)能力的提升，同時(shí)不影響業(yè)務(wù)運營(yíng)；并且針對新建的點(diǎn)，可以很方面和上一級節點(diǎn)構建隸屬關(guān)系。
- 其次，統一管理，分布式存儲的需求。由于節點(diǎn)與節點(diǎn)之間，無(wú)固定網(wǎng)絡(luò )，節點(diǎn)與節點(diǎn)之間只能靠無(wú)線(xiàn)通信，不具備大容量數據交換的條件。華為提供分布式管理的方案，內容存在節點(diǎn)內，把視頻的描述信息匯總到中心節點(diǎn)進(jìn)行管理，根據中心節點(diǎn)的指令對內容進(jìn)行管理。
- 第三，全網(wǎng)智能聯(lián)動(dòng)。 當治安事件發(fā)生后，通過(guò)關(guān)鍵信息，能快速搜尋全網(wǎng)2萬(wàn)多個(gè)攝像頭記錄的信息，傳統意義上的智能檢索方式已經(jīng)不能勝任，華為提出并行計算的概念，充分利用各節點(diǎn)閑置計算能力，快速高效實(shí)現檢索。
總結
“這是最好的時(shí)代，也是最壞的時(shí)代”——狄更斯 《雙城記》。
視頻監控進(jìn)入網(wǎng)絡(luò )化時(shí)代以后，越來(lái)越多融入IT新興技術(shù)，大數據技術(shù)在視頻監控領(lǐng)域的廣闊發(fā)展路徑已經(jīng)顯現，華為正致力于把大數據技術(shù)和視頻監控業(yè)務(wù)的完美融合，打造大數據時(shí)代的視頻監控解決方案。
