海量視頻數據的存儲和管理
維基百科全書(shū)的定義：“大數據是飛速增長(cháng)的，用現有數據庫管理工具難以管理的數據集合”。這些數據包括：社交媒體、移動(dòng)設備、科學(xué)計算和城市中部署的各類(lèi)傳感器等等，其中視頻又是構成數據體量最大的一部分。
據IMS Research統計，2011年全球攝像頭的出貨量達到2646萬(wàn)臺，預計到2015年攝像頭出貨量達5454萬(wàn)臺。僅僅視頻監控錄像而言，每天的數據量就達上千PB，累計的歷史數據將更為龐大，在視頻監控大聯(lián)網(wǎng)、高清化推動(dòng)下，視頻監控業(yè)務(wù)步入數據的井噴時(shí)代。
“大數據或稱(chēng)巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內達到截取、管理、處理、并整理成為人類(lèi)所能解讀的信息。”維基百科對大數據的定義將大數據的特點(diǎn)闡釋得非常清晰： “海量”和“非結構化”。
海量
IDC研究表明，2012年的數據存儲總量約為2.8ZB，2020年數據存儲量約為40ZB（1ZB=1億TB）。數據量正在以 55% 的速度逐年增長(cháng)。全世界粗略估計有至少有2億個(gè)攝像頭在角落里靜靜的看著(zhù)我們。
非結構化
與通常講的Oracle、SQL這類(lèi)傳統的數據中心級的結構化數據不同，視頻監控業(yè)務(wù)產(chǎn)生的數據絕大多數以非結構化的數據為主，信息呈現上為松耦合的關(guān)系，這給傳統的數據管理和使用機制帶來(lái)了極大的挑戰。
大數據技術(shù)的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進(jìn)行專(zhuān)業(yè)化處理。換言之，如果把大數據比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現盈利的關(guān)鍵，在于如何讓數據會(huì )“說(shuō)話(huà)”。如何將海量的數據變成落地民生，進(jìn)行商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴散、打擊犯罪或測定實(shí)時(shí)交通路況正是“大數據”盛行的本質(zhì)。
圍繞大數據的命題，經(jīng)過(guò)采集后的視頻數據通過(guò)創(chuàng )建數據倉庫，進(jìn)行數據的分析和挖掘，最終進(jìn)行可視化的呈現，就是大數據的衍變過(guò)程。在大數據的發(fā)展趨勢下，對海量視頻監控數據的存儲和管理是當下各大廠(chǎng)商積極探索的命題之一。
海量視頻數據的存儲和管理
視頻數據的爆炸式增長(cháng)，意味著(zhù)需要投入更多的資源以及付出更多的努力，才能在這些體量龐大的數據中尋找到有價(jià)值的信息。目前各大廠(chǎng)商也發(fā)現單個(gè)節點(diǎn)的存儲設備無(wú)法適應海量的視頻監控數據的管理需求，其發(fā)展沒(méi)能跟上數據增長(cháng)的速度。其實(shí)不難發(fā)現，視頻監控數據和傳統的數據中心的結構化數據的業(yè)務(wù)模型相差較大：
恒定碼流的高并發(fā)寫(xiě)入
視頻監控數據具有高并發(fā)、大容量的特點(diǎn)。以1080P為例，在4Mbps的碼率下，中等城市的監控規模一般為數千到數萬(wàn)攝像頭，按5000路計算，并發(fā)寫(xiě)入碼流為5000路*4Mbps *24小時(shí)*60分鐘*60秒 ;
大容量
根據公安部要求錄像數據在系統中保存30天以上。中等城市的存儲容量為：5000路*4Mbps *24小時(shí)*60分鐘*60秒*30天；
高可靠
視頻監控存儲系統7*24小時(shí)不間斷的高壓力寫(xiě)入的同時(shí)，還必須具有高級別的容錯性，存儲等硬盤(pán)類(lèi)介質(zhì)屬于電子產(chǎn)品，電子產(chǎn)品或多或少都存在軟件或硬件的bug，高壓力下的硬盤(pán)故障率也會(huì )比較高，如果保障故障發(fā)生時(shí)不造成監控數據的丟失，是視頻監控存儲管理的重要命題。
在線(xiàn)升級擴容
由于視頻監控項目本身在不斷發(fā)展，系統定期會(huì )進(jìn)行在線(xiàn)擴容和升級，這就要求存儲系統具有高度的可擴展性，可在系統中簡(jiǎn)單便捷地增添存儲設備。
信息價(jià)值
海量數據和有效數據之間的矛盾。攝像頭7*24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶(hù)來(lái)講可能大部分信息是無(wú)效，有效信息可能只分布在一個(gè)較短的時(shí)間段內，按照數學(xué)統計的說(shuō)法，信息是呈現冪律分布的，也稱(chēng)之為信息的密度，通常在最短的時(shí)間內提供的數據有效性越高，對客戶(hù)價(jià)值越大。
有效信息提取（計算）
在視頻監控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準確的分析往往是平安城市這類(lèi)客戶(hù)的普遍需求。隨著(zhù)數據量的增加，哪怕對TB級別的數據進(jìn)行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時(shí)的計算，已遠遠不能勝任時(shí)效性的需求。大數據架構下的存儲系統還需要考慮后續的計算模式的匹配。
視頻文件存儲幾大問(wèn)題
視頻文件目前絕大多數的系統都是采用文件系統的方式進(jìn)行音視頻數據的存儲。文件系統有幾個(gè)最大的問(wèn)題：
· 存儲設備管理接口不統一
· 存儲資源的管理及分配制度
· 以文件系統為核心的數據存儲方式
1） 文件系統易損壞，寫(xiě)文件會(huì )導致文件系統元數據區的頻繁持續更新，因此文件系統的元數據區很容易損壞，導致文件系統不可用。
2） 性能問(wèn)題：文件系統經(jīng)IO過(guò)操作系統的封裝，在數據長(cháng)時(shí)期持續寫(xiě)入的情況下，開(kāi)銷(xiāo)要大于直接裸盤(pán)寫(xiě)入，降低性能。在磁盤(pán)上存在大量錄像文件時(shí)，系統的錄像檢索效率會(huì )下降很多。另外，磁盤(pán)上的大量文件在多次刪除重建后，數據在物理磁盤(pán)上的位置將變成不連續，導致數據寫(xiě)入的隨機性加大，從而降低錄像數據的寫(xiě)入性能。
視頻存儲作為圖像數據和報警事件記錄的基礎載體，重要性是不言而喻的，存儲的需求已不僅是一臺或幾臺設備而已，而已提升到了一個(gè)解決方案平臺的高度。大容量、高并發(fā)的視頻監控存儲系統并不是存儲設備的簡(jiǎn)單堆積，更需要解決監控業(yè)務(wù)特色的存儲機制的完備性、存儲標準以及在時(shí)間（存儲數據處理速度）和空間（存儲容量）上的可使用性等問(wèn)題上滿(mǎn)足大容量、高并發(fā)等大數據應用架構下的監控存儲系統的要求。
“云存儲”有許多的定義，大家公認的基本功能有：按需自動(dòng)服務(wù)、資源池、快速靈活、廣泛的網(wǎng)絡(luò )接入等。云存儲是通過(guò)網(wǎng)絡(luò )提供的可配置虛擬化存儲和相關(guān)數據服務(wù)，這個(gè)服務(wù)級別是可以按需要來(lái)保證的。云存儲的第一個(gè)涵義是網(wǎng)絡(luò )，早期通過(guò)云的圖示表示網(wǎng)絡(luò )，這是云存儲的由來(lái)。“云存儲”實(shí)際上借助了網(wǎng)絡(luò )的概念，所以涵括了部分網(wǎng)絡(luò )在內；另一個(gè)含義就是它的服務(wù)，虛擬化存儲，提供存儲池，屏蔽單臺存儲設備的所有細節，提供傳統的存儲很難做到按需服務(wù)。
基于裸數據塊的視頻云直存虛擬化技術(shù)
虛擬化是云存儲的主要特征之一。存儲領(lǐng)域國際權威機構SNIA（存儲網(wǎng)絡(luò )工業(yè)協(xié)會(huì )）給出了存儲虛擬化（Storage Virtualization）的定義：“通過(guò)將存儲系統/子系統的內部功能從應用程序、計算服務(wù)器、網(wǎng)絡(luò )資源中進(jìn)行抽象、隱藏或隔離，實(shí)現獨立于應用程序、網(wǎng)絡(luò )的存儲與數據管理”。存儲虛擬化技術(shù)將底層存儲設備進(jìn)行抽象化統一管理，向服務(wù)器層屏蔽存儲設備硬件的特殊性，而只保留其統一的邏輯特性，從而實(shí)現了存儲系統的集中、統一、方便的管理。
與傳統虛擬化存儲相比，基于“裸數據塊”的虛擬化存儲化技術(shù)，不僅繼承了“磁盤(pán)利用率高” 和“管理方便”的特點(diǎn)，還能將文件系統的風(fēng)險及碎片問(wèn)題徹底解決。
高磁盤(pán)利用率
傳統存儲技術(shù)的磁盤(pán)利用率一般只有30-70%，而采用虛擬化技術(shù)后的磁盤(pán)利用率高達95%;存儲靈活，可以適應不同廠(chǎng)商、不同類(lèi)別的異構存儲平臺，為存儲資源管理提供了更好的靈活性；
管理方便
管理方便，提供了一個(gè)大容量存儲系統集中管理的手段，避免了由于存儲設備擴充所帶來(lái)的管理方面的麻煩；性能更好，虛擬化存儲系統可以很好地進(jìn)行負載均衡，把每一次數據訪(fǎng)問(wèn)所需的帶寬合理地分配到各個(gè)存儲模塊上，提高了系統的整體訪(fǎng)問(wèn)帶寬。
無(wú)文件碎片及文件系統問(wèn)題
云存儲是炙手可熱的“大數據”中組成之一：存儲單元模塊。“大數據”中提及富媒體資源指的就是視頻監控業(yè)務(wù)產(chǎn)生的大量數據，占比巨大的富媒體信息中的載體為存儲設備和云存儲解決方案。
存儲設備或云存儲解決方案作為視頻監控里中結構化和非結構化數據的載體，橫跨基礎架構、內容信息三個(gè)維度的信息化建設的基礎。如果將“富”媒體中的視頻信息，從底層的動(dòng)態(tài)存儲到以事件或物理為索引的信息分析，再到將海量的非結構化數據轉化成信息和洞察力，做到真正的“為人所用”，才是大數據的真正魅力所在。
監控特色的數據倉庫
數據倉庫是一個(gè)面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，用于支持管理決策。 數據倉庫是一個(gè)過(guò)程而不是一個(gè)項目；數據倉庫是一個(gè)環(huán)境，而不是一件產(chǎn)品。數據倉庫提供用戶(hù)用于決策支持的當前和歷史數據，這些數據在傳統的操作型數據庫中很難或不能得到。
監控特色的數據倉庫技術(shù)是為了有效的把基礎視頻庫中的錄像信息，按照某些特性或邏輯或定義的結構類(lèi)型，進(jìn)行信息的提取，作為數據集成到統一的環(huán)境中以提供決策型數據訪(fǎng)問(wèn)的基礎。目的做的一切都是為了讓用戶(hù)更快更方便查詢(xún)所需要的信息，提供決策支持
傳統的數據處理和加工是：從外界存儲取出來(lái)數據，被應用程序或其他系統程序所讀取并計算處理，處理完畢將其放入程序里面，整個(gè)業(yè)務(wù)流有多個(gè)處理環(huán)節，要不斷地存儲、讀取、計算、再存儲，其系統的大量時(shí)間花費在數據的遷移上，一旦數據量增加，從數據向計算遷移的環(huán)節就肯定“費時(shí)費力”。
大數據整理架構發(fā)展趨勢下，將管理的重點(diǎn)由以前的“設備”為中心，衍變成以“數據”為核心的模式。用戶(hù)根據數據具體分布，推送部署計算單元，大大節省額外的空間計算消耗。
數據可視化
無(wú)論是單一的存儲設備，還是IT或監控云存儲的解決方案，其核心都是作為數據的載體。任何行為本身都會(huì )產(chǎn)生數據，視頻監控業(yè)務(wù)中每個(gè)物體的軌跡、每秒中呈現的數據，都是就是大數據的最原始雛形，但雛形不等于本質(zhì)，擁有這些軌跡數據的本質(zhì)，才能更全面、更清楚的對原始數據的認知。
數據可視化技術(shù)的基本思想是將數據庫中每一個(gè)數據項作為單個(gè)圖元元素表示，大量的數據集構成數據圖像，同時(shí)將數據的各個(gè)屬性值以多維數據的形式表示，可以從不同的維度觀(guān)察數據，從而對數據進(jìn)行更深入的觀(guān)察和分析。主要旨在借助于圖形化手段，清晰有效地傳達與溝通信息。但是，這并不就意味著(zhù)，數據可視化目的為了有效地傳達“數據”的過(guò)去狀態(tài)的呈現及未來(lái)狀態(tài)的預測，通過(guò)直觀(guān)的數據傳達關(guān)鍵的方面與特征，從而實(shí)現對于相當稀疏而又復雜的數據集的深入洞察。
監控視頻數據可視化依據數據及其內在模式和關(guān)系，利用計算機生成的圖像來(lái)獲得深入認識和知識。模擬感覺(jué)系統的廣闊帶寬來(lái)操縱和解釋錯綜復雜的過(guò)程、涉及不同學(xué)科領(lǐng)域的數據集以及來(lái)源多樣的大型抽象數據集合的模擬。
監控視頻數據可視化是大數據架構下的特征產(chǎn)物之一，通過(guò)視頻云存儲作為承載。“可視化”的實(shí)現能打破成熟的科學(xué)可視化領(lǐng)域與較年輕的信息可視化領(lǐng)域間的技術(shù)壁壘，同時(shí)也是一條鋪滿(mǎn)荊棘的探索之路。
