目前華為將這種技術(shù)稱(chēng)為SafeVideo技術(shù)，在全線(xiàn)視頻監控專(zhuān)用存儲中已經(jīng)應用。視頻監控的業(yè)務(wù)不但不會(huì )因為多塊硬盤(pán)發(fā)生故障而導致系統暫停，還最大限度的的保護了用戶(hù)的數據資源。大量的使用者，特別是公安用戶(hù)反饋，此技術(shù)的誕生，說(shuō)明了華為公司是真正第一家為安防行業(yè)定制標準IT設備的廠(chǎng)商。
SafeVideo技術(shù)并未就此停下腳步，當維護人員將新的硬盤(pán)替換上線(xiàn)后，無(wú)需做任何配置，RAID組將會(huì )自動(dòng)重新組建并上線(xiàn)工作。
數據可靠性
雖然在研調需求的時(shí)候，發(fā)現客戶(hù)的需求是“業(yè)務(wù)連續性為第一重要級別，數據可以容忍少量錯誤”，但是華為并未將“可容忍少量錯誤”作為滿(mǎn)足于現狀的理由，而是利用在ICT技術(shù)上多年的積累，盡最大可能保護用戶(hù)的數據安全以及數據的完整性。前面講到的SafeVideo技術(shù)也是向著(zhù)這個(gè)目標出發(fā)，從而設計出了“RAID組內多塊磁盤(pán)故障后，RAID組不失效，還能提供讀取服務(wù)”的特性，盡可能的減少了數據的損失。
從文章前面的內容可以了解到，標準數據存儲（IPSAN或NAS）和視頻監控行業(yè)應用存儲的區別，是由于承載的業(yè)務(wù)應用不同而產(chǎn)生的。在理論上，一個(gè)標準的數據存儲的實(shí)現是將數據切片并且復制多份后按照一定均衡算法存儲在多個(gè)存儲節點(diǎn)中。從左圖可以看到，一種色塊代表一個(gè)文件的切片，它們隨機的部署在不同硬件節點(diǎn)的不同硬盤(pán)上。
華為設計了 “就近存儲”的解決方案。一個(gè)派出所或者分局職能轄區內所有的攝像機圖像均“就近”存儲在本地的云中。而單路攝像機的圖像則盡可能的“就近”存儲在一個(gè)云節點(diǎn)內的一個(gè)RAID組里面。
并提出了“視頻監控應用云節點(diǎn)”的理念，高可靠性是其核心特性。首先，將視頻監控業(yè)務(wù)中所有能抽象出來(lái)的特性都內嵌到云節點(diǎn)中；然后，所有應用云節點(diǎn)設備完全對等部署，無(wú)差異。經(jīng)過(guò)虛擬化后，所有的應用云節點(diǎn)會(huì )虛擬化為一臺巨大的應用云節點(diǎn)設備。并且云節點(diǎn)在系統內嵌了應用，部署了一個(gè)小型的數據庫。每臺應用云節點(diǎn)都知道自己肚子里面裝的數據是什么。不管身邊的誰(shuí)故障倒下了，自己的那片小天地不會(huì )倒下。
并行計算高性能
目前在平安城市的建設中，客戶(hù)遇到的最大的困擾就是：破案效率低下。這個(gè)痛點(diǎn)的其中一個(gè)重要原因就是搜索定位的效率低下。在前面的小節中已經(jīng)提到，傳統方案中會(huì )部署數據庫服務(wù)器，即使是標準數據存儲也會(huì )要部署MDS元數據服務(wù)器。各大方案廠(chǎng)家都會(huì )在數據庫服務(wù)器中保存視頻數據的索引，如基于圖像幀的索引或者基于時(shí)間的索引，無(wú)外乎是這兩種方式。
然而隨著(zhù)數據量的增加，搜索查詢(xún)性能會(huì )越來(lái)越慢。數據庫就是這個(gè)瓶頸。
我們用國內某平安城市的實(shí)際案例舉例。26,000個(gè)25幀網(wǎng)絡(luò )攝像機存儲1個(gè)月時(shí)間，如果按照標準的幀索引來(lái)計算的話(huà)，記錄數量會(huì )達到1萬(wàn)6848億條記錄。如果放在SQL SERVER這種大型關(guān)系型數據庫里面，執行搜索命令定位到其中1條，實(shí)驗室里面的數據是耗時(shí)1小時(shí)50分鐘。當然，經(jīng)過(guò)大量的優(yōu)化后，定位時(shí)間還是保持在30分鐘以上。
這個(gè)性能數據帶來(lái)的影響是非常可怕的。一個(gè)真實(shí)的案例，在某大型城市里發(fā)生了一起汽車(chē)肇事的案件。幸運的是，案件發(fā)生后馬上接到了報警。公安在城市治安卡口里面搜索汽車(chē)牌照號碼，半個(gè)小時(shí)過(guò)去了，結果還沒(méi)有反饋出來(lái)。這次事故在公安體系里面都知道。
當華為公司了解到這個(gè)客戶(hù)的痛點(diǎn)以后，進(jìn)行了細致的分析，最后推出了基于視頻監控應用云節點(diǎn)架構的“分布式并行搜索”特性。
在數據寫(xiě)入的時(shí)候，視頻監控應用云節點(diǎn)保存了一份分布式索引，這是一個(gè)基于秒偏移技術(shù)的視頻索引專(zhuān)用散列算法。這個(gè)算法也是為安防行業(yè)中視頻監控的應用特別設計的。在一臺云節點(diǎn)設備內部，定位到某一幀在磁盤(pán)上的位置僅僅需要不到10個(gè)微秒。1000000微秒才等于1秒。右圖是互聯(lián)網(wǎng)可以經(jīng)常看到的一張圖片，子彈穿過(guò)蘋(píng)果的瞬間，照相機快門(mén)的曝光時(shí)間為3微秒。可見(jiàn)，應用云節點(diǎn)內的視頻幀地址定位速度在人體所能感受到的時(shí)間刻度上來(lái)說(shuō)，是瞬間。
