近年來(lái),隨著(zhù)海量視頻信息的快速增長(cháng),傳統的安防技術(shù)越來(lái)越難以滿(mǎn)足部分行業(yè)在傳輸、存儲及大數據計算分析上的需要,或者說(shuō)很難以更低的成本、更靈活的擴展性、更健壯更可靠更安全的系統架構來(lái)滿(mǎn)足這些需要。因此,云計算的概念這兩年開(kāi)始越來(lái)越多的滲透到安防領(lǐng)域。其中,云存儲取得的突破性應用尤為引人注目。本文將主要就云存儲在安防領(lǐng)域的應用展開(kāi)分析。
網(wǎng)絡(luò )化技術(shù)的普及,使得視頻資源的聯(lián)網(wǎng)共享成為很多行業(yè)日益迫切的需求,現有分散的視頻資源正在朝著(zhù)大集中的方向推進(jìn);平安城市、智能交通等大行業(yè)市場(chǎng)通過(guò)點(diǎn)、線(xiàn)、面的密集覆蓋,每時(shí)每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長(cháng)的視頻數據在帶來(lái)海量視頻存儲需求的同時(shí),也對當前的視頻存儲技術(shù)提出了一系列新的挑戰:如何實(shí)現存儲容量的平滑擴展?如何有效的降低由此帶來(lái)的存儲成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數據?如何解決越來(lái)越龐大的系統給維護管理帶來(lái)的困擾?
答案就在云存儲。
云存儲的定義
云存儲是在云計算概念上衍生和發(fā)展出來(lái)的一種技術(shù)或服務(wù)。將網(wǎng)絡(luò )中各類(lèi)存儲設備匯集在云計算系統當中,通過(guò)云計算的概念組織起來(lái)協(xié)同工作,對外提供數據存儲和業(yè)務(wù)訪(fǎng)問(wèn)的功能以及與存儲相關(guān)的增值應用,即稱(chēng)為云存儲。
云存儲和云計算都是云架構的技術(shù)實(shí)現,任何應用都需要一個(gè)計算模型、一個(gè)存儲模型和一個(gè)通信模型。云計算中,為了實(shí)現資源的彈性利用以及給用戶(hù)造成資源無(wú)限的假象,必須實(shí)現資源的復用。云存儲也是一樣,它通過(guò)虛擬化和精簡(jiǎn)配置技術(shù),讓資源的效益最大化。
與傳統的存儲設備相比,云存儲不僅僅是一個(gè)硬件,而是一個(gè)網(wǎng)絡(luò )設備、存儲設備、服務(wù)器、應用軟件、公用訪(fǎng)問(wèn)接口、接入網(wǎng)和客戶(hù)端程序等多個(gè)部分組成的復雜系統。各部分以存儲設備為核心,通過(guò)應用軟件來(lái)對外提供數據存儲和業(yè)務(wù)訪(fǎng)問(wèn)服務(wù)。
云存儲對外提供的是與存儲相關(guān)的服務(wù)。云存儲可以提供類(lèi)似于磁盤(pán)陣列的裸空間服務(wù),也可以提供基于存儲的特定服務(wù)。
云存儲的系統架構
要了解云存儲的系統架構,需要先了解其應用架構。我們以平安城市為例來(lái)看云存儲的應用架構。在平安城市中,云存儲可為多個(gè)系統提供存儲服務(wù),包括視頻監控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個(gè)案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車(chē)輛抓拍圖片等資源的統一存儲。
從應用架構上看,云存儲系統與傳統分布式存儲系統差異并不明顯,其更本質(zhì)的區別其實(shí)體現在內部軟件架構上。
云存儲系統采用大規模分布式并行文件系統,以大量的服務(wù)器和存儲設備為基礎,構建一個(gè)大規模存儲集群,提供上百PB的存儲容量,并能夠在線(xiàn)進(jìn)行容量的擴充,由此搭建的大容量存儲系統整體成本遠低于傳統存儲架構,并且具有良好的可擴充性和靈活性。
云存儲系統通過(guò)元數據和存儲數據分離的非對稱(chēng)式架構,通過(guò)負載均衡和數據并發(fā)訪(fǎng)問(wèn)策略,在普通硬件條件下獲得高達數十Gbps的傳輸速率以及上百PB級的存儲容量,并可根據用戶(hù)應用發(fā)展的趨勢,適時(shí)按需進(jìn)行在線(xiàn)動(dòng)態(tài)擴展。與單機的文件系統不同,分布式文件系統不是將這些數據放在一塊磁盤(pán)上由上層操作系統來(lái)管理,而是存放在一個(gè)服務(wù)器集群上,由集群中的服務(wù)器,各盡其責,通力合作,提供整個(gè)文件系統的服務(wù)。
云存儲系統內置了基于對象數據管理策略,能夠保證在系統局部發(fā)生故障時(shí)數據的安全性和可靠性,徹底消除存儲系統中的單點(diǎn)故障,結合自動(dòng)故障探測和快速故障恢復技術(shù),確保用戶(hù)的應用持續穩定地運行,同時(shí)減少部署和管理的難度。
更直觀(guān)的理解,云存儲系統本身也是構建在通用磁盤(pán)陣列之上的,它通過(guò)通過(guò)操作系統的API管理磁盤(pán)上的數據,只不過(guò)這樣一個(gè)系統在邏輯上可以分為元數據節點(diǎn)(控制節點(diǎn))、數據節點(diǎn)(存儲節點(diǎn))、管理節點(diǎn)以及客戶(hù)端四個(gè)部分,這四個(gè)部分分別對應了上面提到的云存儲的4層結構模型:
1)元數據節點(diǎn)(控制節點(diǎn))
元數據節點(diǎn)即控制節點(diǎn),用于記錄所存儲的文件的各種屬性,相當于整個(gè)文件系統的大腦,管理各個(gè)數據節點(diǎn),收集數據節點(diǎn)信息,了解所有數據節點(diǎn)的現狀,然后給它們分配任務(wù),協(xié)調指示各數據節點(diǎn)為系統服務(wù);
2)數據節點(diǎn)(存儲節點(diǎn))
數據節點(diǎn)即存儲節點(diǎn),用于管理磁盤(pán)和卷和存儲用戶(hù)的文件數據,是整個(gè)存儲系統的存儲資源提供者,它同時(shí)還負責集群構建,包括節點(diǎn)管理和數據分片,并承擔數據冗余保護和對數據訪(fǎng)問(wèn)的負載均衡;
3)管理節點(diǎn)
管理節點(diǎn)統一管理云存儲系統中的集群節點(diǎn)、文件、日志、告警、網(wǎng)關(guān)等,同時(shí)提供日志管理、性能監控、配置管理、故障管理等能力,方便系統管理維護人員管理云存儲系統;
4)客戶(hù)端
客戶(hù)端在一個(gè)獨立的進(jìn)程中提供服務(wù),為用戶(hù)提供文件讀寫(xiě)、目錄操作等APIs,當用戶(hù)需要使用分布式文件系統進(jìn)行文件讀寫(xiě)的時(shí)候,將客戶(hù)端安裝至需使用系統的服務(wù)器,即可使用系統提供的服務(wù)。
在科達云存儲系統中采用三臺元數據節點(diǎn),起到對元數據的重要保護(冗余)和負載均衡的作用(提升系統性能)。數據節點(diǎn)定期向元數據節點(diǎn)匯報其狀況,等待并處理命令,實(shí)現數據高效、安全讀寫(xiě)。在系統中,數據切片的大小可以調整,以滿(mǎn)足不同客戶(hù)對數據文件存儲策略的設定要求,同時(shí)采用完全鏡像副本保護數據文件。
云存儲與傳統存儲系統的對比優(yōu)勢
與傳統存儲相比,云存儲具備以下幾個(gè)方面的顯著(zhù)優(yōu)勢:
1)存儲容量的彈性擴展
傳統存儲設備最大容量有限,當達到一定擴展能力就很難再擴展,同時(shí)存儲性能、安全性、可靠性和經(jīng)濟性都大大降低。云存儲能夠通過(guò)集群很容易獲得PB級存儲容量,存儲擴展沒(méi)有限制,可隨時(shí)隨地在線(xiàn)增加存儲節點(diǎn)來(lái)滿(mǎn)足存儲容量需求,并且能夠做到“增加存儲節點(diǎn),數據自動(dòng)重組,減少存儲節點(diǎn),數據自動(dòng)恢復”的彈性和可伸縮性。
2)高并發(fā)讀寫(xiě)性能
傳統存儲設備的并發(fā)讀寫(xiě)性能容易受到NAS機頭、CPU或控制器的能力限制,而云存儲系統采用控制與數據分離的架構,脫離了單臺設備的能力束縛,整個(gè)系統的性能主要受網(wǎng)絡(luò )吞吐能力的限制。云存儲技術(shù)可將存儲節點(diǎn)的帶寬聚合,隨著(zhù)存儲節點(diǎn)的增加可以實(shí)現帶寬的線(xiàn)性增長(cháng),理論上帶寬是無(wú)限的。同時(shí)在云存儲系統中數據文件是拆分成數據塊進(jìn)行條帶化存儲在多臺物理存儲節點(diǎn)上的,能夠最快速的并發(fā)訪(fǎng)問(wèn)數據。另外云存儲中數據存儲是采用多副本策略存儲的,可以實(shí)現熱點(diǎn)數據的負載均衡訪(fǎng)問(wèn)。
3)可維護性
云存儲系統采用數據冗余存儲機制,硬盤(pán)或存儲節點(diǎn)損壞時(shí),其余節點(diǎn)可自動(dòng)重組,數據不丟失,系統運行不受影響。這一點(diǎn)大大提升了海量存儲節點(diǎn)的可維護性。當前來(lái)看,最直觀(guān)、最能夠體現云存儲優(yōu)勢的就是可維護性。以科達云存儲系統為例:傳統的存儲設備,通常用RAID方式進(jìn)行冗余備份,當有硬盤(pán)損壞時(shí),RAID重構時(shí)間通常要十幾個(gè)小時(shí),這期間如果再有硬盤(pán)壞掉,數據就無(wú)法恢復了,所以維護人員需要在第一時(shí)間趕到現場(chǎng)更換硬盤(pán),7×24小時(shí)待命;科達云存儲采用分布式文件系統,數據的存儲和備份不再依賴(lài)單臺設備的能力,有硬盤(pán)壞掉時(shí),其余的硬盤(pán)將自動(dòng)進(jìn)行重構,恢復受損的數據,這只需要十幾分鐘的時(shí)間,維護人員只需要定期檢查硬盤(pán)的損壞情況,并更換新硬盤(pán)即可,維護非常簡(jiǎn)單。
4)安全性、可靠性
傳統存儲設備提供的是一個(gè)透明的存儲空間,原始數據直接存在存儲設備上的,數據可以直接訪(fǎng)問(wèn)和使用,并不具有信息安全和私密性。云存儲中的數據傳輸是加密的,首先用戶(hù)并不知道數據存在哪個(gè)物理硬盤(pán)上,而且數據在存儲設備上是按文件塊存儲的無(wú)法直接進(jìn)行訪(fǎng)問(wèn)。用戶(hù)存儲的數據只有自己有權限進(jìn)行訪(fǎng)問(wèn)和管理,系統管理員也無(wú)法讀取。
5)資源共享性
傳統存儲設備一般是以單一形式工作,無(wú)法做到多臺設備之間的容量和帶寬聚合。而云存儲集群文件系統,不受限于硬件存儲節點(diǎn)的數量,可靈活的進(jìn)行統一管理和共享。云存儲可以把一個(gè)存儲池共享給多個(gè)用戶(hù)進(jìn)行訪(fǎng)問(wèn),傳統存儲受限于容量和帶寬的性能是無(wú)法做到的。云存儲提供全局統一命名空間,提供示準的文件訪(fǎng)問(wèn)接口,支持主流的文件傳輸協(xié)議,同時(shí)支持API接口可于應用程序更完美的結合,實(shí)現最佳訪(fǎng)問(wèn)效率。
6)總擁有成本低
云存儲系統采用高性?xún)r(jià)比的以太網(wǎng)絡(luò )和存儲節點(diǎn)構成,比傳統的中高端存儲設備具有更好的性?xún)r(jià)比優(yōu)勢。云存儲擴容相對比較靈活,可根據業(yè)務(wù)隨時(shí)隨地的進(jìn)行彈性擴展,用戶(hù)不需要在前期一次性購入,需要時(shí)可在線(xiàn)進(jìn)行性能和容量的擴展,從而能夠保護用戶(hù)的前期投資。更重要的是,云存儲通過(guò)前面提到的可維護性,可以在管理維護上大大節省用戶(hù)的總擁有成本(TCO)。
結束語(yǔ)
視頻圖像的存儲特點(diǎn)是對實(shí)時(shí)的存取性能要求較高,而云存儲的系統架構決定了它能夠以較低的總擁有成本很好的滿(mǎn)足海量高清或標清視頻的并發(fā)寫(xiě)入、讀取,并能實(shí)現快速配置和即插即用。
因此,雖然短期來(lái)看,云存儲的需求當前主要還將集中在平安城市、智能交通等大行業(yè)市場(chǎng)以及基于公有云架構的民用市場(chǎng),但相信未來(lái)隨著(zhù)網(wǎng)絡(luò )化更全面普及和海量視頻共享需求的更快速增長(cháng),其應用前景將更加廣闊。
關(guān)于科達
科達,領(lǐng)先的專(zhuān)業(yè)視訊廠(chǎng)商,致力于視訊產(chǎn)品的研發(fā)、生產(chǎn)、銷(xiāo)售和服務(wù),以卓越的技術(shù)為運營(yíng)商、政府、企業(yè)以及各行業(yè)客戶(hù)提供創(chuàng )新的產(chǎn)品及解決方案。
科達成立于1995年,總部位于蘇州,在中國設有31個(gè)分支機構,在新加坡設有海外分公司,目前擁有員工800余名。產(chǎn)品及解決方案主要涵蓋視頻會(huì )議、可視通信、網(wǎng)絡(luò )視頻監控等領(lǐng)域,已廣泛應用于各類(lèi)行業(yè)。2005年7月,科達在新加坡成功上市,成為中國第一家以視訊產(chǎn)品為主營(yíng)業(yè)務(wù)的海外上市公司。
多年的技術(shù)積累和每年占銷(xiāo)售額12%的研發(fā)投入,使科達具備了業(yè)界領(lǐng)先的自主研發(fā)與創(chuàng )新實(shí)力。成立于2001年的科達上海研發(fā)中心擁有最優(yōu)秀的技術(shù)及產(chǎn)品研發(fā)團隊,掌握了多項視訊與網(wǎng)絡(luò )核心技術(shù),是業(yè)內領(lǐng)先的專(zhuān)業(yè)視訊研究機構。2005年,科達全面實(shí)施集成產(chǎn)品研發(fā)管理體系,以先進(jìn)的流程規范產(chǎn)品開(kāi)發(fā),可提供貼近客戶(hù)需求的視訊產(chǎn)品及整體解決方案。
在今天,科達正以強大的研發(fā)實(shí)力和市場(chǎng)競爭力迅速躋身全球領(lǐng)先的專(zhuān)業(yè)視訊廠(chǎng)商;在未來(lái),科達將以持續的創(chuàng )新動(dòng)力推動(dòng)網(wǎng)絡(luò )通信方式的變革,為用戶(hù)創(chuàng )造全新的溝通價(jià)值。
科達使命:推動(dòng)通信方式的進(jìn)步,讓溝通更精彩。