亚洲国产日韩无在线播放,亚洲人成一区二区不卡

基于嵌入式Linux的視頻圖像采集與傳輸分析

2010/03/10

　　摘要:視頻圖像采集及處理技術在遠程視頻監(jiān)控和可視電話中有著廣泛的應用前景，驅(qū)動視頻采集設備和獲取視頻數(shù)據(jù)并進行相應的處理，是實現(xiàn)這些應用的基礎。針對這些應用，構(gòu)建了一個基于嵌入式 Linux和 PXA270微處理器的視頻采集與傳輸系統(tǒng)，利用 Video4Linux實現(xiàn) USB攝像頭視頻數(shù)據(jù)采集，采集的視頻數(shù)據(jù)經(jīng) JPEG壓縮后，在 PXA270為核心的系統(tǒng)控制下通過以太網(wǎng)進行傳輸，并通過重新編譯移植 Webcam_server應用程序?qū)崿F(xiàn)了實時視頻采集。實驗結(jié)果表明，該系統(tǒng)動態(tài)刷新良好，具有一定的實用性。

1.引言

　　視頻圖像可以對客觀事物進行形象、生動的描述，它是一種直觀而具體的信息表達形式，也是一種重要的信息載體。而隨著嵌入式系統(tǒng)的不斷發(fā)展，它所涉及的領域包括工業(yè)控制、網(wǎng)絡通信、軍事國防、航空航天等，我們所熟悉的電子產(chǎn)品幾乎都可以找到嵌入式系統(tǒng)的影子。利用嵌入式微處理器構(gòu)建的視頻圖像采集系統(tǒng) [1]具有體積小、成本低、穩(wěn)定性高等優(yōu)點，在智能交通、計算機視覺、通信等領域得到了廣泛應用。

2.系統(tǒng)平臺上的硬件系統(tǒng)與軟件系統(tǒng)

　　本系統(tǒng)的硬件平臺采用 INTEL公司的 PXA270[2] [3]微處理器。該處理器是 INTEL公司于 2004年 4月發(fā)布的面向移動電話和掌上電腦需求，基于 Xscal架構(gòu)的 PXA27x系列處理器，最高主頻可達 *MHz。PXA270最引人注目的是加入了無線多媒體擴展技術（ Wireless MMX），大大提升了多媒體處理能力；同時 PXA270還加入了 INTEL SpeedStep動態(tài)電源管理技術，實現(xiàn)嵌入式設備的智能電源管理。此外， PXA270具有豐富的擴展接口： SD/SDIO/MMC、 CF/PCMCIA、CMOS/CCD CAMERA、USB2.0、KEYBOARD等。

　　平臺的軟件系統(tǒng)采用內(nèi)核為 Linux-2.6.18的嵌入式 Linux操作系統(tǒng)。嵌入式 Linux操作系統(tǒng)具有相當多的優(yōu)點，它的內(nèi)核穩(wěn)定、功能強大、支持多種硬件平臺、源代碼完全開放，可裁減和低成本的特性非常適合于嵌入式應用，并且 Linux本身直接提供完整的 TCP/IP協(xié)議，可非常方便地進行網(wǎng)絡應用。

3.基于 Video4Linux的視頻圖像采集

　　在 Linux下，設備驅(qū)動程序可以看成 Linux內(nèi)核與外部設備之間的接口。設備驅(qū)動程序向應用程序屏蔽了硬件具體實現(xiàn)細節(jié)，使得應用程序可以像操作普通文件一樣來操作外部設備。在 Linux下，視頻采集設備的正常使用依賴于 Video4Linux標準的支持。

　　Video4Linux（簡稱 V4L）是 Linux中關于視頻設備的內(nèi)核驅(qū)動，它為針對視頻設備的應用程序編程提供了一系列接口函數(shù)，這些視頻設備包括 TV卡、視頻捕捉卡和 USB攝像頭等。視頻采集的一般流程為：

打開視頻設備；

讀取設備信息；

進行視頻采集；

對采集的視頻數(shù)據(jù)進行處理和顯示；

關閉視頻設備。

　　視頻采集主要有兩種方法：

　　（1）直接從設備讀取；

　　（2）內(nèi)存映射。本系統(tǒng)采用第二種方法進行視頻采集，其優(yōu)點是當采用內(nèi)存映射時，直接用 mmap()系統(tǒng)調(diào)用使得進程之間通過映射同一個普通文件實現(xiàn)共享內(nèi)存。

　　普通文件被映射到進程地址空間后，進程可以像訪問普通內(nèi)存一樣對文件進行訪問，不必再調(diào)用 read()，write()等操作。而且采用共享內(nèi)存通信的一個顯而易見的好處是效率高，因為進程可以直接讀寫內(nèi)存，而不需要任何數(shù)據(jù)的拷貝。

　　采用內(nèi)存映射實現(xiàn)視頻采集的部分源代碼如下：

　　（1）調(diào)用 VIDIOCGBUF獲取映射的 buffer信息 ioctl(vd->fd, VIDIOCGBUF,&(vd->mbuf))

　　（2）將 mmap與 video_mbuf綁定 int v4l_mmap_init(v4l_device *vd) { if(v4l_get_mbuf(vd)<0) return -1; if((vd->map=mmap(0,vd->mbuf.size,PORT_READ|PORT_WRITE,

MAP_SHARED,vd->fd))<0) return -1; return 0;}

　　（3）進行圖像采集前的設置 int v4l_grab_init(v4l_device *vd)

{ vd->mmap.width=640; //設置圖像窗口 vd->mmap.height=480; //窗口大小為 640×480 vd->mmap.format=VEDIO_PALETTE_YUV420P; //采樣格式為 YUV420P …}

　　（4）調(diào)用 VIDIOCMCAPTURE開始一幀的截取 ioctl(vd->fd, VIDIOCMCAPTURE,&(vd->mmap));

　　（5）調(diào)用 VIDIOSYNC等待一幀截取結(jié)束

if(ioctl(vd->fd, VIDIOSYNC,&frame)<0) {perror(v4l_sync);return -1;}

　　該函數(shù)成功返回則表示一幀采集已完成，采集到的圖像數(shù)據(jù)放到起始地址為 vd->map+vd->mbuf.offsets[vd->frame]的內(nèi)存區(qū)中，讀取該內(nèi)存區(qū)中的數(shù)據(jù)便可得到圖像數(shù)據(jù)。接著可以做下一次的 VIDIOCMCAPTURE。

　　使用 V4L進行圖像采集時，可采用 “不間斷采集”的方法加快采集過程。驅(qū)動程序要提供至少兩幀圖像大小的緩沖空間，在一幀緩沖完成之后，不管此時應用程序有無提出新的 VIDIOCMCAPTURE請求，驅(qū)動都將第二幀圖像覆蓋保存至另一個緩沖內(nèi)，兩個緩沖輪流使用，不丟任何幀。

4.視頻圖像壓縮與傳輸

　　通過以上采集程序獲得的圖像數(shù)據(jù)為原始數(shù)據(jù)，可以根據(jù)圖像采集格式將圖像信息存儲成文件，通過網(wǎng)絡用 webserver傳輸?shù)椒⻊掌鞫怂⑿嘛@示。如果不對圖像進行壓縮，則圖像數(shù)據(jù)較大，不便于在網(wǎng)絡上傳輸，這就要求系統(tǒng)首先對原始視頻圖像數(shù)據(jù)進行壓縮處理，而通用網(wǎng)絡瀏覽器一般支持 BMP、JPG、GIF三種網(wǎng)絡圖片格式，因此本系統(tǒng)采用 JPEG壓縮方式。

　　JPEG是 Joint Photographic Experts Group（聯(lián)合圖像專家組）的縮寫，文件后綴名為“.jpg”或“.jpeg”，是最常用的圖像文件格式，是由一個軟件開發(fā)聯(lián)合會組織制定，是一種有損壓縮方式，能夠?qū)D像壓縮到很小的儲存空間。JPEG格式是目前網(wǎng)絡上最流行的圖像格式，JPEG壓縮技術十分先進，它用有損壓縮方式去除冗余的圖像數(shù)據(jù)，在獲得較高的壓縮率的同時能展現(xiàn)十分豐富生動的圖像，非常適合于視頻網(wǎng)絡傳輸。

　　Linux中沒有 jpeg函數(shù)庫，需要下載 jpegsrc.v6b.tar.gz后，在 /usr/src解壓安裝： cd jpeg-6b ./configure Make Make install

　　這樣，Linux就支持 jpeg函數(shù)庫了，在編譯器編譯連接時帶有 -l jpeg選項就能連接上 jpeg函數(shù)庫了。

　　利用下面函數(shù)將采集到的 YUV420P的原始圖像數(shù)據(jù)直接壓縮成 JPEG格式進行傳輸：

　　int yuv420p_to_jpeg(char **jpeg_data, unsigned char *image, int width, int height,int quality)，其中， jpeg_data 指向壓縮圖像數(shù)據(jù)指針的指針， image為采集圖像原始數(shù)據(jù)，width為長度,height為高度，quality為壓縮質(zhì)量，函數(shù)的返回值為產(chǎn)生壓縮圖像數(shù)據(jù)的長度。

　　現(xiàn)在企事業(yè)的業(yè)務大多通過 Web技術[4]來部署實現(xiàn)。通過 Web方式主要有以下幾點優(yōu)勢：

　　（1）可以簡化界面的工作，直接使用瀏覽器界面，而瀏覽器已是計算機的必備軟件了。

　　（2）很容易實現(xiàn)超出局域網(wǎng)范圍的遠程控制，并可以實現(xiàn)遠程自動系統(tǒng)升級。

　　（3）應用層程序開發(fā)快捷，由于 Web標準的統(tǒng)一，使得開發(fā)是跨平臺的。而嵌入式系統(tǒng)性能的增強也使得 Web服務進入嵌入式領域成為可能。 Web服務的優(yōu)勢也同樣適用于嵌入式系統(tǒng)。

　　webserver又被稱為 HTTP Server，它是對 HTTP協(xié)議服務器端功能的實現(xiàn)。HTTP協(xié)議是架構(gòu)在 TCP/IP協(xié)議上的應用級協(xié)議，其目的是方便和加速對分布式協(xié)同工作的超媒體信息系統(tǒng)的訪問。HTTP協(xié)議通過統(tǒng)一資源定位符（Universal Resource Location，URL）來定位分布式的超媒體信息。URL通過“通信協(xié)議+網(wǎng)絡地址”字符串來唯一標識信息位置。如： http://www.nass.net/storage.htm就是一個 URL。這個 URL明確給出使用的協(xié)議是： HTTP協(xié)議。

　　Linux系統(tǒng)是通過提供套接字（ socket）來進行網(wǎng)絡編程的。通過 webserver進行網(wǎng)絡傳輸時涉及到的套接口操作函數(shù)[5]主要有：socket()函數(shù)，主要功能是創(chuàng)建指定類型的套接口并返回套接口描述符；bind()函數(shù)，主要功能是使套接口與 IP地址和端口號綁定；connect()函數(shù)，主要功能是用來與遠端服務器建立連接； listen()函數(shù)，主要功能是當 socket與某一端口捆綁以后，就需要*該端口，以便對到達的服務請求加以處理； accept()函數(shù)，主要功能是接受連接隊列里的服務請求，并返回一個新的 socket描述符，來供這個新連接使用。需要注意的是，服務器并不是通過*端口來與客戶連接并通信，而是產(chǎn)生一個新的套接口與客戶通信。例如 webserver在 80號端口*，當有客戶向 80號端口發(fā)出連接請求時，服務器將接受請求且由服務器進程派生出子進程和新的套接口（由 accept()的返回值指向）來與客戶連接并通信。

　　將采集格式為 YUV420P的原始視頻圖像數(shù)據(jù)壓縮成 JPEG格式，并當客戶端有連接時，通過子進程向客戶端發(fā)送 JPEG圖像數(shù)據(jù)： if((size=(yuv420p_to_jpeg(&imagebmp,imageptr,640,480,20)))<0) { printf("Error:write jpeg error!");

}

if(!fork())

{

if(revbuf[5]==' ')

send(nsockfd, imagebmp, size, 0);

}

　　這樣，當系統(tǒng)運行時，通過設置 PC機的 IP地址（與系統(tǒng) IP地址在同一網(wǎng)段內(nèi)），在 PC機的 IE瀏覽器內(nèi)輸入以下 IP地址：http://192.168.0.232:81/，將看到圖像格式為 JPEG的圖片。通過刷新，可以更新圖像。

5.播放視頻流

　　為了播放實時視頻，可以通過在目標板的 ARM Linux系統(tǒng)中移植一個視頻服務器的應用程序來實現(xiàn)。Webcam[6][7]是一個比較常用的的視頻應用程序，通過網(wǎng)絡下載 webcam_server的 Linux版本： webcam_server-0.50.tar.gz，它是基于 GNU架構(gòu)之下的，完全免費，源碼開放。解壓后執(zhí)行./configure，生成 Makefile文件。修改當前目錄和 src目錄下的 Makefile的 CC為/usr/local/arm/3.4.3/bin/arm-linux-gcc，執(zhí)行 make，產(chǎn)生 webcam_server可執(zhí)行文件，把此應用程序加載到 270開發(fā)板上就可以使用了。

　　如果遠端客戶端是 Windows操作系統(tǒng)，下載 Active webcam的客戶端，并安裝。設置好 PC機的 IP地址（與系統(tǒng) IP地址在同一網(wǎng)段內(nèi)）后，啟動 Active webcam。選擇 Tools—>Create Web Page新建一個網(wǎng)頁瀏覽頁，并選中 settings，對視頻瀏覽的相關參數(shù)進行設置。具體設置為：Video Device選中 Network IP Camera；Preview Frame. Rate：8 frames per sec；Camera Model：Active WebCam HTTP Server；IP Adress or URL：192.168.0.232（即開發(fā)板的 IP地址）；Port：8888。整個設置完后，就可以搜索攝像頭，找到攝像頭后，就能在相應的 PC機上動態(tài)顯示攝像頭采集的圖像信息，如圖 1所示，畫面清晰，圖像采樣大小為 320×240。點擊記錄按鈕，還能將采集到的動態(tài)視頻以 .AWLive的文件格式保存到

　　C:\Program Files\Active WebCam\Gallery目錄下，文件類型為： Active WebCam Video Record，雙擊該文件能進行自動播放。

　　如果遠端客戶端是 Linux操作系統(tǒng)，可以使用 java applet進行視頻流播放，需要在 Linux主機上安裝 jdk環(huán)境，可從 Sun公司的 Java網(wǎng)站上下載 JDK1.6的 Linux版本： jdk-6u11-linux-i586-rpm.bin，先為該文件增加可執(zhí)行權限： chmod a+x jdk-6u11-linux-i586-rpm.bin，然后對該文件進行自解壓： ./ jdk-6u11-linux-i586-rpm.bin，將自動進行安裝，在 /usr/java目錄下生成了 java環(huán)境，設定相關的環(huán)境變量： export PATH=/usr/java/jdk1.6.0_11/bin:$PATH，為了讓瀏覽器找到這個 Java Plug-in，必須將環(huán)境參數(shù) NPX_PLUGIN_PATH指到文件 javaplugin.so所在的目錄： export NPX_PLUGIN_PATH=/usr/java/ jdk1.6.0_11/jre/plugin/i386/ns7。設置完后，可以使用 java applet程序播放視頻流，具體命令為：java –classpath applet.jar:/usr/java/ jdk1.6.0_11/lib/tool.jar

　　WebCam 192.168.0.232 8888。這時，在 Linux主機上可以獲取 usb camera采集的視頻流，并產(chǎn)生動態(tài)鏈接的畫面，如圖2所示，畫面清晰，圖像采樣大小為 320×240，速率能達到 8幀/秒，動態(tài)刷新效果良好。

6.結(jié)束語

　　本文討論了基于 PXA270和嵌入式 Linux操作系統(tǒng)下 Web服務器中視頻圖片壓縮及其傳輸?shù)膶崿F(xiàn)方法，并通過移植 Webcam_server及其相應軟件，客戶端可以完成對遠程的視頻圖像的采集和動態(tài)顯示。由于該系統(tǒng)的核心工作采用高性能嵌入式微處理器完成，因此該系統(tǒng)具有結(jié)構(gòu)簡單、性能穩(wěn)定、成本低廉等優(yōu)點。該技術具有通用性，應用范圍相當廣，可以作為簡單的安全監(jiān)控、遠程現(xiàn)場監(jiān)控等應用，同時，在機器人監(jiān)控系統(tǒng)、視頻電話、遠程教學等應用中也有一定的應用前景。

　　本文創(chuàng)新點：

對原始采集的視頻圖像信號進行 JPEG壓縮后，自主設計 Webserver對其進行網(wǎng)絡傳輸；

利用 Webcam_server分別在 Linux和 Windows操作系統(tǒng)下進行網(wǎng)絡實時視頻采集與傳輸。

共 2 頁： 1 2

維庫開發(fā)網(wǎng)