- 曙海教育集團論壇 (http://www.adgdgn.cn/bbs/index.asp)
-- Linux驅動開發 (http://www.adgdgn.cn/bbs/list.asp?boardid=33)
---- Linux系統下USB攝像頭驅動開發 (http://www.adgdgn.cn/bbs/dispbbs.asp?boardid=33&id=1714)
-- 發布時間：2010-11-24 9:53:39
-- Linux系統下USB攝像頭驅動開發
USB攝像頭以其良好的性能和低廉的價格得到廣泛應用。同時因其靈活、方便的特性，易于集成到嵌入式系統中。但是如果使用現有的符合Video for Linux標準的驅動程序配合通用應用程序，難以充分利用USB帶寬，幀速不高，不易滿足實時監控等要求。本文首先介紹在Linux系統下USB攝像頭驅動編制的一般方法，然后說明在此基礎上如何提高幀速。
1 Linux系統中的USB攝像頭驅動程序
USB設備驅動程序完全符合通用設備驅動的準則，不同的是內核提供了一些特別的API函數，方便驅動注冊、銷毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內核還提供了對于hotplug的支持。
1．1 USB攝像頭驅動的一般編寫方法
攝像頭屬于視頻類設備。在目前的Linux核心中，視頻部分的標準是Video for Linux(簡稱V4L)。這個標準其實定義了一套接口，內核、驅動、應用程序以這個接口為標準進行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內容，USB攝像頭也屬于它支持的范疇。
因此，USB攝像頭的驅動應當與內核提供的視頻驅動掛鉤。即首先在驅動中聲明一個video_device結構，并為其指定文件操作函數指針數組．fops，向系統注冊。在應用程序發出文件操作的相關命令時，核心根據這些指針調用相應函數，并將該結構作為參數傳遞給它們。這樣，就完成了驅動和核心之間的通信。例如：
static struct video_device vdev_template＝{……}；
／／聲明video_device，指出掛接驅動
static struct file_operations ov511_fops＝{……}；
／／聲明本驅動的文件操作函數指針
struct video_device*vdev＝video_devdata(file)；
／／從文件指針中提取出video_device結構
在video_device結構中，有一個私有指針priv，可以將它指向一塊保留內存。在這塊內存中，保存著本驅動、本設備的相關初始化信息。這塊內存的申請、初始化、指針指向等工作都是在USB驅動的枚舉函數.probe中完成。這樣，在枚舉函數將控制權返還給系統后，因為內核不銷毀保留內存，所以驅動仍然保留著自己的信息。這點與Windows系統中WDM驅動有異曲同工之處。當然，在驅動卸載函數中，應當將申請的各塊內存全部釋放。
1．2 使用雙URB輪流通信
眾所周知，USBl．1總線標準定義了控制、中斷、批量、等時等四種管道。對于時間性極強但是準確度要求不高的視頻捕捉應用來說，攝像頭應當使用等時傳輸方式。為了盡可能快地得到圖像數據，應當在URB中指定USB_ISO_ASAP標志。
urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發出本URB
Linux系統中任何USB傳輸都通過URB實現。為提高速度，可以考慮擴大URB的緩沖，這樣可以降低每個USB事務中握手信息所占比例，提高有效數據的傳輸速度。但是受限于總線帶寬和具體的USB設備芯片，單純擴大URB的緩沖不能無限制地解決問題。具體分析一下USB傳輸在操作系統中的實現：每次傳輸都要包括URB的建立、發出、回收、數據整理等階段，這些時間不產生有效數據。因此可以建立兩個URB，在等待一個URB被回收時，也就是圖像正在被傳感器采集時，處理、初始化另一個URB，并在回收后立刻將其發出。兩個URB交替使用，大大減少了額外時間。工作流程如圖1所示。
這個過程是在URB的完成例程中實現的，有兩點需要注意：首先處理再次初始化的代碼時間不能長，否則會造成完成例程的重人，如果確實來不及，可以在完成例程中設定標志，例如“數據采集好”旗語，由應用程序使用阻塞ioctl()來查詢該旗語并做處理；其次由于CPU可能會在完成例程中停留較長時間，系統負擔較大，可以在．open函數中初始化兩個URB并將其發出，有限度地減輕系統負擔。
1．3 使用雙幀緩沖提高效率
Linux系統中，文件操作通常是由read、write等系統調用來完成。這些系統調用在驅動中的解決方法就是用copy_to_user()、copy_from_user()等函數在核態、戶態內存空間中互相拷貝。但是對于大批量的圖像數據，采用拷貝的方法顯然會增加時間開銷，因此用內存映射的方法解決。首先使用vmalloc()申請足夠大的核態內存，將其作為圖像數據緩沖空間，兩個URB帶回的圖像數據在這里暫存；然后使用remap_page_range()函數將其逐頁映射到用戶空間中。戶態的圖像處理程序使用mmap()函數，直接讀寫核態圖像緩沖內存，大大減少額外開銷。
[ 相關貼圖 ]
[ 相關貼圖 ]
摘要：介紹了在Iinux系統下開發符合Video for Linux標準的USB攝像頭驅動的方法，并對該標準提出“不間斷采集”的改進思路，配合雙URB、雙幀緩沖等方法，提高采集速度。
關鍵詞：Linux設備驅動 USB攝像頭 Video for Linux 不間斷采集
USB攝像頭以其良好的性能和低廉的價格得到廣泛應用。同時因其靈活、方便的特性，易于集成到嵌入式系統中。但是如果使用現有的符合Video for Linux標準的驅動程序配合通用應用程序，難以充分利用USB帶寬，幀速不高，不易滿足實時監控等要求。本文首先介紹在Linux系統下USB攝像頭驅動編制的一般方法，然后說明在此基礎上如何提高幀速。
1 Linux系統中的USB攝像頭驅動程序
USB設備驅動程序完全符合通用設備驅動的準則，不同的是內核提供了一些特別的API函數，方便驅動注冊、銷毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內核還提供了對于hotplug的支持。
1．1 USB攝像頭驅動的一般編寫方法
攝像頭屬于視頻類設備。在目前的Linux核心中，視頻部分的標準是Video for Linux(簡稱V4L)。這個標準其實定義了一套接口，內核、驅動、應用程序以這個接口為標準進行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內容，USB攝像頭也屬于它支持的范疇。
因此，USB攝像頭的驅動應當與內核提供的視頻驅動掛鉤。即首先在驅動中聲明一個video_device結構，并為其指定文件操作函數指針數組．fops，向系統注冊。在應用程序發出文件操作的相關命令時，核心根據這些指針調用相應函數，并將該結構作為參數傳遞給它們。這樣，就完成了驅動和核心之間的通信。例如：
static struct video_device vdev_template＝{……}；
／／聲明video_device，指出掛接驅動
static struct file_operations ov511_fops＝{……}；
／／聲明本驅動的文件操作函數指針
struct video_device*vdev＝video_devdata(file)；
／／從文件指針中提取出video_device結構
在video_device結構中，有一個私有指針priv，可以將它指向一塊保留內存。在這塊內存中，保存著本驅動、本設備的相關初始化信息。這塊內存的申請、初始化、指針指向等工作都是在USB驅動的枚舉函數.probe中完成。這樣，在枚舉函數將控制權返還給系統后，因為內核不銷毀保留內存，所以驅動仍然保留著自己的信息。這點與Windows系統中WDM驅動有異曲同工之處。當然，在驅動卸載函數中，應當將申請的各塊內存全部釋放。
1．2 使用雙URB輪流通信
眾所周知，USBl．1總線標準定義了控制、中斷、批量、等時等四種管道。對于時間性極強但是準確度要求不高的視頻捕捉應用來說，攝像頭應當使用等時傳輸方式。為了盡可能快地得到圖像數據，應當在URB中指定USB_ISO_ASAP標志。
urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發出本URB
Linux系統中任何USB傳輸都通過URB實現。為提高速度，可以考慮擴大URB的緩沖，這樣可以降低每個USB事務中握手信息所占比例，提高有效數據的傳輸速度。但是受限于總線帶寬和具體的USB設備芯片，單純擴大URB的緩沖不能無限制地解決問題。具體分析一下USB傳輸在操作系統中的實現：每次傳輸都要包括URB的建立、發出、回收、數據整理等階段，這些時間不產生有效數據。因此可以建立兩個URB，在等待一個URB被回收時，也就是圖像正在被傳感器采集時，處理、初始化另一個URB，并在回收后立刻將其發出。兩個URB交替使用，大大減少了額外時間。工作流程如圖1所示。
這個過程是在URB的完成例程中實現的，有兩點需要注意：首先處理再次初始化的代碼時間不能長，否則會造成完成例程的重人，如果確實來不及，可以在完成例程中設定標志，例如“數據采集好”旗語，由應用程序使用阻塞ioctl()來查詢該旗語并做處理；其次由于CPU可能會在完成例程中停留較長時間，系統負擔較大，可以在．open函數中初始化兩個URB并將其發出，有限度地減輕系統負擔。
1．3 使用雙幀緩沖提高效率
Linux系統中，文件操作通常是由read、write等系統調用來完成。這些系統調用在驅動中的解決方法就是用copy_to_user()、copy_from_user()等函數在核態、戶態內存空間中互相拷貝。但是對于大批量的圖像數據，采用拷貝的方法顯然會增加時間開銷，因此用內存映射的方法解決。首先使用vmalloc()申請足夠大的核態內存，將其作為圖像數據緩沖空間，兩個URB帶回的圖像數據在這里暫存；然后使用remap_page_range()函數將其逐頁映射到用戶空間中。戶態的圖像處理程序使用mmap()函數，直接讀寫核態圖像緩沖內存，大大減少額外開銷。
[ 相關貼圖 ]
注意到圖2、圖3，兩種“判斷有無新請求”的不同，即可發現新方法假定一直有請求，因此不丟棄每個URB帶回的數據，輪流保存在兩個幀緩沖內。
V4L已經作為約定俗成的標準被內核支持，因此如果使用全新的參數，工作量將相當巨大，并且不能和現有的應用程序兼容。考慮到現有的圖像采集應用程序使用VIDIOCMCAPTURE作為參數，并提供幀序號，要求驅動將圖像保存到指定序號的幀緩沖內。由于驅動通常僅僅提供幾幀緩沖，因此該序號不會大于某個數字，如10。因此可以繼續使用VIDIOCMCAPTURE參數，搭配較大的序號來表示新增的功能，例如用10000和10001來分別表示開始和停止緩沖圖像數據的要求。驅動在收到VIDIOCMCAPTURE要求后，檢查這個序號。如果小于10000，則按照正常的方法處理，否則按照改進方法。這種思路可以有效解決兼容性問題。
2．3 實驗結果
在賽揚366、USBl．1接口的計算機平臺上，采用上述不間斷采集改進V4L標準，配合雙URB、雙幀緩沖等方法后，幀速提高兩倍有余，有效數據傳輸速度達960KB／s，接近等時傳輸方式下USB總線的帶寬極限。