隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，高性能的相機(jī)模塊成為了自動(dòng)駕駛車輛中不可或缺的一部分。GMSL（GigE Vision and Machine Vision Link）相機(jī)是一種廣泛用于機(jī)器視覺領(lǐng)域的相機(jī)模塊，具有高分辨率、高幀率和低延遲等優(yōu)點(diǎn)。在NVIDIA Jetson AGX Orin上部署GMSL相機(jī)，可以為自動(dòng)駕駛車輛提供更強(qiáng)大的視覺感知能力。
本文將介紹GMSL相機(jī)在Jetson AGX Orin上的部署步驟，包括硬件連接、驅(qū)動(dòng)程序安裝、相機(jī)配置和應(yīng)用程序開發(fā)等方面。
硬件清單：
1、NVIDIA Jetson Agx Orin 開發(fā)套件
2、Leetop GMSL相機(jī)轉(zhuǎn)接板 1715
3、GMSL相機(jī)
一、硬件連接
首先，需要將1715、GMSL相機(jī)與Jetson AGX Orin進(jìn)行連接。由于AGX Orin套件的接口板上并未將GMSL相機(jī)接口引出，所以需要需要Leetop-1715將接口轉(zhuǎn)接出來，同時(shí)還需要為相機(jī)提供穩(wěn)定的電源供應(yīng)。
二、驅(qū)動(dòng)程序安裝及配置
安裝完驅(qū)動(dòng)程序后，需要對(duì)相機(jī)進(jìn)行配置，以便使其能夠滿足特定應(yīng)用的需求。這包括設(shè)置相機(jī)的工作模式、分辨率、幀率等參數(shù)。可以通過修改配置文件或使用制造商提供的工具進(jìn)行配置。在配置過程中，需要注意確保相機(jī)的參數(shù)設(shè)置與應(yīng)用程序的需求相匹配。
下載gmsl_camera.ko到Jetson AGX Orin，并使用腳本進(jìn)行驅(qū)動(dòng)的加載和相機(jī)的配置，進(jìn)入
Jetson AGX Orin的Ubuntu環(huán)境，并打開控制臺(tái)（假設(shè)把驅(qū)動(dòng)程序和配置腳本安裝在HOME目錄下），運(yùn)行配置腳本：
GMSL可以同時(shí)連接8路相機(jī)，yt-ox08b40-h.sh是8MP-YUV422相機(jī)的配置腳本（不同的相機(jī)可能對(duì)應(yīng)不同的配置腳本），配置腳本檢測(cè)并加載GMSL相機(jī)驅(qū)動(dòng)，并完成GMSL參數(shù)的配置。
腳本的運(yùn)行參數(shù)說明如下：
yt-ox08b40-h.sh 30 # 配置相機(jī)掛載控制總線30，配置第1、2路相機(jī)，默認(rèn)為30
yt-ox08b40-h.sh 31 # 配置相機(jī)掛載控制總線31，配置第3、4路相機(jī)
yt-ox08b40-h.sh 32 # 配置相機(jī)掛載控制總線32，配置第5、6路相機(jī)
yt-ox08b40-h.sh 33 # 配置相機(jī)掛載控制總線30，配置第7、8路相機(jī)
第1~8路相機(jī)對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)為/dev/video0~/dev/video7，如果檢測(cè)到第1，和第5路相機(jī)，那么就對(duì)應(yīng)操作/dev/video0和/dev/video4。
在上圖中，檢測(cè)30-0地址的相機(jī)失敗，說明該相機(jī)沒有正常連接，而30-1成功，說明正常檢測(cè)到第2路相機(jī)（對(duì)應(yīng)設(shè)備節(jié)點(diǎn)為/dev/video1），其它相機(jī)的檢測(cè)以此類推。
可以使用以下命令來檢測(cè)相機(jī)驅(qū)動(dòng)的加載情況：
如果硬件連接和設(shè)備沒有問題，那么就可以正常的輸出圖像。
GMSL相機(jī)一般輸出YUV422圖像，分辨率和幀頻都由相機(jī)來確定，不可設(shè)置。例如對(duì)于該測(cè)試的相機(jī)，分辨率為3860x2160，幀頻為30幀/秒，輸出的圖像格式是UYVY。
四、應(yīng)用程序開發(fā)
完成相機(jī)配置后，可以開始開發(fā)應(yīng)用程序來獲取和處理相機(jī)的圖像數(shù)據(jù)。在開發(fā)過程中，需要使用相應(yīng)的軟件開發(fā)包（SDK）和編程語言（如C++或Python）。SDK通常會(huì)提供一系列函數(shù)和工具，以便讓開發(fā)者能夠方便地訪問和控制相機(jī)。可以使用SDK提供的函數(shù)來讀取相機(jī)的圖像數(shù)據(jù)，并在處理后將其傳輸?shù)阶詣?dòng)駕駛車輛的控制系統(tǒng)或其他模塊中。
對(duì)應(yīng)相機(jī)的開發(fā)，使用Linux的V4L2標(biāo)準(zhǔn)調(diào)用即可，關(guān)鍵的問題是找到對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)，并根據(jù)相機(jī)的分辨率，圖像格式來進(jìn)行圖像的操作。
六、總結(jié)
本文介紹了GMSL相機(jī)在Jetson AGX Orin上的部署步驟，包括硬件連接、驅(qū)動(dòng)程序安裝、相機(jī)配置等方面。通過按照這些步驟進(jìn)行操作，可以成功地將GMSL相機(jī)集成到Jetson AGX Orin系統(tǒng)中，并使其為自動(dòng)駕駛車輛提供強(qiáng)大的視覺感知能力。需要注意的是，在部署過程中需要仔細(xì)檢查每個(gè)步驟的正確性，并根據(jù)實(shí)際應(yīng)用需求進(jìn)行相應(yīng)的調(diào)整和優(yōu)化。