準(zhǔn)確而穩(wěn)健的傳感器標(biāo)定結(jié)果被視為自動(dòng)駕駛和機(jī)器人領(lǐng)域后續(xù)研究的重要基礎(chǔ)。當(dāng)前涉及3D LiDAR和單目攝像機(jī)之間外參標(biāo)定的工作主要集中在基于目標(biāo)和無目標(biāo)的方法上，基于目標(biāo)的方法通常在離線情況下使用，因?yàn)榇嬖谝恍┫拗?，比如需要設(shè)計(jì)額外的目標(biāo)和目標(biāo)放置的限制。目前的無目標(biāo)方法在不同環(huán)境中存在特征不確定性和特征不匹配的問題。為了緩解這些限制，我們提出了一種基于在3D空間中使用遮擋關(guān)系進(jìn)行的2D-3D邊緣點(diǎn)提取的新型無目標(biāo)標(biāo)定方法?；谔崛〉?D-3D點(diǎn)對(duì)，我們進(jìn)一步提出了一種遮擋引導(dǎo)的點(diǎn)匹配方法，提高了標(biāo)定的準(zhǔn)確性并降低了計(jì)算成本。為驗(yàn)證我們方法的有效性，我們在來自KITTI數(shù)據(jù)集的實(shí)際圖像上定性和定量評(píng)估了方法的性能。結(jié)果表明該方法優(yōu)于現(xiàn)有的無目標(biāo)方法，實(shí)現(xiàn)了低誤差和高魯棒性，有助于提升相機(jī)-LiDAR標(biāo)定的實(shí)際應(yīng)用效果。

本文提出了一種新穎的無目標(biāo)外參標(biāo)定方法，利用統(tǒng)一的2D-3D遮擋特征在各種場景中實(shí)現(xiàn)了穩(wěn)健的估計(jì)。對(duì)于在攝像機(jī)圖像上進(jìn)行特征提取，我們先前的工作[15]引入了像素對(duì)遮擋關(guān)系的概念，并允許我們提取帶有空間遮擋信息的圖像邊緣點(diǎn)。在這項(xiàng)工作中，根據(jù)遮擋關(guān)系定義利用LiDAR點(diǎn)云上的3D遮擋邊緣提取，并開發(fā)了一種使用提取的2D-3D點(diǎn)對(duì)的新型標(biāo)定方法。此外遮擋關(guān)系為更健壯的跨模態(tài)特征關(guān)聯(lián)提供了有價(jià)值的指導(dǎo)，能夠容忍來自相機(jī)-LiDAR外參初始猜測的更大誤差，與在實(shí)際數(shù)據(jù)集KITTI上評(píng)估的先前工作相比，所提出的方法提高了相機(jī)-LiDAR外參標(biāo)定的準(zhǔn)確性和泛化能力。這項(xiàng)工作的主要貢獻(xiàn)包括：

• 基于遮擋關(guān)系設(shè)計(jì)了一種系統(tǒng)的相機(jī)-LiDAR外參標(biāo)定流程，它可用于在線場內(nèi)標(biāo)定，無需外參標(biāo)定目標(biāo)。

• 提出了一種新穎的點(diǎn)云特征提取方法和相應(yīng)的2D-3D邊緣特征匹配方法，所提出的方法利用定向遮擋信息減少了特征配準(zhǔn)不匹配，并對(duì)不完美的特征提取具有魯棒性。

• 在合成和實(shí)際數(shù)據(jù)集上的實(shí)驗(yàn)證明了所提出方法的有效性，包括消融實(shí)驗(yàn)證明和對(duì)準(zhǔn)確性、魯棒性和泛化能力的檢查。將會(huì)發(fā)布我們的代碼和數(shù)據(jù)集。

圖1. 所提方法的示意圖：(a) 所提出使用對(duì)齊的2D-3D遮擋邊緣點(diǎn)對(duì)來估計(jì)相機(jī)C和LiDAR L之間的外部TCL；(b) 在遮擋方向引導(dǎo)下的2D-3D特征匹配。彩色像素是從圖像中提取的遮擋邊緣特征點(diǎn)，彩色圓圈是從失標(biāo)定的LiDAR中提取的點(diǎn)云遮擋邊緣特征點(diǎn)，綠色和紅色分別代表左右遮擋方向。藍(lán)線表示具有相同遮擋方向的特征之間的數(shù)據(jù)關(guān)聯(lián)（例如，左遮擋邊緣）；(c) 使用估計(jì)的外參將LiDAR點(diǎn)云投影到圖像上。

本節(jié)詳細(xì)介紹了提出的Camera-LiDAR外參校準(zhǔn)方法，該流程包括三個(gè)步驟：首先，為RGB圖像訓(xùn)練P2ORNet神經(jīng)網(wǎng)絡(luò)以進(jìn)行逐像素遮擋邊緣識(shí)別，并從給定的點(diǎn)云中提取3D遮擋邊緣。然后提出了一種在2D像素和3D點(diǎn)之間指定透視n點(diǎn)（PnP）問題的遮擋引導(dǎo)匹配策略。最后通過優(yōu)化點(diǎn)到線的投影重投影誤差，最終獲得外參校準(zhǔn)矩陣。圖2概述了提出的框架。

圖2. 所提方法的架構(gòu)，該方法首先從輸入的2D-3D數(shù)據(jù)中提取2D-3D遮擋邊緣特征點(diǎn)，然后應(yīng)用遮擋引導(dǎo)的特征匹配將它們對(duì)齊。隨后在匹配的2D-3D點(diǎn)對(duì)上進(jìn)行優(yōu)化，以恢復(fù)攝像機(jī)和LiDAR之間的外參。左右遮擋邊緣點(diǎn)以綠色和紅色著色，而上下遮擋邊緣點(diǎn)以黃色和藍(lán)色著色，為了清晰起見，圖2D-3D特征匹配模塊中僅可視化左右遮擋邊緣。

2D-3D點(diǎn)對(duì)定義

通過考慮表面之間的遮擋關(guān)系，定義了遮擋邊緣特征點(diǎn)，這些特征點(diǎn)位于遮擋和非遮擋表面之間的邊界區(qū)域。通過為每個(gè)像素對(duì)分配方向，形成了不同方向的遮擋邊緣特征點(diǎn)，然后正式定義了每個(gè)2D-3D點(diǎn)對(duì)，由LiDAR捕獲的3D特征點(diǎn)和攝像機(jī)捕獲的2D特征點(diǎn)組成，這個(gè)定義是文章后續(xù)Camera-LiDAR外參標(biāo)定方法的基礎(chǔ)。

圖3. 2D-3D遮擋邊緣點(diǎn)對(duì)定義的示意圖：(a) 圖像左側(cè)遮擋邊緣區(qū)域以綠色標(biāo)示，對(duì)應(yīng)的2D遮擋邊緣點(diǎn)和3D遮擋邊緣點(diǎn)，(b) 圖像左右遮擋邊緣和上下遮擋邊緣在存在三個(gè)對(duì)象1、2、3并發(fā)生遮擋的場景中。

圖像中的遮擋邊緣提取

8鄰域連接：

•  每個(gè)圖像像素qi具有8個(gè)直接相鄰像素，包括4個(gè)水平/垂直相鄰像素和4個(gè)對(duì)角線相鄰像素。

• 一個(gè)圖像像素可以與其8個(gè)相鄰像素配對(duì)形成8個(gè)像素對(duì)。

2D遮擋邊緣估計(jì)：

• 3D中的表面對(duì)遮擋關(guān)系在2D中表示為像素對(duì)遮擋關(guān)系。

• 對(duì)于每個(gè)有效的圖像像素對(duì)（qi，qj），神經(jīng)網(wǎng)絡(luò)P2ORNet對(duì)三種關(guān)系狀態(tài)進(jìn)行分類。

• 估計(jì)的圖像遮擋邊緣位于P2ORNet預(yù)測存在遮擋的像素對(duì)之間的圖像區(qū)域。

遮擋邊緣特征點(diǎn)集合：

• 選擇沿圖像的水平/垂直軸連接的像素對(duì)作為2D中的遮擋邊緣點(diǎn)。

• 生成左右（L，R）和上下（U，B）遮擋邊緣。

• 使用方向D標(biāo)記圖像2D遮擋邊緣特征點(diǎn)集合。

網(wǎng)絡(luò)訓(xùn)練：

• P2ORNet使用平衡分類交叉熵?fù)p失進(jìn)行訓(xùn)練。

• 考慮到圖像遮擋邊緣上低類頻率的像素。

總體這一步驟旨在通過圖像處理提取激光雷達(dá)和攝像機(jī)之間的遮擋關(guān)系，為后續(xù)的外參校準(zhǔn)提供基礎(chǔ)。

圖4. 無效特征對(duì)的示例，綠色/紅色菱形：點(diǎn)云邊緣點(diǎn)，綠色/紅色線條：檢測到的圖像遮擋邊緣，藍(lán)色線條：接受的匹配，(a)中的黃色線條：由于缺失圖像邊緣導(dǎo)致的無效角度匹配，(b)中的粉色線條：LiDAR 特征與尖銳圖像邊緣曲線匹配并變?yōu)闊o效。

LiDAR 特征提取

LiDAR提供了確定掃描幀之間距離差異的信息，使得3D 遮擋邊緣特征提取比2D圖像更直觀，水平遮擋邊緣特征通過遍歷掃描的每個(gè)圈，一旦它們與同一圈上的相鄰光束斷開連接，將該點(diǎn)標(biāo)記為遮擋特征來提取，垂直遮擋邊緣特征以相同的方式提取，通過遍歷 LiDAR 的每一列并與其垂直相鄰的光束進(jìn)行比較。隨后考慮到位于地平面上的點(diǎn)幾乎不可能是遮擋點(diǎn)，因此在原始點(diǎn)云上應(yīng)用 RANSAC（隨機(jī)樣本一致性）事先提取地平面的系數(shù)，在特征提取之后，將接近地平面系數(shù)的遮擋邊緣特征移除，然后對(duì)特征點(diǎn)云應(yīng)用半徑濾波以減少浮動(dòng)異常值。

外參標(biāo)定

遮擋引導(dǎo)特征匹配（OGM）：

• 利用遮擋方向改進(jìn)數(shù)據(jù)關(guān)聯(lián)，確保點(diǎn)云特征僅與具有相同遮擋方向的圖像特征匹配。

• 從四組圖像特征（QL、QR、QU和QB）構(gòu)建四個(gè)KD樹，將每個(gè)LiDAR特征投影到相機(jī)框架上。

• 使用幾何信息過濾掉異常匹配對(duì)，包括距離閾值、角度閾值和特征值比較。

• 匹配結(jié)果示例如圖5(a)，與沒有遮擋方向指導(dǎo)的匹配圖5(b)和僅使用圖像梯度提取的邊緣圖5(c)進(jìn)行對(duì)比。

圖5. 特征提取和匹配的比較：圖（a）展示了提出的特征匹配結(jié)果，圖像遮擋邊緣與具有相同遮擋方向的點(diǎn)云遮擋邊緣關(guān)聯(lián)。在圖（b）中，特征位置與（a）相同，但直接進(jìn)行匹配而沒有遮擋引導(dǎo)。在（b）中的放大窗口中，桿的所有左右點(diǎn)云特征錯(cuò)誤地匹配到右側(cè)圖像邊緣。圖（c）顯示了噪聲Canny邊緣的圖像，這與點(diǎn)云上3D邊緣的性質(zhì)不一致。

優(yōu)化：

• 通過遮擋方向改進(jìn)的2D-3D特征匹配問題被解釋為PnP問題。

• 定義殘差為垂直距離，采用Huber核平衡離群匹配權(quán)重，通過Levenberg-Marquardt方法優(yōu)化。

• 進(jìn)行nopt次優(yōu)化，第一次運(yùn)行設(shè)置較大的切割距離dc，然后在接下來的迭代中逐漸減小。

• 算法1總結(jié)了完整的優(yōu)化步驟，可接受來自多幅圖像的積累特征對(duì)作為輸入，確保效率和適應(yīng)性。

仿真數(shù)據(jù)集上的實(shí)驗(yàn)

在vKITTI2數(shù)據(jù)集中，LiDAR數(shù)據(jù)不可用，為了解決這個(gè)問題，使用深度圖像模擬部分LiDAR掃描，每個(gè)LiDAR光束由極坐標(biāo)中的方向角參數(shù)化，其范圍值從沿方向角追蹤的深度圖像區(qū)域中采樣，引入距離噪聲和角度擾動(dòng)以模擬傳感器噪聲，使用Velodyne HDL64和HDL32的制造設(shè)置渲染64線和32線的LiDAR數(shù)據(jù)，如圖6的第2行所示。

圖. 6. 仿真數(shù)據(jù)的示例

為了突顯方法的魯棒性，專注于驗(yàn)證當(dāng)網(wǎng)絡(luò)輸出不完美時(shí)的標(biāo)定性能。使用原始邊緣檢測結(jié)果作為基準(zhǔn)，通過在網(wǎng)絡(luò)輸出上使用隨機(jī)圓形補(bǔ)丁屏蔽邊緣，刪除x%的邊緣點(diǎn)來模擬網(wǎng)絡(luò)輸出不完美的情況。圖6(b)顯示了處理后的圖像，其中邊緣丟失率為25%。在序列1、2、6、20上進(jìn)行了測試，這些序列包含城市區(qū)域和高速公路上的駕駛場景。表I呈現(xiàn)了每個(gè)軸的平均絕對(duì)誤差及其相關(guān)的實(shí)驗(yàn)參數(shù)。

在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)

在真實(shí)的KITTI數(shù)據(jù)集上驗(yàn)證方法，使用Velodyne HDL-64 LiDAR和相機(jī)進(jìn)行了標(biāo)定、同步和去畸變校正，進(jìn)行了消融研究，并提供了相應(yīng)的分析。表II顯示了定量結(jié)果。

圖8顯示了一些標(biāo)定結(jié)果，包括數(shù)據(jù)集中的成功結(jié)果以及失敗案例。

圖8. KITTI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，細(xì)邊表示2D特征，而圓圈代表使用估計(jì)的外部變換投影的3D特征，所有圖像都經(jīng)過裁剪以獲得清晰的視圖。第1列和第2列是成功標(biāo)定外參的示例。請(qǐng)注意，邊緣檢測網(wǎng)絡(luò)在(c)和(d)中分別遭受過曝光和先前未知車輛的問題。而我們的方法能夠處理不理想的輸出。第3列顯示失敗的情況，因?yàn)檫吘墮z測結(jié)果不足。對(duì)于這兩個(gè)失敗的圖像，為了可視化，3D點(diǎn)云僅使用地面真值進(jìn)行投影。

本文提出了一種無目標(biāo)相機(jī)-LiDAR標(biāo)定方法，基于遮擋關(guān)系的概念引入了一種依賴于場景中自然的3D邊緣特征的魯棒的2D-3D數(shù)據(jù)關(guān)聯(lián)方法。在2D圖像中提取3D遮擋信息使我們有機(jī)會(huì)生成組織良好的圖像邊緣特征，并以簡單的方式將其與LiDAR點(diǎn)云特征對(duì)齊，此外該標(biāo)定方法對(duì)于2D或3D特征的部分丟失具有魯棒的性能。與端到端的標(biāo)定方法相比，所提出的方法使用神經(jīng)網(wǎng)絡(luò)提取圖像邊緣，但明確構(gòu)建特征對(duì)，并通過非線性優(yōu)化計(jì)算外參。這種混合架構(gòu)減少了統(tǒng)計(jì)偏差和跨數(shù)據(jù)集域差距的影響，在真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)證明，即使給定了去標(biāo)定的初始值，我們的方法在無目標(biāo)相機(jī)-LiDAR標(biāo)定方面始終優(yōu)于現(xiàn)有技術(shù)。