隨著自動駕駛技術(shù)的飛速發(fā)展驶恨，行業(yè)對測試精度和安全性的要求也越來越高。與傳統(tǒng)的道路測試相比孕炒，虛擬仿真能夠模擬各種復雜的駕駛環(huán)境道婚，不受天氣、道路條件等因素限制仪但。自動駕駛系統(tǒng)需要依靠搭載的傳感器感知外界環(huán)境秩旬，識別道路標志、檢測行人自畔、估測物體距離等，從而做出安全村秒、精準的駕駛決策杨匕。鹤偶ⅲ克斯康作為自動駕駛汽車開發(fā)全鏈路測試方案的提供方，其VTD（Virtual Test Drive）軟件被廣泛應用于各類自動駕駛算法及汽車研發(fā)的測試工作中惰赋，該軟件在模擬高精度的交通仿真場景的同時宰掉，還兼具各類傳感器數(shù)據(jù)的物理仿真。

01  毫薇簦克斯康VTD Camera仿真概述        

自動駕駛仿真系統(tǒng)能夠?qū)鞲衅鲾?shù)據(jù)進行分析處理來感知周圍環(huán)境轨奄，并以此為依據(jù)進行決策。視覺感知是自動駕駛系統(tǒng)的關(guān)鍵技術(shù)拒炎，在傳感器仿真中挪拟，相機傳感器尤為重要』髂悖基于逼近真實道路場景的視覺環(huán)境玉组，VTD的相機傳感器能夠配置現(xiàn)實世界中真實相機的內(nèi)參外參，模擬鏡頭畸變丁侄、CMOS成像惯雳、ISP仿真等多種相機成像數(shù)據(jù)。不僅能夠模擬虛擬環(huán)境中的光照鸿摇、天氣曾罕、物體遮擋等因素，還可以還原真實相機的物理特性皮卸，更加貼近真實駕駛環(huán)境礼文，從而為自動駕駛測試中傳感器算法提供逼真的圖像數(shù)據(jù)。

02  Camera仿真的數(shù)據(jù)鏈路        

簡化相機模型

Camera=Lens+Cmos(raw,R/G/B)+ISP(Control+rgb/Yuv)+feature&noise(env&cam)

為了更加真實地模擬實際相機的物理過程吝寒，仿真相機傳感器的數(shù)據(jù)處理鏈路分為鏡頭皿完、CMOS傳感器、圖像信號處理（ISP）模塊办煞，以及特性和噪聲模擬四個主要部分狈馏，用以在仿真系統(tǒng)中再現(xiàn)真實相機的工作機制和輸出結(jié)果。

1害恋、鏡頭仿真與畸變模擬

鏡頭是光學系統(tǒng)的核心缘说，它決定了光線進入相機時的折射、聚焦和畸變赎丢。為了模擬真實相機鏡頭中的畸變效應劣零，VTD提供了lensDistortion工具，包含兩種畸變仿真方法：

方法一：基于OpenCV的參數(shù)化方法

該方法依賴于供應商提供的相機規(guī)格數(shù)據(jù)福压，通過OpenCV的畸變參數(shù)（如k1掏秩、k2、k3荆姆、p1蒙幻、p2）以及內(nèi)參矩陣參數(shù)（fx映凳、fy、cx邮破、cy）诈豌，結(jié)合相機的視場角（fov）和分辨率（resolution）等數(shù)據(jù)，進行畸變建模抒和。利用這些參數(shù)矫渔，我們可以重構(gòu)鏡頭中的幾何畸變效應，模擬圖像在不同鏡頭下的真實扭曲與變形情況摧莽。

方法二：基于實驗的擬合方法

在此方法中庙洼，我們使用實際的相機鏡頭進行拍攝實驗，通過實驗數(shù)據(jù)（如實際Fov范嘱、實際像高）結(jié)合理論值（理論像高送膳、畸變率、CMOS像素尺寸斤间、分辨率等參數(shù)）穆烹，利用多項式擬合出二者的對應關(guān)系。該過程模擬了真實相機鏡頭對圖像的影響稿棚，從而獲得最貼近真實情況的畸變效果败何。

2、CMOS仿真：

CMOS傳感器是相機的核心部件采缎，它將物理世界中的光信號轉(zhuǎn)換為電信號進行記錄诺骏。VTD通過模擬真實相機的CMOS功能模塊，準確再現(xiàn)相機在不同光照條件下的響應特性敌菩。

VTD開發(fā)了一套完整的圖像色彩轉(zhuǎn)換流程基恩，涵蓋從真實世界的圖像數(shù)據(jù)采集、仿真生成疏拱，到兩者之間的對比分析與調(diào)整斤杏。CMOS仿真主要為三通道RGB圖像到RAW圖像的轉(zhuǎn)換，通過數(shù)學擬合方法榕每，對真實相機拍攝的圖像與VTD渲染出的圖像之間的參數(shù)進行擬合調(diào)整腹呀。

針對特定的CMOS傳感器，我們支持基于實驗數(shù)據(jù)擬合的方式栏尚。在暗室環(huán)境中使用24色標準色卡進行拍攝實驗起愈，收集相機拍攝到的Raw圖數(shù)據(jù)，建立VTD渲染的RGB圖像到Raw數(shù)據(jù)之間映射關(guān)系译仗，將RGB圖像轉(zhuǎn)化為不同格式（如RCCC抬虽、YUV）的Raw圖像（如下圖），再現(xiàn)真實相機拍攝下的圖像信號特性。

后處理結(jié)果圖和Raw圖

3斥赋、ISP仿真：

ISP是實際相機中用于調(diào)整和優(yōu)化圖像質(zhì)量的模塊缰猴，通常包括自動曝光控制、白平衡調(diào)節(jié)疤剑、對比度調(diào)整等功能。在仿真世界里闷堡，ISP仿真模塊通過VTD中的后處理模塊實現(xiàn)隘膘。

VTD在圖像渲染過程中對每個像素的顏色、亮度及其他屬性進一步處理杠览，以模擬真實相機ISP的效果弯菊，可以調(diào)整圖像的曝光、白平衡牺缰，使得輸出圖像在這些參數(shù)上與真實相機圖像具有更加一致的色溫田蕴，為測試環(huán)境提供更為豐富真實的圖像。

曝光效果圖

白平衡效果圖

4醋咒、特性（feature）及噪聲（Noise）仿真：

特性是指因相機本身設(shè)計而對最終圖像造成的影響效果负稚，例如景深和動態(tài)模糊等。景深是和光圈大小晦苞，鏡頭焦距央改，CMOS像素尺寸都相關(guān)的一個特性，下圖展示了VTD中對于景深的仿真浊娄，可以看到距離最近的骰子相對模糊仑锥，而遠處的骰子和車相對清晰。

景深效果圖

噪聲是實際相機在工作過程中不可避免的現(xiàn)象矗夯，主要來源于自然環(huán)境（如樹葉遮擋德州、大霧、雨滴施翰、光暈窝革、灰塵等）和硬件缺陷（如傳感器噪聲、硬件劃痕见间、白平衡偏差等）聊闯。為了模擬真實噪聲效果，VTD提供了多種噪聲仿真方法米诉，通過調(diào)整物體材質(zhì)菱蔬、環(huán)境光照及后處理的著色器模塊等，逼真地再現(xiàn)了這些相機噪聲效果史侣。

太陽暈光

鏡頭雨滴

例如拴泌，在雨天場景中，仿真相機可以模擬雨滴打在鏡頭上的效果惊橱；在晴朗的白天蚪腐，太陽光照射到相機鏡頭上產(chǎn)生的光暈效果箭昵。此外，還可以加入人為的硬件噪聲模擬回季，如傳感器老化導致的圖像信號損壞或自動白平衡功能失效引起的色彩偏差家制。這些噪聲模擬的引入，增強了仿真系統(tǒng)在極端場景中的魯棒性測試能力泡一，使得自動駕駛算法在更加多樣性和復雜的環(huán)境中得到驗證裕消。

通過這條相機傳感器的數(shù)據(jù)處理鏈路，VTD能夠模擬相機從光線進入鏡頭肋森、經(jīng)過CMOS傳感器到ISP處理再到最終圖像輸出的全過程顶怠。這不僅使得相機仿真圖像在視覺上高度逼近現(xiàn)實，還為相機感知算法的開發(fā)和驗證提供了一個穩(wěn)定而逼真的測試平臺烈杠。

03  Camera語義分割圖仿真

語義分割圖是指對圖像中的像素點基于目標級別進行分類腻学，使每個像素點都有其對應于三維空間的目標從屬。語義分割圖對于基于視覺的感知算法進行后續(xù)工作起著重要作用跃百。VTD中可以根據(jù)不同的材質(zhì)/物體對渲染圖像進行語義分割券妹，通過加載colorSegmentation工程來實現(xiàn)，支持自定義配置贪焊。

左圖為原始圖玲院，右圖為對應的語義分割圖

深度圖

深度圖也被稱為距離影像，是指將圖像采集器到場景中各點的距離（深度）作為像素值的圖像惦肴。在深度數(shù)據(jù)流所提供的圖像幀中淡早，每個像素點表示在深度感應器視野中對應的坐標處物體離攝像頭平面最近的表面到該相機平面的距離。

上圖為VTD中的深度圖像截圖耳标，可以將此深度圖像的深度值z-buffer轉(zhuǎn)換為物體到相機平面的距離醇坝。z-buffer 值與物體表面到相機坐標系 xy 平面的距離關(guān)系如下：

z = 0.5*(f+n)/(f-n) + (-f*n)/(f-n) * (1/d) + 0.5

其中，z為z-buffer 值（歸一化為0~1）次坡，d為物體最近表面到相機坐標系 xy 平面的距離呼猪，n和f分別為 近裁剪面和遠裁剪面。z-buffer 值通常在0~1范圍內(nèi)砸琅。z-buffer 值為“0”的像素位于近裁剪面（near clip）上宋距，值為“1”的像素位于遠裁剪面（far clip）上。

多相機組  

在空間不同位置上配置多個相機症脂，從不同視角采集圖像或視頻數(shù)據(jù)谚赎，可以實現(xiàn)多視角同步顯示或三維空間投影等功能，滿足多種用戶仿真測試目標诱篷。

在VTD的多顯示器相機組中壶唤，可以單獨配置每個相機的內(nèi)參和外參，靈活調(diào)節(jié)相機的主軸、光心位置闸盔、成像平面等悯辙，達到工程實際應用的多種需求。下圖展示了相機視錐角度的計算過程满页。

04  總   結(jié)        

基于涸な穑克斯康提供的VTD虛擬仿真測試方案，在為用戶提供高質(zhì)量的虛擬交通場景圖像和對標真實相機參數(shù)的視覺模擬的同時裤困，還能為自動駕駛系統(tǒng)的測試和優(yōu)化提供重要的數(shù)據(jù)支持多蜕。同時結(jié)合VTD軟件基于光線追蹤技術(shù)的其他傳感器仿真方案（激光雷達、毫米波雷達等）巡雄，一起為自動駕駛仿真提供全方位的支持。

（合远克斯康工業(yè)軟件）

聲明：本網(wǎng)站所收集的部分公開資料來源于互聯(lián)網(wǎng)夹宏，轉(zhuǎn)載的目的在于傳遞更多信息及用于網(wǎng)絡分享，并不代表本站贊同其觀點和對其真實性負責楷芝，也不構(gòu)成任何其他建議檩耕。本站部分作品是由網(wǎng)友自主投稿和發(fā)布、編輯整理上傳裕砖，對此類作品本站僅提供交流平臺蜒鸣，不為其版權(quán)負責。如果您發(fā)現(xiàn)網(wǎng)站上所用視頻鸵隧、圖片绸罗、文字如涉及作品版權(quán)問題，請第一時間告知豆瘫，我們將根據(jù)您提供的證明材料確認版權(quán)并按國家標準支付稿酬或立即刪除內(nèi)容珊蟀，以保證您的權(quán)益！聯(lián)系電話：010-58612588 或 Email:editor@mmsonline.com.cn外驱。