發(fā)布時間：2020-02-06所屬分類：科技論文瀏覽：1次
摘 要： 摘要以待標定魚眼相機近似垂直棋盤格獲取的單張影像為對象，綜合利用多種幾何約束分階段求解魚眼相機參數(shù)初值并進行全局優(yōu)化：利用魚眼圖像輪廓對稱性計算得到準確的相機主點位置(u0，v0)，并通過輪廓外接矩形掃描搜索巧妙回避了黑色背景下的輪廓點檢測困難;
摘要以待標定魚眼相機近似垂直棋盤格獲取的單張影像為對象，綜合利用多種幾何約束分階段求解魚眼相機參數(shù)初值并進行全局優(yōu)化：利用魚眼圖像輪廓對稱性計算得到準確的相機主點位置(u0，v0)，并通過輪廓外接矩形掃描搜索巧妙回避了黑色背景下的輪廓點檢測困難;精確擬合棋盤格兩組互相垂直平行直線在魚眼圖像上投影橢圓，計算橢圓交點并將其反投影到單位球面獲得平行直線滅點，根據(jù)滅點方向正交約束得到相機等效焦距初值(fx，fy)及旋轉(zhuǎn)矩陣角度初值;利用徑向?qū)始s束及棋盤格角點信息先線性求解平移矢量(tx，ty)初值，進而建立一元二次方程求解平移矢量tz初值，最后通過最小化棋盤格角點重投影誤差對除主點外的全部相機參數(shù)進行全局優(yōu)化，并利用優(yōu)化參數(shù)對魚眼圖像實施立方盒展開糾正。對海康威視兩種型號(視野范圍不同)定焦魚眼相機的標定及其影像糾正試驗結(jié)果表明，本文方法重投影均方根誤差(RMSE)小于1/3pixel，標定參數(shù)對魚眼圖像不同區(qū)域的平面透視糾正效果總體上較穩(wěn)健，中心區(qū)域糾正效果略優(yōu)于邊緣處，糾正影像上棋盤格角點直線擬合RMSE均小于0.7pixel，效果明顯優(yōu)于網(wǎng)上標定工具箱結(jié)果，具有較好的應用價值。
關(guān)鍵詞機器視覺;魚眼相機標定;魚眼圖像矯正;滅點;徑向?qū)始s束
1引言
魚眼鏡頭具有視角廣闊(接近甚至超過180°)、信息量豐富、體積小等優(yōu)點，是發(fā)展輕、小型全方位視覺系統(tǒng)的理想光學傳感器，在安全監(jiān)控、機器人導航、全景泊車等眾多領(lǐng)域具有極其廣泛的應用前景[1-2]。但由于鏡頭焦距短、視場大，以及光學原理約束，魚眼圖像存在嚴重桶形畸變，使用前需將其轉(zhuǎn)換成符合人眼視覺習慣的平面透視投影圖像，其前提是獲得與魚眼鏡頭光學成像模型相聯(lián)系的一套高精度參數(shù)[3-5]。
相關(guān)期刊推薦：《光學學報》Acta Optica Sinica(月刊)1981年創(chuàng)刊，是國內(nèi)外公開發(fā)行的光學學術(shù)刊物，反映中國光學科技的新概念、新成果、新進展。內(nèi)容主要包括量子光學、非線性光學、適應光學、纖維光學、激光與物質(zhì)相互作用、激光器件、全息和信息處理、光學元件和材料等。為我國光學科技人員與國內(nèi)外同行進行學術(shù)交流、開展學術(shù)討論以跟蹤學科前沿和發(fā)展我國光學事業(yè)服務。
魚眼鏡頭通常由10組以上、甚至多達幾十組的光學鏡片復雜組合而成，光路計算十分困難[6]，主要利用球面投影模型來表征其光學成像過程，從這一角度出發(fā)，現(xiàn)有魚眼相機標定方法可概略分為兩類：球面投影成像和非球面投影成像。球面投影成像類標定方法主要利用空間直線在球面上投影為一個大圓(或在魚眼圖像上的投影為橢圓弧)的幾何特性來求解模型參數(shù)，如假定空間直線平行于相機坐標系水平面并利用圓錐曲線方程來描述該空間直線在魚眼圖像上的投影———橢圓弧[7]，可從方程系數(shù)中分解出球面投影模型參數(shù)———球面直徑(橢圓長軸)和圖像光學中心(橢圓中心)，利用空間直線在球面上投影為一個大圓的限制對魚眼鏡頭內(nèi)部參數(shù)進行優(yōu)化[8]，該方法的潛在問題在于，僅利用了空間直線投影特性(球面大圓或圖像橢圓弧)求解參數(shù)，而未加入空間直線位置約束，因而獲得的參數(shù)是一種粗略估計;引用單位視球概念并以平面棋盤格為二維靶標[9-10]，先根據(jù)棋盤格角點在世界坐標系、球面坐標系，以及魚眼圖像坐標系下的坐標映射關(guān)系獲得參數(shù)初值，再綜合利用空間直線位置特性及其投影特性進行非線性優(yōu)化，模型參數(shù)求解精度高。但由于全局優(yōu)化中參數(shù)數(shù)量多，不準確的參數(shù)初值易使優(yōu)化陷入局部最優(yōu)。分兩步求解魚眼鏡頭內(nèi)部參數(shù)[11]，魚眼圖像上較多的標定控制點使得參數(shù)空間關(guān)系恢復計算更穩(wěn)健，不足之處在于高精度三維標定場建造較復雜且需不斷維護。初始階段利用直接線性變換(DLT)模型迭代求解球面變換半徑時，魚眼圖像到虛擬平面圖像的像素坐標轉(zhuǎn)換隱含主點位于圖像中心，其結(jié)果會影響到后一階段影像光學畸變系數(shù)計算，因此，對包括DLT系數(shù)在內(nèi)的全部相機參數(shù)進行全局優(yōu)化將更為合理。
非球面投影成像類標定方法的主要目的是利用標定參數(shù)對魚眼圖像進行平面透視幾何糾正，隱含利用了空間直線平面透視投影仍為直線這一幾何限制，如均采用通用光學圖像畸變模型對魚眼圖像進行矯正[12-13]，區(qū)別在于前者借鑒了空間直線球面透視投影特性，通過最小化目標函數(shù)———對應于同一條空間直線的球面點到相應擬合大圓的球面距離的平方和來獲得魚眼圖像徑向、切向畸變參數(shù)，后者則利用非線性畸變成像函數(shù)和非對稱光學系統(tǒng)原理建立了光線跟蹤下的魚眼鏡頭成像畸變模型，并通過曲線擬合獲得所需的徑向、切向畸變函數(shù)，兩種算法均采用高階畸變模型，計算復雜度高且假定鏡頭光學中心與圖像中心重合。本文提出利用多項式表示矯正前后像素點坐標之間的關(guān)系[14]，并通過最小二乘法求得多項式參數(shù)以實現(xiàn)魚眼圖像矯正，建立經(jīng)緯映射圖像關(guān)系[15]，將扭曲的半球魚眼圖像投射為普通照片的四方形狀。針對傳統(tǒng)經(jīng)緯矯正模型水平方向畸變大的問題[16]，提出一種水平/豎直雙經(jīng)度畸變矯正模型，通過正交投影策略將魚眼圖像映射到球面上，從而投射為以橫向、縱向雙經(jīng)度坐標為基礎的正方形平面圖像。這類方法的優(yōu)點在于標定參數(shù)計算過程簡單、復雜度低，但精度不高且無法獲得魚眼相機等效焦距等參數(shù)，不利于量測信息的獲取。其他非球面投影成像參數(shù)標定方法還包括：直接利用小孔成像模型對魚眼相機90°左右視場范圍先進行矯正[17]，再結(jié)合直線擬合及多視圖計算將矯正視場范圍擴展到180°，其優(yōu)點在于小孔模型實現(xiàn)簡單、適合人眼視覺效果且相機標定方便，不足之處在于要使用特殊的、非等間距的點陣模板，且需通過移動點陣模板位置來獲得魚眼圖像不同區(qū)域的矯正結(jié)果;以激光掃描儀獲取的三維點云為標定參照物[18]，利用線性DLT模型獲得小孔成像模型初值后進行全局優(yōu)化，其優(yōu)點在于以激光掃描儀內(nèi)置相機同步拍攝的光學圖像為橋梁有效解決了離散點云和魚眼圖像特征的自動相關(guān)問題，但需要考慮激光掃描儀與光學相機間的系統(tǒng)集成誤差以及點云柱面展開圖與魚眼球面投影圖間的像素坐標轉(zhuǎn)換誤差影響;在小孔成像模型基礎上引入魚眼鏡頭徑向、偏心，以及薄棱鏡光學畸變[19]，建立一種精確標定魚眼鏡頭成像立體視覺系統(tǒng)的方法，但其參數(shù)多達19個，存在過參數(shù)化問題，且需通過特定設備先對魚眼鏡頭光學中心進行標定。
2魚眼成像模型
本文魚眼成像采用球面透視投影模型，整個成像過程如圖1所示，經(jīng)4個階段從空間點變換到魚眼圖像像素坐標。
3幾何約束與初值估計
3.1圖像輪廓約束
理論上，當視野滿足180°，魚眼圖像上包含全部景物信息的有效像素將構(gòu)成一圓形區(qū)域，圓心位置對應相機光學中心(主點)[3]，但相機等效焦距fx≠fy導致的仿射變換效果以及非線性光學畸變的存在，使得該圓形區(qū)域?qū)⒆優(yōu)闄E圓�？紤]到視野不足180°導致魚眼圖像橢圓輪廓不完整且圖像有效區(qū)域外部為低灰度值的無效像素，這里分三步提取魚眼圖像橢圓輪廓，并得出相機主點參數(shù)值，過程如下。
1)二值化。取灰度閾值T=30，對魚眼圖像像素進行判斷：像素灰度值大于T則為輪廓點且置1，否則置0。顯然，當魚眼圖像中有黑色背景時，其(橢)圓形區(qū)域內(nèi)部也可能存在為0的像素，因此不能簡單認為魚眼圖像輪廓位于0和1像素的邊界處。
2)確定輪廓外接矩形。首先確定魚眼圖像輪廓外接矩形，其判斷依據(jù)在于：二值圖像中輪廓外接矩形邊界應為輪廓切線且邊界上灰度值1的像素點數(shù)為1。這里通過掃描、判斷矩形邊界上像素1的個數(shù)來克服圖像噪聲及輪廓形狀不完整導致的干擾[22]。
徑向畸變不改變魚眼圖像輪廓幾何對稱性，且對主點位置誤差改正為0，故可認為，隱含利用魚眼圖像精確輪廓及其對稱性計算得到相機主點位置為理想值，后續(xù)可不參與模型優(yōu)化計算，以減少未知數(shù)優(yōu)化個數(shù)，并在一定程度上避免參數(shù)相關(guān)，從而有利于優(yōu)化過程迭代收斂。
3.2直線滅點約束
以空間直線自身或其影像投影幾何特性為約束對相機參數(shù)進行估計、優(yōu)化，是相機標定常采用的方式，本文利用標定平面上兩組互相垂直平行直線的滅點信息得出相機等效焦距及旋轉(zhuǎn)矩陣參數(shù)初值。理想平面透視投影下，與影像相交的空間平行直線族在影像上的投影將會聚于一點———滅點[23]，在球面透視投影下，由于空間直線被映射為過投影中心的大圓，平行直線的滅點在球面上表現(xiàn)為一組大圓的兩個對跖交點，如圖4所示。
5實驗與分析
本文在PC機(英特爾E5-1620處理器&win10操作系統(tǒng)&VS2012編譯環(huán)境)下實現(xiàn)上述算法，算法驗證選用�？低暤膬煞N型號定焦魚眼相機：型號1(DS-2CD6362F-I)和型號2(DS-2CD2942F-I)，如圖5所示，前者視野滿足180°，傳感器尺寸1/1.8英寸(1英寸=2.54cm)，影像分辨率1280pixel×1280pixel;后者豎直方向視野不足180°，傳感器尺寸1/3英寸，影像分辨率1280pixel×960pixel。算法所需相互垂直的平行直線由繪制在LCD上的棋盤格得出(格網(wǎng)大小為M×N=11×11，間距為20.32mm)，圖6(a)和圖7(a)為待標定相機近距離拍攝獲得的棋盤格標定影像(下稱“標定影像”或“中間影像”)，圖6(b)和圖7(b)為待標定相機遠距離拍攝的室內(nèi)、外場景影像。
依據(jù)第2節(jié)的標定步驟，本文以棋盤格標定影像為對象，從中提取魚眼圖像輪廓外接矩形及圖像內(nèi)部橢圓進行參數(shù)初值計算，表1列出了待標定相機參數(shù)初值計算結(jié)果(k1，k2初值取0)。以型號1相機為例，圖8所示為魚眼圖像輪廓外接矩形提取及橢圓擬合示意，整體優(yōu)化后的投影橢圓相交于魚眼圖像內(nèi)部(視野接近180°時)，且兩兩交點集中分布，確保了橢圓交點的準確計算并有效反投影到單位球面上獲得對應平行直線的滅點矢量。以表1中參數(shù)初值為基礎全局優(yōu)化獲得的相機參數(shù)列于表2，棋盤格角點重投影均方根誤差(RMSE)小于1/3pixel，集中分布在0.5pixel以內(nèi)，最大約1pixel，如圖9所示，可以看出，標定結(jié)果具有較高精度。
現(xiàn)有魚眼相機標定方法在幾何成像過程、光學畸變模型選取，以及參數(shù)數(shù)量上存在差異，為便于比較，本文利用標定參數(shù)對魚眼圖像進行立方盒展開(平面透視糾正)，并以糾正圖像上的棋盤格角點直線擬合精度作為算法性能評價依據(jù)。為充分考查標定參數(shù)的穩(wěn)健性，待糾正的測試圖像通過旋轉(zhuǎn)、平移相機使棋盤格盡量成像于魚眼圖像四周邊緣得到。其中，相機Ⅰ共拍攝左、右、上、下4個方位測試影像，如圖10所示;相機Ⅱ因豎直方向視角較小，僅拍攝左、右兩個方位測試影像，如圖11所示。表3和表4為糾正影像(含測試圖像和標定圖像)上的棋盤格角點直線擬合RMSE，可以看出，本文算法標定參數(shù)對魚眼圖像不同區(qū)域糾正效果總體上較穩(wěn)健，中心區(qū)域糾正效果略優(yōu)于邊緣處。其中，相機Ⅰ的平均RMSE約為0.5pixel，相機Ⅱ的平均RMSE約為0.3pixel，兩者在糾正性能上的差別與其參數(shù)全局優(yōu)化精度差異相吻合。圖10和圖11分別為邊緣測試影像的立方盒展開結(jié)果，約160°視野(矩形框)具有較好的直線線性保持。
本文主要與網(wǎng)上標定工具箱方法結(jié)果進行對比，該工具箱計算原理來自文獻[3]，其像素徑向畸變計算方式不同于本文方法且額外增加了參數(shù)k3、k4，利用標定影像計算得到的工具箱相機標定參數(shù)如表5所示，利用工具箱標定參數(shù)對測試圖像進行立方盒展開獲得的棋盤格角點直線擬合誤差如表6和表7所示。對于型號1相機，對比表2和表5、表3和表6可知，本文方法與工具箱方法的標定精度RMSE一致(約為0.3pixel)，但在魚眼圖像平面透視糾正效果方面，本文方法的性能整體優(yōu)于工具箱參數(shù)，糾正影像上的棋盤格角點直線擬合平均精度本文方法約為0.5pixel，工具箱方法約為0.9pixel，精度提高約1倍。同時可以發(fā)現(xiàn)，本文方法對魚眼圖像邊緣區(qū)域的糾正性能優(yōu)勢更突出，4幅測試影像的直線擬合精度范圍為0.48～0.67pixel，而工具箱方法精度范圍則為0.74～1.36pixel，且直線擬合RMSE大于1pixel的影像達到三幅，對于魚眼圖像中間區(qū)域(標定影像)的糾正效果，本文方法略低于工具箱方法，但直線擬合精度也達到了0.4pixel，完全符合實際應用需要。由于重投影誤差是相機內(nèi)、外部參數(shù)綜合作用的結(jié)果，而魚眼圖像立方盒展開僅利用相機內(nèi)部參數(shù)，因此本文方法糾正性能優(yōu)于工具箱方法的原因在于，標定出的相機內(nèi)部參數(shù)更符合球面透視投影模型，也更適合于超大視角的魚眼圖像糾正處理。對于型號2相機，對比表2和表5、表4和表7可知，本文方法相比于標定工具箱方法不僅標定精度提高約1倍，對魚眼圖像的糾正性能優(yōu)勢更為顯著：單張糾正影像上的直線擬合精度本文方法均小于或接近1/3pixel，而工具箱方法即使對棋盤格位于中間區(qū)域的標定影像，其糾正后的直線擬合精度也超過0.6pixel，對棋盤格位于邊緣區(qū)域的測試影像，其糾正后的直線擬合精度則接近3pixel，已無法保持其直線特性。需要指出的是，對同一棋盤格拍攝獲取標定影像時，因型號1相機的豎直方向視角較小，為確保棋盤格完整成像于相機有效像素范圍，型號1相機距LCD屏幕相較于型號2相機更遠，其標定影像上的棋盤格也集中在徑向畸變影響小的圖像中心區(qū)域，也就是說型號1相機標定影像上的棋盤格角點重投影誤差理論上更小，據(jù)此而言，本文算法中型號2相機比型號1相機的標定精度高約1倍，與實際拍攝場景邏輯分析相符合，而工具箱方法兩相機標定結(jié)果則不能相互解釋充分，對比表5、表6和表7可以發(fā)現(xiàn)，其型號2相機標定精度略微優(yōu)于型號1相機(兩者基本一致)，但后者糾正影像上的直線擬合精度反而是前者的2～3倍，存在自相矛盾之處。圖9所示為利用兩組標定參數(shù)對室內(nèi)、外實際場景魚眼圖像的立方盒展開結(jié)果，從圖9可以看出，本文標定參數(shù)的圖像糾正視覺效果明顯優(yōu)于工具箱，工具箱型號2相機參數(shù)幾乎不能恢復糾正影像中直線特征，型號1相機參數(shù)對遠離圖像中心的區(qū)域糾正效果也不如本文標定參數(shù)，如圖9中橢圓、矩形標記區(qū)域。對相機標定精度、糾正影像上直線擬合精度以及兩者結(jié)果一致性比較表明，本文標定方法比工具箱方法更具穩(wěn)健性，標定參數(shù)可糾正的視野范圍更大且質(zhì)量更穩(wěn)定。
