發(fā)布時(shí)間：2020-03-12所屬分類：科技論文瀏覽：1次
摘 要： 摘要：針對(duì)傳統(tǒng)視覺(jué)系統(tǒng)視野有限的問(wèn)題，提出了一種基于環(huán)視系統(tǒng)的車位檢測(cè)方法。環(huán)視系統(tǒng)由S個(gè)魚眼相機(jī)構(gòu)成，對(duì)每個(gè)相機(jī)獲取的圖像進(jìn)行畸變校正和逆透視變換得到鳥(niǎo)瞰圖(吏用加權(quán)平均融合的策略將S幅鳥(niǎo)瞰圖拼接融合為一幅環(huán)視圖，該環(huán)視圖像能顯示的左右最遠(yuǎn)
摘要：針對(duì)傳統(tǒng)視覺(jué)系統(tǒng)視野有限的問(wèn)題，提出了一種基于環(huán)視系統(tǒng)的車位檢測(cè)方法。環(huán)視系統(tǒng)由S個(gè)魚眼相機(jī)構(gòu)成，對(duì)每個(gè)相機(jī)獲取的圖像進(jìn)行畸變校正和逆透視變換得到鳥(niǎo)瞰圖(吏用加權(quán)平均融合的策略將S幅鳥(niǎo)瞰圖拼接融合為一幅環(huán)視圖，該環(huán)視圖像能顯示的左右最遠(yuǎn)距離能達(dá)到7.5m;在環(huán)視圖的基礎(chǔ)上，提出了一種新穎的車位檢測(cè)算法，該算法利用LSDCLineSegmentDetector)算法檢測(cè)環(huán)視圖像中的直線#實(shí)驗(yàn)表明，該方法比常用的霍夫變換具有較高的檢測(cè)精度和魯棒性，并且能夠達(dá)到實(shí)時(shí)的要求。
關(guān)鍵詞：自動(dòng)泊車環(huán)視圖像LSD算法車位檢測(cè)
1引言
當(dāng)前自動(dòng)駕駛技術(shù)飛速發(fā)展，已成為人工智能領(lǐng)域的研究熱點(diǎn)，而自動(dòng)泊車系統(tǒng)(AutomaticParkingSystem簡(jiǎn)稱：APS)作為智能駕駛的重要組成部分，已成為國(guó)內(nèi)外各大汽車廠商和高校的研究熱點(diǎn)方向[1]。研究表明，大城市的停車難問(wèn)題嚴(yán)重，給人們的出行帶來(lái)非常的不便。國(guó)內(nèi)外對(duì)自動(dòng)泊車系統(tǒng)都有一定的研究，同時(shí)停車位的智能識(shí)別又成為自動(dòng)泊車系統(tǒng)中的重要研究方向，其主要通過(guò)傳感器檢測(cè)停車位：如基于激光雷達(dá)傳感器-2]，基于超聲傳感器[3]和基于視覺(jué)傳感器[4]等。目前基于視覺(jué)的自動(dòng)泊車系統(tǒng)的研究已經(jīng)成為主流，而且攝像頭具有成本低、體積小、可視化等優(yōu)點(diǎn)。雖然目前各大汽車廠商的泊車系統(tǒng)都使用S個(gè)魚眼相機(jī)，但是環(huán)視圖的左右可視距離有限，文章[5]能顯示的左右可視距離僅為2.5m，這給車位檢測(cè)帶來(lái)了很大的難度。本研究同樣是基于S個(gè)魚眼相機(jī)獲取環(huán)視圖，但是最終生成的環(huán)視圖，左右相機(jī)可視距離為7.5m，提高了車位檢測(cè)的準(zhǔn)確率。
由于環(huán)視圖的左右可視距離有限，而標(biāo)準(zhǔn)停車位的長(zhǎng)度為5m，寬度為2.5m，在垂直泊車[6]的情況下，車位最遠(yuǎn)端的一條邊距離車的距離至少為5m。如果在距離車3m!5m處存在障礙物，那么無(wú)法在上述環(huán)視圖上顯示出來(lái)。目前基于視覺(jué)的停車位檢測(cè)方法核心技術(shù)是找出環(huán)視圖中的直線，而最常用的方法是Hough變換。然而，實(shí)際泊車場(chǎng)景往往存在車位線損壞、有陰影、不平行的情況，如果依然使用Hough變換檢測(cè)環(huán)視圖中的直線，會(huì)出現(xiàn)漏檢以及準(zhǔn)確率差的情況。
相關(guān)期刊推薦：《分析儀器》是由中國(guó)儀器儀表行業(yè)協(xié)會(huì)和北京分析儀器研究所(北京市北分儀器技術(shù)有限責(zé)任公司)共同主辦的學(xué)術(shù)刊物(雙月刊)，國(guó)內(nèi)外公開(kāi)發(fā)行。主要刊載：綜述、儀器與裝置、儀器分析、應(yīng)用技術(shù)、討論與研究、知識(shí)介紹、經(jīng)驗(yàn)交流、信息與簡(jiǎn)訊等方面的信息。面向?qū)ο笫强蒲袉挝弧⑹汀⒒ぁ⒁苯稹⒌刭|(zhì)、食品、輕工、農(nóng)業(yè)、醫(yī)藥衛(wèi)生、環(huán)境保護(hù)、儀器制造等部門的科技人員，高等和中等專業(yè)學(xué)校有關(guān)專業(yè)的教師與學(xué)生。
本研究提出了一種新的基于環(huán)視系統(tǒng)的車位檢測(cè)方法。(1)超聲波傳感器檢測(cè)車位需要車位附近的車輛做輔助，而本研究算法是完全基于視覺(jué)的車位檢測(cè)，可以在不依賴相鄰車輛的情況下準(zhǔn)確識(shí)別車位;(2)目前大部分全景環(huán)視泊車輔助系統(tǒng)的圖像顯示范圍有限，這給車位檢測(cè)帶來(lái)了很大的難度，而本研究算法實(shí)現(xiàn)的環(huán)視系統(tǒng)，左右相機(jī)顯示的距離最遠(yuǎn)能達(dá)到7.5m，提高了車位檢測(cè)和車位內(nèi)障礙物檢測(cè)的準(zhǔn)確率;(3)Hough變換在檢測(cè)車位時(shí)的漏檢率很高，本研究在環(huán)視圖像上使用基于邊緣信息的LSD(LineSegmentDetector)[7]算法來(lái)檢測(cè)車位線，具有更高的準(zhǔn)確性和魯棒性，本研究算法目前處于研究測(cè)試階段。
2環(huán)視泊車輔助系統(tǒng)全景環(huán)視系統(tǒng)[8]
由S個(gè)魚眼相機(jī)組成，安裝位置如下圖1所示。
前視相機(jī)安裝在進(jìn)氣格柵的車標(biāo)之下;后視相機(jī)安裝在牌照之上;左右相機(jī)安裝在后視鏡下面。
環(huán)視圖像的生成主要分為以下三步：魚眼相機(jī)標(biāo)定、逆透視變換和圖像拼接。生成流程如圖2所示。
2.1魚眼相機(jī)標(biāo)疋
魚眼相機(jī)標(biāo)定[]主要是為了確定世界坐標(biāo)系與相機(jī)圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。實(shí)驗(yàn)使用棋盤格對(duì)相機(jī)進(jìn)行標(biāo)定，首先對(duì)每個(gè)相機(jī)進(jìn)行單獨(dú)標(biāo)定，求出每個(gè)相機(jī)的內(nèi)部參數(shù)和畸變系數(shù)，之后在整個(gè)車輛的四周鋪上標(biāo)定板，實(shí)現(xiàn)S相機(jī)的聯(lián)合標(biāo)定，建立以車身為中心的環(huán)視圖的車輛坐標(biāo)系X10:Y1，然后建立該坐標(biāo)系下其他S路圖像到環(huán)視圖的坐標(biāo)映射關(guān)系，使得S幅圖像能夠在同一個(gè)平面中處理與顯示。在車身四周鋪上標(biāo)定板，通過(guò)人工測(cè)量，提前獲取標(biāo)定板上角點(diǎn)的位置信息，最終標(biāo)定可以得到每個(gè)相機(jī)的圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，如圖3所示。
2.2逆透視變換
采用直接線性變換(：91)[10]確定逆透視變換的投影矩陣，使用內(nèi)參和外參對(duì)魚眼圖像進(jìn)行畸變矯正和逆透視變換，將世界坐標(biāo)系的點(diǎn)變換到圖像坐標(biāo)系生成鳥(niǎo)瞰圖。
2.3改進(jìn)的環(huán)視拼接融合算法
傳統(tǒng)的圖像拼接算法比較復(fù)雜，在光線較弱的情況下找到的特征點(diǎn)數(shù)量有限，拼接效果不是很好，本研究采用了一種更加簡(jiǎn)單有效的算法實(shí)現(xiàn)環(huán)視圖的無(wú)縫拼接。原理是在車周圍鋪上標(biāo)定板，如圖3所示，每個(gè)相機(jī)的視野中都對(duì)應(yīng)著S幅標(biāo)定板，這樣就構(gòu)建了S組相對(duì)位置固定的標(biāo)定板群，可以分別求出每個(gè)相機(jī)的變換矩陣Hi，只2，，這些矩陣就是每個(gè)相機(jī)圖像坐標(biāo)系到鳥(niǎo)瞰圖的映射關(guān)系，再將各圖像帶入式(3)，則可以得到鳥(niǎo)瞰圖。根據(jù)這個(gè)關(guān)系，可以生成坐標(biāo)對(duì)應(yīng)的查找表，只需要標(biāo)定一次，之后的每次拼接只需要通過(guò)查找表填充就可以完成拼接，而不需要每次都進(jìn)行特征匹配，這大大提升了拼接速度-11]。
圖像拼接中最重要是圖像融合區(qū)域的選擇，大多數(shù)環(huán)視拼接區(qū)域都如圖4所示，其中A、B、C、D是4塊重疊區(qū)域
由于相機(jī)分辨率有限，距離相機(jī)越遠(yuǎn)的地方，誤差越大，越容易出現(xiàn)重疊區(qū)域拼接不上的情況，本研究提出了一種新穎的融合策略，能夠在遠(yuǎn)處同樣實(shí)現(xiàn)無(wú)縫拼接。首先，改變后的融合區(qū)域如圖5所示，A、B、C、D4個(gè)矩形區(qū)域?yàn)閮上鄼C(jī)之間的重疊區(qū)域(比如A為前視相機(jī)和左相機(jī)的重疊區(qū)域)，中間的黑色區(qū)域?yàn)槲慈诤蠀^(qū)域。
對(duì)融合區(qū)域，采用加權(quán)平均融合算法[12]，該算法原理如圖=所示。
圖中黑色矩形框?yàn)閮煞鶊D像的重疊區(qū)域。假設(shè)重疊區(qū)域中，圖一中的像素點(diǎn)為^1，圖二中的像素點(diǎn)為^2，那么重疊區(qū)域的像素點(diǎn)為
由圖7可以看出，生成的全景環(huán)視圖效果良好，可以將汽車四周的場(chǎng)景以鳥(niǎo)瞰圖的形式再現(xiàn)出來(lái)，并且在距離相機(jī)較遠(yuǎn)的地方，也沒(méi)有出現(xiàn)線段拼接不上的情況。
本研究的拼接方法與傳統(tǒng)的基于特征點(diǎn)匹配的拼接方法相比，具有以下優(yōu)勢(shì)：對(duì)環(huán)境光線的適應(yīng)能力更強(qiáng)、不需要大面積的重疊區(qū)域即可實(shí)現(xiàn)環(huán)視圖的生成;不需要進(jìn)行特征點(diǎn)匹配，所以拼接速度更快，易于嵌入式系統(tǒng)的實(shí)現(xiàn)。
3停車位的檢測(cè)與識(shí)別
為了檢測(cè)出環(huán)視圖中的有效車位，需要對(duì)環(huán)視圖進(jìn)行一系列的圖像處理，包括邊緣檢測(cè)、直線檢測(cè)、過(guò)濾干擾線、基于幾何原理的車位擬合等過(guò)程。整個(gè)車位檢測(cè)的算法流程如圖9所示。
為了提高車位線的檢測(cè)精度，首先需要對(duì)環(huán)視拼接圖進(jìn)行邊緣檢測(cè)，本研究使用Canny檢測(cè)算子。在獲得邊緣圖像的基礎(chǔ)上，使用LSD方法進(jìn)行直線檢測(cè)，LSD算法主要分為三步[13]:提取直線區(qū)域、矩形擬合、線段有效性的驗(yàn)證。
1)提取直線區(qū)域。首先計(jì)算圖像中每個(gè)像素點(diǎn)Level-Line的角度，形成一個(gè)Level-Line區(qū)域，然后有相同Level-Line角度的像素點(diǎn)就構(gòu)成了linesupport區(qū)域，而這些區(qū)域正是線段的候選區(qū)域(圖10)。
2)矩形擬合。在提取出直線區(qū)域之后，對(duì)區(qū)域進(jìn)行矩形擬合，求出矩形的中心點(diǎn)、方向角以及長(zhǎng)和寬，用該矩形代表該線段。結(jié)果如圖11所示，其中(a)為待檢測(cè)的原圖，(b)為使用步驟1)提取出的直線段候選區(qū)域，(c)為最終矩形擬合的結(jié)果圖。
3)線段有效性的驗(yàn)證。該方法是基于亥姆霍茲原理，線段由矩形區(qū)域的寬度和端點(diǎn)決定。計(jì)算每個(gè)矩形框內(nèi)的像素點(diǎn)個(gè)數(shù)，以及與該矩形框方向一致的像素點(diǎn)，并且設(shè)置能夠計(jì)算出NFA[14]的精度值，然后根據(jù)NFA進(jìn)行線段有效性的驗(yàn)證(圖12)
圖12是使用LSD與Hough變換檢測(cè)直線的結(jié)果對(duì)比，可以明顯看出，使用LSD檢測(cè)的直線結(jié)果要比Hough變換檢測(cè)的直線結(jié)果更加準(zhǔn)確，干擾直線也少了很多。通過(guò)LSD算法檢測(cè)到直線之后，需要對(duì)直線進(jìn)行過(guò)濾等處理，整個(gè)車位檢測(cè)[15’16]的算法流程見(jiàn)圖13。
4實(shí)驗(yàn)及結(jié)果
實(shí)驗(yàn)采用榮威RX5為樣車，4個(gè)魚眼相機(jī)的安裝位置如圖1所示，相機(jī)分辨率為1280$720,環(huán)視圖分辨率為875$775,通過(guò)相機(jī)獲取的實(shí)驗(yàn)數(shù)據(jù)運(yùn)行在NVIDIAJetsonTX2平臺(tái)，調(diào)用Opencv3.2以及編寫CUDA代碼，處理速度為30幀/s，可以滿足實(shí)時(shí)的要求。
首先對(duì)4相機(jī)進(jìn)行聯(lián)合標(biāo)定，角點(diǎn)檢測(cè)結(jié)果如圖14所示，可以看出每個(gè)魚眼相機(jī)視野中的26個(gè)角點(diǎn)都被檢測(cè)到。
4.1環(huán)視拼接實(shí)驗(yàn)
傳統(tǒng)的環(huán)視拼接與本研究提出的環(huán)視拼接對(duì)比效果如圖15所示。圖15(a)為傳統(tǒng)環(huán)視拼接方法效果圖，從圖中可以看出，矩形框內(nèi)出現(xiàn)線段拼接不上的情況，并且距離車越遠(yuǎn)的地方，拼接不上的情況越嚴(yán)重;圖15(b)為本研究提出的環(huán)視拼接效果圖，可以看出在對(duì)應(yīng)的矩形框區(qū)域，能夠?qū)崿F(xiàn)無(wú)縫拼接，還可以增大環(huán)視圖的左右可視距離，在實(shí)際的測(cè)試中，經(jīng)過(guò)測(cè)量，圖15(b)顯示的左右可視實(shí)際距離為7.5m#
4.2車位檢測(cè)實(shí)驗(yàn)在本研究提出的環(huán)視拼接算法的基礎(chǔ)上進(jìn)行車位檢測(cè)，為了驗(yàn)證算法的有效性，首先對(duì)基于Hough變換的車位檢測(cè)與基于LSD的車位檢測(cè)進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比效果如下圖16所示。
圖16(a)為基于Hough變換的車位檢測(cè)，左上角矩形框內(nèi)的數(shù)字78(1)表示：該車位ID為78,第1次被檢測(cè)到;圖16(b)為基于LSD的車位檢測(cè)，對(duì)比可以看出，右圖中ID為27的車位，在左圖中并沒(méi)有被檢測(cè)到，說(shuō)明基于Hough變換的車位檢測(cè)容易發(fā)生漏檢。
由于目前完全基于視覺(jué)的車位檢測(cè)方法比較少，于是本研究使用基于LSD的車位檢測(cè)算法分別對(duì)地上車位與地下車位檢測(cè)效果進(jìn)行對(duì)比，對(duì)比效果如圖17所示。
