發布時間：2020-02-17所屬分類：科技論文瀏覽：1次
摘 要： 摘要由于水體對光的吸收和散射，水下光電圖像具有低信噪比、低對比度等特點，導致目標難以識別，限制了水下光電成像裝備的實際應用和發展。為提高目標的探測精度和識別率，提出包含一維并行卷積和子像素卷積的深度卷積神經網絡，利用其從水下光電圖像訓練集
摘要由于水體對光的吸收和散射，水下光電圖像具有低信噪比、低對比度等特點，導致目標難以識別，限制了水下光電成像裝備的實際應用和發展。為提高目標的探測精度和識別率，提出包含一維并行卷積和子像素卷積的深度卷積神經網絡，利用其從水下光電圖像訓練集中學習優化圖像質量的參數，實現了去噪和對比度增強。實驗結果表明，相比于經典去噪方法和對比度增強方法聯合處理的結果，本文方法得到的峰值信噪比和均方根對比度分別平均提高了2.93dB和14.41，能夠有效地權衡去噪、對比度增強和亮度提升等，獲得適合人眼視覺感受的圖像，且處理單幅圖像的平均速度是經典方法的9.46倍。利用測試集對網絡進行測試，其在一定范圍內較好地優化了圖像質量，具有一定的泛化特性。
關鍵詞圖像處理;水下光電圖像;噪聲;低對比度;卷積神經網絡;子像素卷積
1引言
在水下復雜環境下，水下光電成像技術是利用面光源或點光源對目標進行照明，同時用成像器件對目標進行成像，獲得目標圖像的過程。由于水體對光的吸收和后向散射作用，使所獲得圖像具有低信噪比、低對比度和非均勻性照明等特點，導致人眼視覺感受較差，目標難以識別，限制了水下光電成像裝備的實際應用和發展，因此提高水下光電圖像質量是一個亟待解決的問題[1-3]。
目前，學者們利用圖像處理技術改善水下光電圖像質量取得了一定成果，針對水下光電圖像低信噪比、低對比度等特點，提出的方法有三維塊匹配去噪[4]、小波去噪[5]、直方圖均衡化[6]和暗通道先驗增強[7]等。但經典方法存在的問題包括：1)只針對一種圖像降質因素進行處理，如先用去噪方法對圖像去噪，所得圖像對比度較低，如果再用對比度增強方法處理圖像，不僅圖像細節受損，而且還加重了非均勻性照明問題，而若先對圖像進行對比度增強，再進行去噪，則圖像的噪聲不能完全去除;2)數字圖像是二維或三維數字矩陣，其處理數據量多、運算量大、耗時長，采用經典圖像處理方法往往無法快速獲得質量較好的圖像。
近年來，基于深度學習的圖像增強研究得到了廣泛關注。深度學習方法與經典圖像處理方法最大的不同在于前者是從數據集中自動學習特征，而非采用手工設計的特征[9]，因此深度學習的參數可以達到較大規模，擁有強大的非線性表達能力。目前，深度學習去噪研究大都對人為添加噪聲的大氣中圖像進行去噪[10-12]，僅加入高斯噪聲或椒鹽噪聲無法真正模擬水下光電圖像的噪聲特性，因此常規深度學習去噪方法不能直接應用于水下光電圖像的質量優化。同時，由于水下光電圖像退化模型復雜，通常無法建立準確的模型進行模擬，基于深度學習的圖像優化方法是依靠數據驅動的，直接從樣本圖像和退化圖像之間學習網絡參數，并不需要對噪聲分布做出假設，是一種端到端的學習方式。因此，本文通過采集水下光電圖像建立數據集，利用改進后的卷積神經網絡對水下光電圖像質量優化開展研究。
2水下光電圖像優化網絡設計
目前，學者們開發了各種典型的深度卷積神經網絡結構，如AlexNet、ResNet、VGGNet、GoogleNet和SqueezeNet等，但大都基于圖像分類和目標檢測研究，并不能直接應用于復雜水體下的光電圖像增強和去噪。針對水下光電圖像質量優化需要去除高斯、泊松、離子等多種類型的噪聲，同時需要提高對比度和保留圖像細節的這些特點[13]，受Inception網絡、自編碼網絡和子像素卷積網絡啟發，設計了一種包含并行卷積、一維卷積和子像素卷積的深度卷積神經網絡，如圖1所示，圖中conv表示不同尺寸的卷積，codecstructure表示編解碼結構。圖 由于水下光電圖像包含的噪聲特性復雜，因此網絡中第一層采用包含不同卷積核大小的并行卷積結構，可以提取水下光電圖像中不同尺度的目標和不同類型的噪聲特征;第二層卷積對并行卷積的結果進行特征提取;第三層卷積的步長設置為2，對第二層輸出特征圖進行編碼，將特征圖下采樣到原尺寸的1/2，增大卷積核對輸入特征圖的感受野，對圖像進行高級特征提取、對比度拉伸和噪聲抑制;網絡中的第四層為子像素卷積，對第三層輸出特征圖進行解碼操作。子像素卷積是一種可以自主學習卷積核參數的反卷積網絡結構，利用子像素卷積層對上層下采樣的特征圖進行放大率為2的上采樣，使網絡的輸入和輸出維度保持一致。第五層卷積對上層的輸出特征圖進行綜合處理，進一步抑制噪聲和提高對比度，并進行圖像重建和細節恢復;第六層卷積對前一層輸入進行線性組合，輸出實際預測圖像。網絡中還包括非線性激活層，采用近似生物神經激活的線性整流激活函數(ReLU)，ReLU(x)=max(0，x)函數。
相關期刊推薦：《光學學報》Acta Optica Sinica(月刊)1981年創刊，是國內外公開發行的光學學術刊物，反映中國光學科技的新概念、新成果、新進展。內容主要包括量子光學、非線性光學、適應光學、纖維光學、激光與物質相互作用、激光器件、全息和信息處理、光學元件和材料等。為我國光學科技人員與國內外同行進行學術交流、開展學術討論以跟蹤學科前沿和發展我國光學事業服務。
所設計的網絡輸入和輸出具有相同的尺寸w×h×d，其中w、h和d分別為圖像的寬度、高度和維度，由于所采集的水下光電圖像為灰度圖像，因此其維度d=1。設F0(x)=x為輸入，Fl為各卷積層的輸出，Wl、bl分別為各卷積層的權重和偏置值(0
3實驗與分析
3.1建立訓練集
根據Piederrière等[14]和聶瑛等[15]的研究，可通過添加牛奶和墨水等來模擬真實水下噪聲環境，清水中添加牛奶后的散射系數與所添加牛奶的種類和濃度相關;墨水可用來模擬海水中的吸收作用，水中墨水的含量越高，光傳播的吸收損耗就越明顯。因此，在水下光電圖像采集實驗系統中加入全脂牛奶和黑色墨水來模擬海水中圖像的退化效果，通過高光譜相機測量分析模擬水體的光譜曲線，說明了模擬水體與一般水體的特性具有可比性，再分別制作訓練靶板和測試靶板，采集水下環境中退化前和退化后的光電圖像。
實驗中，在清水中進行水下光電圖像的樣本采集，然后加入不同濃度墨水和牛奶的1∶1混合液體來改變水體特性。光源采用尺寸為9cm×9cm的LED白光面光源，圖2是距目標1.40m處采集的測試靶板1圖像，圖2(a)為清水中的測試靶板1圖像，圖2(b)～(e)為加入混合液后分別在目標處照度分別為21.614，13.826，6.947，0.925lx條件下的測試靶板1圖像。可以看出，在清水中的圖像成像質量較好，基本沒有噪聲，隨著混合液體的增加和照明條件的不同，圖像質量也隨之改變，且右下角區域亮度高于左上角區域，即存在一定的非均勻性照明問題。
為了克服數據不易獲得的難點，采集了大量用于訓練的數據集。將13.826lx條件下訓練靶板退化前后的圖像進行配準得到尺寸為821pixel×821pixel的訓練樣本對，然后對每幅圖像按照像素大小為128pixel×128pixel、步長為25pixel進行裁剪，得到基本訓練樣本集，再采取旋轉、鏡像的方法擴充訓練集，選取90%作為訓練集、10%作為驗證集。此外，改變照度采集測試靶板的圖像，并加入在自然水域采集的圖像共同作為測試集。最終用于訓練、驗證和測試的數據集結構如表1所示。
由于清水中的光電圖像和加入混合液后的退化圖像亮度差異較大，網絡容易忽略對比度和噪聲的學習，僅學習亮度的變化關系，因此需要對亮度較高的清水中圖像進行亮度降低預處理，確保其亮度和退化后的噪聲圖像亮度基本處于同一水平。圖3為其中一張訓練集的處理效果。
4模型測試結果
利用3.2節設置的超參數對本文設計的網絡結構進行了訓練，訓練的收斂曲線如圖9所示。利用訓練好的網絡對測試集進行測試，與經典方法對圖像進行去噪和對比度增強的處理結果進行對比。去噪方法選擇三維塊匹配(BM3D)去噪和小波去噪(WDD)，BM3D通過將圖像分成塊，利用圖像塊之間的相似性進行聯合濾波;小波去噪方法因其良好的時頻特性和多分辨特性，使小波去噪方法適合于多種噪聲。增強方法選取暗通道先驗增強(DCP)和一種結合直方圖均衡化與帶彩色恢復的多尺度視網膜增強的聯合圖像增強算法(HEMSRCR)，暗通道先驗增強是一種統計意義上的算法，不需要額外的參數，有較好的增強效果;HEMSRCR是李錦等[18]提出的將直方圖均衡化和MSRCR增強進行加權求和的圖像增強方法。通過實驗選取針對水下光電圖像增強的最優權重，具有較好的亮度、對比度增強能力。在圖像處理過程中，如果直接對噪聲圖像進行增強，會放大噪聲，不易濾除，因此均采用先去噪再增強對比度的順序對圖像進行處理。
圖10為典型測試圖像與課題組在真實水下環境中采集的水下光電圖像的處理效果，各圖中右上角區域為紅色方框區域的局部放大圖。圖10(a)～(c)為13.826lx照度下測試靶板1、2和3的測試效果，圖10(d)為撫仙湖中采集的真實水下光電圖像測試效果，圖10(e)為6.947lx照度下靶板1的測試效果。各圖從左到右依次為噪聲圖像、BM3D去噪+DCP增強效果、小波去噪+HEMSRCR增強效果、BM3D去噪+HEMSRCR增強效果、小波去噪+DCP增強效果和本文方法的效果。
由圖10可知，BM3D去噪和暗通道先驗增強后噪聲較好地被去除，圖像較光滑，但圖像對比度較低，非均勻性照明問題加重;小波去噪和HEMSRCR增強后細顆粒噪聲變成了大顆粒噪聲，且噪聲嚴重，雖然亮度有所提升，但存在非均勻性問題;BM3D去噪和HEMSRC增強后，噪聲得到去除，人眼直觀效果好于前兩種混合方法處理結果，但右下角區域的亮度仍高于左上角區域;小波去噪和暗通道先驗增強后圖像噪聲顆粒變大，目標細節模糊;而本文結果圖像中的目標條紋與背景區分明顯，能夠有效去除水下光電圖像的噪聲，并提高其對比度和亮度，避免經典方法處理后的非均勻性照明問題，使優化后的圖像更加符合人眼視覺感受，更有利于水下目標的識別與探測。
在Inteli7-7700KCPU@4.20GHz平臺上比較混合經典方法和本文方法在測試集上的處理時間，將各方法處理不同測試圖像的耗時取平均值，如表2所示，結合圖10可以看出經典方法中，BM3D+HEMSRCR方法耗時最長，但效果較好，小波去噪+暗通道先驗方法雖耗時較短，但處理效果較差。本文方法的測試時間僅需0.3617s，計算速度相對于混合經典方法提高了9.46倍。
最后對不同方法處理結果的峰值信噪比(PSNR)和均方根對比度(RMSC)進行了計算，結果如表3和4所示，利用深度卷積神經網絡處理水下光電圖像得到了較好的峰值信噪比和均方根對比度，說明相對于經典去噪和對比度增強方法，本文方法能夠在去噪、對比度增強以及亮度提升等方面進行有效權衡，獲得符合人眼視覺感受的圖像，且對于不同的水下光電圖像具有一定的泛化特性。
5結論
受Inception網絡、自編碼網絡和子像素卷積網絡啟發，提出利用基于卷積神經網絡的深度學習方法對水下光電圖像進行去噪和對比度增強以優化圖像質量，設計一種包含一維卷積、并行卷積和子像素卷積的深度卷積神經網絡，同時建立大量水下光電圖像訓練集，對模型進行訓練，并對經典方法和本文方法進行實驗對比。結果表明：利用自建數據集訓練的網絡能夠快速、有效地對水下光電圖像進行去噪和增強，與經典的去噪和增強方法相比較，本文方法能夠有效平衡去噪、增強對比度和平衡非均勻性照明問題。
由于采用的訓練集為條紋靶板，因此經過訓練后的模型偏向于處理類似于靶板的條紋形狀目標，且處理結果基本以黑白輪廓表示，具有一定的針對性，對各種目標的適應性有待加強。下一步將優化網絡參數，壓縮模型參數規模，同時增加訓練樣本種類和數量，提高網絡的穩健性和適應性。
SCISSCIAHCI
