<address id="japib"><nav id="japib"></nav></address>

<cite id="japib"></cite>

        基于顯著性檢測與梯度導向濾波的紅外與可見光圖像融合

        謝詩冬 周冬明 聶仁燦 劉琰煜 王長城

        引用本文:
        Citation:

        基于顯著性檢測與梯度導向濾波的紅外與可見光圖像融合

          作者簡介: 謝詩冬(1994?),男,江西人,碩士生,主要研究深度學習及圖像處理. E-mail:shidongxie@mail.yun.edu.cn;
          通訊作者: 周冬明, zhoudm@ynu.edu.cn
        • 中圖分類號: TP 391.41

        Infrared and visible image fusion based on saliency detection and gradient domain guided image filtering

          Corresponding author: ZHOU Dong-ming, zhoudm@ynu.edu.cn ;
        • CLC number: TP 391.41

        • 摘要: 針對紅外與可見光融合圖像背景信息豐富度不足,以及在融合過程中紅外目標顯著性、邊緣輪廓清晰度和細節紋理信息的保留難以同時兼顧的問題,提出了一種在潛在低秩分解基礎上結合圖像增強和顯著性檢測,并運用梯度導向濾波重構融合決策圖的紅外與可見光融合方法. 首先使用增強算法提高可見光圖像的細節輪廓清晰度,并對紅外源圖使用視覺顯著性檢測處理,提取最初的顯著性權重圖;接著對紅外圖像與增強圖像進行潛在低秩分解,獲取細節層和基礎層,將細節層作為引導圖像引入梯度導向濾波系統,對之前獲取的顯著性權重圖進行優化,得到對圖像細節和輪廓把握更加精準的二次權重圖;然后將初次權重和二次權重作為融合決策圖分別引導基礎層和細節層的融合;最后將重構好的細節和基礎層使用加權平均法進行融合得到最終結果. 實驗結果表明,算法對融合結果中細節信息的保留,邊緣輪廓分辨度和紅外目標顯著性的提升,均有著較好的表現,在質量指標如平均梯度、視覺信息保真度、圖像互信息等方面也取得了較好的效果.
        • 圖 1  可見光部分增強框架

          Figure 1.  Enhancement framework of visible part

          圖 2  梯度導向濾波權重重構框架

          Figure 2.  The weight reconstruction framework for gradient guided filtering

          圖 3  顯著層融合效果對比

          Figure 3.  Comparison of fusion result of saliency part

          圖 4  本文算法整體融合框架

          Figure 4.  The total fusion framework of our algorithm

          圖 5  各算法結果全局效果對比(Bristol Queen's Road)

          Figure 5.  The global effect comparison of each algorithm results (Bristol Queen's Road)

          圖 6  紅色框內椅子局部細節對比(Bristol Queen's Road)

          Figure 6.  The local details comparision of the chair in red box (Bristol Queen's Road)

          圖 7  各算法結果全局效果對比(Kaptein)

          Figure 7.  The global effect comparison of each algorithm results (Kaptein)

          圖 8  紅色框內灌木叢局部細節放大圖(Kaptein)

          Figure 8.  The local details comparision of the bush in red box (Kaptein)

          圖 9  各算法結果全局效果對比(UN-camp)

          Figure 9.  The global effect comparison of each algorithm result (UN-camp)

          圖 10  黃色框內人影局部細節放大圖(UN-camp)

          Figure 10.  The local details comparision of the human in yellow box (UN-camp)

          表 1  各種算法的客觀指標比較(Bristol Queen's Road)

          Table 1.  Objective indicators comparison of various algorithms (Bristol Queen's Road)

          算法AGSESDVIFPMI
          GTF 2.885 6.620 29.77 0.304 1.391
          DT_CWT 4.230 6.158 25.26 0.327 0.864
          MSVD 3.271 5.935 21.14 0.290 1.135
          GFF 4.369 6.699 35.56 0.43 1.357
          IFE_VIP 4.180 6.701 38.27 0.464 1.256
          CNN 4.454 6.609 37.04 0.482 1.326
          LatLRR 3.022 6.029 27.48 0.349 0.989
          本文算法 5.481 6.412 38.40 0.521 1.397
          下載: 導出CSV

          表 2  各種算法的客觀指標比較(Kaptein)

          Table 2.  Objective indicators comparison of various algorithms (Kaptein)

          算法AGSESDVIFPMI
          GTF 3.179 6.958 38.17 0.215 1.501
          DT_CWT 4.576 6.705 33.61 0.291 0.877
          MSVD 4.071 6.554 31.63 0.213 0.991
          GFF 4.344 6.989 36.05 0.335 1.541
          IFE_VIP 4.708 6.971 52.78 0.387 1.679
          CNN 4.832 7.101 53.67 0.359 1.046
          LatLRR 3.252 6.701 35.75 0.271 0.984
          本文算法 4.608 7.249 54.80 0.439 1.738
          下載: 導出CSV

          表 3  各種算法的客觀指標比較(UN-camp)

          Table 3.  Objective indicators comparison of various algorithms (UN-camp)

          算法AGSESDVIFPMI
          GTF 4.144 6.678 26.86 0.199 1.025
          DT_CWT 5.202 6.485 26.27 0.241 0.751
          MSVD 4.333 6.249 22.77 0.196 0.776
          GFF 4.879 6.674 29.02 0.275 0.871
          IFE_VIP 5.295 6.767 32.14 0.262 1.277
          CNN 5.272 7.002 37.25 0.286 1.005
          LatLRR 4.201 6.554 29.72 0.236 0.868
          本文算法 5.296 7.097 38.31 0.392 1.731
          下載: 導出CSV

          表 4  各種算法的客觀指標的平均值

          Table 4.  The average of the objective indicators of various algorithms

          算法AGSESDVIFPMI
          GTF 4.491 6.751 39.15 0.371 1.231
          DT_CWT 4.669 6.449 28.38 0.286 0.831
          MSVD 3.891 6.246 25.18 0.233 0.967
          GFF 4.531 6.787 33.54 0.347 1.256
          IFE_VIP 4.727 6.813 41.06 0.371 1.404
          CNN 4.853 6.904 42.65 0.376 1.126
          LatLRR 3.492 6.428 30.98 0.285 0.947
          本文算法 5.128 6.919 43.84 0.451 1.622
          下載: 導出CSV
          幸运快三
        • [1] Piella G, Heijmans H J. A new quality metric for image fusion[C]//International Conference on Image Processing, Barcelona, Spain, 2003: 173-176.
          [2] 侯瑞超, 周冬明, 聶仁燦, 等. 結合NSST與優化脈沖發放皮層模型的紅外與可見光圖像融合[J]. 計算機應用, 2018, 38(S1): 202-207. Hou R C, Zhou D M, Nie R C, et al. Infrared and visible image fusion based on NSST and optimized pulse emission cortex model[J]. Computer Applications, 2018, 38(S1): 202-207.
          [3] Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI:  10.1016/0167-8655(89)90003-2.
          [4] Gao G, Xu L, Feng D. Multi-focus image fusion based on non-subsampled shearlet transform[J]. IET Image Processing, 2013, 7(6): 633-639. DOI:  10.1049/iet-ipr.2012.0558.
          [5] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2 091-2 106. DOI:  10.1109/TIP.2005.859376.
          [6] Zhang Q, Guo B L. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Processing, 2009, 89(7): 1 334-1 346. DOI:  10.1016/j.sigpro.2009.01.012.
          [7] Hou B, Zhang X, Bu X, et al. SAR image despeckling based on nonsubsampled shearlet transform[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(3): 809-823. DOI:  10.1109/JSTARS.2012.2196680.
          [8] Forsyth D. Representation learning[J]. Computer, 2015, 48(4): 6-6. DOI:  10.1109/MC.2015.117.
          [9] Liu Y, Chen X, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1 882-1 886. DOI:  10.1109/LSP.2016.2618776.
          [10] He G, Wei Y. An anti-noise fusion method for the infrared and the visible image based upon sparse representation[C//International Conference on Machine Vision, Singapore, 2017: 12-17.
          [11] Li H, Wu X J. Infrared and visible image fusion using latent low-rank representation[J].2018, arXiv: 1804.08992.
          [12] 劉琰煜, 周冬明, 聶仁燦, 等. 低秩表示和字典學習的紅外與可見光圖像融合算法[J]. 云南大學學報: 自然科學版, 2019, 41(4): 689-698. DOI:  10.7540/j.ynu.20180753. Liu Y Y, Zhou D M, Nie R C, et al. Infrared and visible image fusion algorithm based on low rank representation and dictionary learning[J]. Journal of Yunnan University: Natural Sciences Edition, 2019, 41(4): 689-698.
          [13] Liu G, Yan S. Latent low-rank representation for subspace segmentation and feature extraction[C]// IEEE International Conference on Computer Vision, Barcelona, Spain, 2011: 1 615-1 622.
          [14] Ying Z, Li G, Gao W. A bio-inspired multi-exposure fusion framework for low-light image enhancement[J].2017, arXiv: 1711.00591.
          [15] Ma J, Zhou Z, Wang B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
          [16] Kou F, Chen W, Wen C, et al. Gradient Domain Guided Image Filtering[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4 528-4 539. DOI:  10.1109/TIP.2015.2476978.
          [17] He K, Sun J, Tang X. Guided image filtering[J]. IEEE Transactions on Software Engineering, 2013, 35(6): 1 397-1 409.
          [18] Ma J, Chen C, Li C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109.
          [19] Lewis J J, Robert J O, Nikolov S G, et al. Pixel- and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119-130. DOI:  10.1016/j.inffus.2005.09.006.
          [20] Naidu V P S. Image fusion technique using multi-resolution singular value decomposition[J]. Defense Science Journal, 2011, 61(5): 479-484. DOI:  10.14429/dsj.61.705.
          [21] Li S, Kang X, Hu J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2 864-2 875. DOI:  10.1109/TIP.2013.2244222.
          [22] Zhang Y, Zhang L, Bai X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
          [23] Liu Y, Chen X, Cheng J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2017, 16(3): 1850018.
          [24] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI:  10.1109/TIP.2003.819861.
          [25] Wang Z, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84. DOI:  10.1109/97.995823.
          [26] Ma J, Liang P, Yu W, et al. Infrared and visible image fusion via detail preserving adversarial learning[J]. Information Fusion, 2020, 54: 85-98.
        • [1] 丁齋生周冬明聶仁燦侯瑞超劉棟劉琰煜 . 基于視覺顯著性與殘差網絡的紅外-可見光圖像融合方法. 云南大學學報(自然科學版), 2019, 41(6): 1108-1117. doi: 10.7540/j.ynu.20180692
          [2] 劉琰煜周冬明聶仁燦侯瑞超丁齋生 . 低秩表示和字典學習的紅外與可見光圖像融合算法. 云南大學學報(自然科學版), 2019, 41(4): 689-698. doi: 10.7540/j.ynu.20180753
          [3] 李肖肖聶仁燦周冬明謝汝生 . 圖像增強的拉普拉斯多尺度醫學圖像融合算法. 云南大學學報(自然科學版), 2019, 41(5): 908-917. doi: 10.7540/j.ynu.20180840
          [4] 侯瑞超周冬明聶仁燦李興葉 . 結合HSI變換與雙通道脈沖發放皮層的彩色多聚焦圖像融合. 云南大學學報(自然科學版), 2019, 41(2): 245-252. doi: 10.7540/j.ynu.20180191
          [5] 王長城周冬明劉琰煜謝詩冬 . 多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法. 云南大學學報(自然科學版), 2020, 42(): 1-10. doi: 10.7540/j.ynu.20200019
          [6] 邵凱旋余映錢俊吳青龍楊鑒 . 基于邊緣信息結合空間權重的圖像顯著性檢測算法研究. 云南大學學報(自然科學版), 2020, 42(3): 429-436. doi: 10.7540/j.ynu.20190442
          [7] 吳青龍敖成剛余映 . 基于視覺中心及超像素空間加權的圖像顯著性檢測*. 云南大學學報(自然科學版), 2018, 40(5): 848-854. doi: 10.7540/j.ynu.20170639
          [8] 代志濤蘇寒松劉高華張倩芳 . 基于改進非局部均值濾波算法的顯著性區域檢測*. 云南大學學報(自然科學版), 2018, 40(3): 440-450. doi: 10.7540/j.ynu.20170351
          [9] 于佳麗郭敏 . 融合灰度和梯度方向信息的隨機游走的圖像分割. 云南大學學報(自然科學版), 2010, 32(4): 413-417, .
          [10] 郭正紅張俊華郭曉鵬梅禮曄 . 結合視覺顯著圖的Seam Carving圖像縮放方法. 云南大學學報(自然科學版), 2018, 40(2): 222-227. doi: 10.7540/j.ynu.20170223
          [11] 王婷王威廉于傳波 . 面向判別性低秩回歸模型的優化模型方法研究. 云南大學學報(自然科學版), 2020, 42(5): 846-853. doi: 10.7540/j.ynu.20190468
          [12] 馬博珩彭藝 . 基于OMP算法的快速壓縮感知圖像重構. 云南大學學報(自然科學版), 2017, 39(2): 207-211. doi: 10.7540/j.ynu.20160247
          [13] 李紅平陳祥望徐丹 . 基于雙邊濾波的HDR圖像色調映射算法. 云南大學學報(自然科學版), 2014, 36(3): 341-346. doi: 10.7540/j.ynu.2013051a
          [14] 郭敏任娜 . 基于小波變換與塊分割的多聚焦圖像融合. 云南大學學報(自然科學版), 2008, 30(3): 251-255.
          [15] 梅禮曄郭曉鵬張俊華郭正紅肖佳 . 基于空間金字塔池化的深度卷積神經網絡多聚焦圖像融合. 云南大學學報(自然科學版), 2019, 41(1): 18-27. doi: 10.7540/j.ynu.20170670
          [16] 吳俊張榆鋒 . 經驗模態分解和小波分解濾波特性的比較研究. 云南大學學報(自然科學版), 2012, 34(3): 285-290,297.
          [17] 黃歡王青青 . 基于小波域維納濾波的圖像復原算法優化. 云南大學學報(自然科學版), 2015, 37(5): 654-659. doi: 10.7540/j.ynu.20140656
          [18] 張晨光史偉光畢長浩 . 結合自適應高斯濾波的單幅圖像去霧方法. 云南大學學報(自然科學版), 2017, 39(3): 369-375. doi: 10.7540/j.ynu.20160547
          [19] 袁暉坪米玲 . 廣義行(列)酉對稱矩陣的滿秩分解及其Moore-Penrose逆. 云南大學學報(自然科學版), 2009, 31(5): 439-443 .
          [20] 陳樹剛張學杰 . 一種基于小波系數自適應加權平均的解剖和功能醫學圖像融合算法. 云南大學學報(自然科學版), 2005, 27(3): 200-205.
        • 加載中
        圖(10)表(4)
        計量
        • 文章訪問數:  416
        • HTML全文瀏覽量:  508
        • PDF下載量:  14
        • 被引次數: 0
        出版歷程
        • 收稿日期:  2019-12-03
        • 錄用日期:  2020-05-20
        • 網絡出版日期:  2020-07-30
        • 刊出日期:  2020-11-10

        基于顯著性檢測與梯度導向濾波的紅外與可見光圖像融合

          作者簡介:謝詩冬(1994?),男,江西人,碩士生,主要研究深度學習及圖像處理. E-mail:shidongxie@mail.yun.edu.cn
          通訊作者: 周冬明, zhoudm@ynu.edu.cn
        • 云南大學 信息學院,云南 昆明 650500

        摘要: 針對紅外與可見光融合圖像背景信息豐富度不足,以及在融合過程中紅外目標顯著性、邊緣輪廓清晰度和細節紋理信息的保留難以同時兼顧的問題,提出了一種在潛在低秩分解基礎上結合圖像增強和顯著性檢測,并運用梯度導向濾波重構融合決策圖的紅外與可見光融合方法. 首先使用增強算法提高可見光圖像的細節輪廓清晰度,并對紅外源圖使用視覺顯著性檢測處理,提取最初的顯著性權重圖;接著對紅外圖像與增強圖像進行潛在低秩分解,獲取細節層和基礎層,將細節層作為引導圖像引入梯度導向濾波系統,對之前獲取的顯著性權重圖進行優化,得到對圖像細節和輪廓把握更加精準的二次權重圖;然后將初次權重和二次權重作為融合決策圖分別引導基礎層和細節層的融合;最后將重構好的細節和基礎層使用加權平均法進行融合得到最終結果. 實驗結果表明,算法對融合結果中細節信息的保留,邊緣輪廓分辨度和紅外目標顯著性的提升,均有著較好的表現,在質量指標如平均梯度、視覺信息保真度、圖像互信息等方面也取得了較好的效果.

        English Abstract

        • 圖像融合是把兩幅或多幅源圖像中相關聯的有效信息結合成一幅綜合圖像,實現了不同成像模式的優勢互補. 經過融合處理得到的圖像可彌補單一圖像信息量不足的問題,更適合人眼觀察或計算機處理[1]. 紅外與可見光圖像融合,是依據紅外圖像物體熱輻射成像特性以及可見光圖像的光學反射成像原理,將同一場景的兩幅配準圖像所具有的信息進行互補. 紅外圖像提取目標的熱源信息,可見光圖像提供背景細節紋理和輪廓信息,再加以融合,構成了目標突出、背景信息豐富的融合圖像[2]. 融合圖像可清楚顯示出隱蔽或偽裝的目標,同時也包含了較多的場景細節特征. 由于一個好的融合圖像,既包含顯著的紅外目標信息又兼顧豐富的可見光背景細節,在計算機處理、識別等領域有著重要的意義,且在軍事、遙感、計算機視覺、民用等也有著廣泛的用途.

          紅外與可見光的融合方法發展迅速,其中基于多尺度的方法因有著魯棒性強、具有局部時頻特性等特點,研究熱度較高. 典型方法有金字塔模型(Laplacian Pyramid,LP)[3],小波變換(Wavelet Transform,WT)[4]以及輪廓波變換(Countourlet Transform,CT)[5]等,然而這些方法在方向性上有著較大限制,只能獲取有限的方向信息,對于圖像的邊緣特征的捕獲有所不足. 非下采樣輪廓波變換(NonSubsampled Contourlet Transform,NSCT)[6]和非下采樣剪輯切波變換(NonSubsampled Shearlet Transform,NSST)[7]等方法有效解決了早期多尺度方法存在的問題,具備較好的方向性和平移性,對細節特征的提取以及圖像質量提升都具有重要意義,但是其全局結構信息如邊緣輪廓特征提取能力依然不是很強.

          近年來,隨著壓縮感知技術的興起,表示學習(Representation Learning,RL)引起了人們的關注,其將稀疏表示(Sparse Representation,SR)[8]、卷積稀疏表示(Convolutional Sparse Representation,CSR)[9]等方法運用于圖像融合中. 盡管基于SR的融合方法[10]獲得了部分良好的效果,如具有較好的紅外目標特征敏感性,但這些方法捕獲全局結構、保留背景細節信息的能力有限. 文獻[11]提出了一種基于潛在低秩表示(Latent Low Rank Representation,LatLRR)的方法,改善了全局結構信息的提取能力,但是單純的運用LatLRR的方法,仍存在背景細節信息保留程度不足、紅外目標輪廓信息丟失和顯著程度不足等缺陷.

          針對上述問題,本文在潛在LatLRR[12]的基礎上,運用顯著性檢測獲得權重圖引導基礎層融合來提高紅外目標與背景的對比度,從而較好地提升了紅外目標的顯著程度. 另外使用圖像增強算法提高可見光圖像細節輪廓特征可鑒別度的同時,利用梯度導向濾波優越的邊緣感知特性,構建權重重構框架得到二次權重圖來代替傳統低秩分解常用的絕對值最大的融合策略,引導細節層融合,實現對細節輪廓特征的大程度提取. 此方法在一定程度提升目標顯著度的同時,較好地抑制了細節層殘留的紅外背景信息,優化了紅外目標輪廓并大幅度地保留可見光細節信息,獲得了較好的融合效果.

          • LatLRR[13]運用于子空間分割和特征提取,可以解決低秩理論不能解決的局部信息預測問題的方法. 應用此方法,可以把圖像數據解析成多個低秩矩陣和高頻顯著部分以及稀疏噪聲:

            ${{X}} = {{X}} \cdot S{\rm{p}} + {{X}} \cdot L{\rm{p}} + N{\rm{p}}.$

            并滿足:

            $\min {\left\| {S{\rm{p}}} \right\|_*} + {\left\| {L{\rm{p}}} \right\|_*} + \lambda {\left\| {N{\rm{p}}} \right\|_1},$

            其中,${\left\| {\;} \right\|_{\rm{*}}}$ 代表核范數,即矩陣奇異值的總和,${\left\| {\;} \right\|_{\rm{1}}}$ 代表L1范數,X代表輸入的數據矩陣,Lp和Sp分別是低秩部分(Low-Rank Part)和顯著部分(Saliency Part)的系數,Np代表稀疏噪聲(Noise Part)部分,$\lambda $ 是噪聲系數. 公式(1)中3個系數將結合公式(2)使用增廣拉格朗日乘子法來求解,此方法是用于解決等式約束條件下的優化問題. 運用此方法將圖像分解得到 ${{X}} \cdot S{\rm{p}}$ (顯著部分)和 ${{X}} \cdot L{\rm{p}}$ (低秩部分). 源圖像低頻數據就可以利用低秩部分很好地逼近,高頻信息則由顯著部分繼承.

          • Ying等[14]提出了一個受啟發于人類感知系統的增強算法. 對于一張輸入圖像,首先運用類似于人眼曝光的亮度增強方法設置一個生成器,生成一系列的多曝光圖像;然后根據給定的參數利用均衡器模擬人腦組合曝光圖像的方式,將這些圖像融合成一個擁有最合適的亮度的圖像. 整體增強器框架如圖1所示.

            圖  1  可見光部分增強框架

            Figure 1.  Enhancement framework of visible part

            總框架由人眼模擬模塊和人腦模擬模塊組成,其中人眼模擬模塊的生成器找到一個最合適的亮度轉換模型,給定曝光率 ${k_i}$ 并運用Smooth增強模型 $f( \; )$ 的情況下得到曝光圖集 :

            ${P_i} = f(P,{k_i}),$

            其中,P表示增強前原圖的像素點,Pi則對應增強后的像素點.

            人腦模擬模塊中的均衡器為曝光圖集的每一個曝光圖像計算出最合適的權重矩陣. 曝光度良好的圖像會獲得一個較大的權重,而曝光度較差的圖像的權值則會被設置為較小. i個權重組成的這樣一個權重圖集并進行歸一化:

            ${\tilde {{W}}_{\rm{I}}} = {{{W}}_i}\phi \sum\limits_{i = 1}^N {{{{W}}_i}} ,$

            式中, $\phi$ 代表按照元素劃分,${{{W}}_i}$ 為第i個圖集的權重矩陣,${\tilde {{W}}_{\rm{I}}}$ 指歸一化以后的第i個權重. 最后的合成器利用生成好的權重圖集對曝光圖集進行重構,獲得最終的增強圖像:

            ${Q^{\rm{c}}} = \sum\limits_{i = 1}^N {{{\tilde {{W}}}_{\rm{I}}} \circ P_i^{\rm{c}}} ,$

            式中,C為色彩三通道中的通道,$P_i^{\rm{c}}$ 代表生成器生成的第i個曝光圖,${Q^{\rm{c}}}$ 是根據權重矩陣融合各個圖集得到的最終融合圖,${{\tilde {{W}}}_{\rm{I}}} \circ P_i^{\rm{c}} $代表第i個曝光圖$P_i^{\rm{c}} $與其對應的歸一化權重${{\tilde {{W}}}_{\rm{I}}} $進行加權重構處理. 增強圖像具有曝光度良好、細節輪廓信息豐富的特點.

          • Ma等[15]提出了基于視覺顯著性和最小二乘優化法的視覺顯著性檢測方法(Visual Saliency detection Method, VSM),解決基礎層的低頻信息殘留問題. 這個方法的基本思想是,求目標像素與其他像素的對比度,根據對比度進行加權. 讓 ${I_t}$ 代表圖像 $I$ 中某個像素t的強度值,那么t的權值 ${{W}}(t)$ 為:

            ${{W}}(t) = \left| {{I_t} - {I_1}} \right| + \left| {{I_t} - {I_2}} \right| + \left| {{I_t} - {I_3}} \right| + \cdots + \left| {{I_t} - {I_N}} \right|,$

            式中,N代表像素總數,t像素的權值定義為其與各個像素的差的絕對值的和. 故可表示為:

            ${{W}}(t) = \sum\limits_{j = 0}^{L - 1} {{N_j}\left| {{I_t} - {I_j}} \right|}, $

            式中,j是像素的序號,${N_j}$ 表示和 ${I_j}$ 的亮度值相同的像素代號.

          • Kou等[16]提出了梯度域導向濾波(Gradient Domain Guided Filter, GDGF)系統. 該系統核心思想是在導向濾波(Guided Filter, GF)[17]的基礎上引入一個一階邊緣感知約束,旨在邊緣檢測和細節增強方面得到更好的效果. 其核心的邊緣檢測功能由如下邊緣感知權重函數完成:

            ${\hat \Gamma}(p') = \frac{1}{N}\sum\limits_{P = 1}^N {\frac{{x(p') + \varepsilon }}{{x(p) + \varepsilon }}} ,$

            式中,$x(p')$ 定義為 ${\zeta _1}(p')$,${\zeta _1}$ 代表著濾波器窗口的大小,通常設置成16,$\varepsilon $ 表示平滑因子,${\hat \Gamma }(p')$ 測量像素p在整個引導圖像的權重,對于一個有著N個像素的圖像,其 ${\hat \Gamma}(p')$ 的復雜程度則是 $O(N)$. 此邊緣權重函數又作為參數來構成另一個邊緣參數 ${J_{p'}}$

            ${J_{p'}} = \dfrac{{{\mu _{G\Theta X,{\zeta _1}(p')}} - {\mu _{G,{\zeta _1}(p')}}{\mu _{X,{\zeta _1}(p')}} + \dfrac{\lambda }{{{{\hat \Gamma }_G}(p')}}{\gamma _{p'}}}}{{{\delta ^2}_{G,{\zeta _1}(p')} + \dfrac{\lambda }{{{{\hat \Gamma }_G}(p')}}}},$

            式中, $\Theta $ 代表的是兩個矩陣的元素積,${\Omega _{{\zeta _1}(p')}}$ 是一半徑為1的像素p為中心的方窗函數,而 ${\mu _{G\Theta X,{\zeta _1}(p')}}$,${\mu _{G,{\zeta _1}(p')}}$,${\mu _{X,{\zeta _1}(p')}}$ 分別是指G,X以及其元素積在窗口函數 ${\Omega _{{\zeta _1}(p')}}$ 中的均值, $ \lambda $ 是正則化參數,用于對 ${J_{p'}}$ 的值進行修正防止其值過大.

            另一個邊緣參數 ${K_{p'}}$ 則定義為:

            ${K_{p'}} = {\mu _{X,{\zeta _1}(p')}} - {J_{p'}}{\mu _{G,{\zeta _1}(p')}}.$

            通過兩個參數以及圖像G可以得到最終轉換出來的圖像Z,其構成公式為:

            $\hat Z(p) = {\bar J_{p'}}G(p) + {\bar K_{p'}},$

            式中,$G(p)$ 為輸入圖像G中第p個像素,$\hat Z(p)$ 是輸出結果Z中的第p個像素,與輸入圖像的空間對應關系為原圖中的第p個像素 $G(p)$,${\bar J_{p'}}$${\bar K_{p'}}$ 分別是 ${J_{p'}}$${K_{p'}}$ 在窗函數中的均值.

          • 對原圖進行潛在低秩分解后將到低秩層和顯著層,其中低秩層包含著圖像大部分的基礎信息,如亮度、背景等信息,選取的融合策略應有利于提升紅外目標與背景的對比度,以增強紅外目標顯著程度;顯著部分包含著圖像的邊緣、紋理和輪廓特征. 對于顯著層,應選取最利于圖像細節紋理和輪廓特征保留的融合策略.

            之前介紹的兩個理論中,VSM對基礎層的紅外背景有著強大的抑制和過濾作用,可以有效突出紅外目標,增加紅外目標的顯著性. 而GDGF算法加入了邊緣感知函數,對于細節紋理和輪廓信息的判別有著較好的效果.

            本文結合二者優勢構造出一個新的權重重構框架:運用GDGF系統,結合顯著層細節分布作為導向,對VSM得到的一次權重圖進行濾波重構,優化出一個新的二次權重圖參與并引導顯著層的融合. 本文構造的權重重構框架如圖2所示.

            圖  2  梯度導向濾波權重重構框架

            Figure 2.  The weight reconstruction framework for gradient guided filtering

            這種結合VSM和GDGF以構造改良權重的具體步驟如下:

            步驟 1 利用VSM對紅外源圖像進行顯著性檢測得到第一層權重圖.

            步驟 2  將紅外源圖像進行低秩分解得到顯著層.

            步驟 3 將之前得到的第一層權重圖當作GDGF的待濾波圖像.

            步驟 4 將通過低秩分解得到的紅外顯著層作為引導圖像與第一層權重放入梯度導向濾波系統進行濾波優化.

            步驟 5 經濾波系統重構得到優化過的二次權重圖,并將其作為顯著層融合決策圖.

            由于重要的細節紋理等高頻信息多存在于可見光顯著層中,使用可見光顯著層作為引導圖像,能夠引導濾波過程并將一次權重圖中的細節紋理特征等信息進行保留,且較大程度地去除掉其中不應存在顯著層中殘留的紅外背景信息.

            而GDGF理論本身,因為其方窗函數、正則化參數 $\lambda $,以及邊緣參數 ${a_{p'}}$、${b_{p'}}$ 的存在,有著更好的邊緣輪廓特征的感知特性. 利用其進行濾波操作,可以起到優化紅外目標邊緣特征,增加輪廓可識別度的作用,并實現對細節信息的提取效果. 使用此框架構建二次權重圖來參與顯著層的融合,可以很好地去除殘留的紅外背景信息,保留圖像細節紋理特征,并優化目標輪廓分辨度. 利用二次權重圖進行顯著層融合的效果如圖3所示.

            圖  3  顯著層融合效果對比

            Figure 3.  Comparison of fusion result of saliency part

            從兩圖藍色框內椅子輪廓、背包細節,以及人物腿部輪廓可以看出,二次權重參與的融合結果中目標輪廓清晰度更加優越,細節紋理信息也獲得更多保留;根據紅框所示也可以看出,濾波優化對顯著層中紅外背景殘留信息的抑制、目標輪廓的修正和去模糊化也有很好地效果. 雖為了實現對紅外背景殘留信息的去除,抑制了顯著層中如路燈、房燈的亮度信息,但這些低頻信息在基礎層中有著更多的保留,融合時進行復原處理,不影響最終融合結果的亮度效果.

          • 融合策略可以歸納為:低秩層采取VSM去除殘留的低頻紅外背景信息并得到初次權重圖來引導融合. 此方法可以增強目標與背景的對比度,有利于紅外目標信息的提取,提高目標顯著性,顯著層則使用上述權重重構框架提取的二次權重圖來引導融合,以充分保留圖像的細節紋理和優化紅外目標輪廓特征. 整體融合框架如圖4所示,融合步驟如下:

            圖  4  本文算法整體融合框架

            Figure 4.  The total fusion framework of our algorithm

            步驟 1 將可見光源圖像放入可見光增強框架中,得到增強的可見光圖像.

            步驟 2 對增強的可見光圖像和紅外圖像進行潛在低秩分解得到低秩層和顯著層.

            步驟 3 運用VSM模塊對紅外源圖像進行處理,得到初次權重圖.

            步驟 4 將紅外顯著層作為引導圖像,放入GDGF重構框架對初次權重圖 進行濾波優化,得到二次顯著權重圖.

            步驟 5 將可見光顯著層與紅外顯著層放入GDGF細節層重構模塊,并利用二次權重圖作為融合策略進行重構得到顯著層融合圖.

            步驟 6 將紅外低秩層與可見光的低秩層放入VSM基礎層重構模塊,并利用初次權重圖作為融合策略進行重構得到低秩融合圖.

            步驟 7 將融合好的顯著部分和低秩部分使用加權平均算法得到最終的融合圖像.

          • 本實驗使用的實驗平臺環境為intel i7 9750H,16GB RAM,Matlab R2018a. 為了測試本文算法的效果,使用3組TNO數據集中經過校準的紅外與可見光圖像(Bristol Queen's Road,Kaptein,Movie_01)進行融合測試,并選取了7種較流行的紅外與可見光融算法:總變分梯度轉換法(GTF)[18]、雙樹復數小波變換法(DT_CWT)[19]、多尺度奇異值分解法(MSVD)[20]、導向濾波融合法(GFF)[21]、基于紅外特征抽取和顯著性檢測的方法(IFE)[22]、CNN[23]和LatLRR[11]進行比較,分析本文算法的優越性與合理性.

            第1組圖像是紅外圖像數據集中的Bristol Queen's Road. 圖5為各算法實驗結果,圖6圖5中紅色框內的局部圖像的放大效果,用于對比各種算法的細節紋理效果. 圖5(a)、6(a)是GTF算法融合結果,圖像黃框內人物目標輪廓較為模糊,紅框放大圖中椅子輪廓雖較為清晰,但藍色框內的廣告牌存在較為嚴重的黑影;圖5(b)、6(b)圖5(c)、6(c)分別是DT_CWT和MSVD算法結果,從黃框內目標可以看出,人物目標的顯著性效果比較差,紅框部分放大圖則暴露了其細節保留程度不夠的缺點;圖5(d)、6(d)GFF算法雖然顯著性較強,但細節輪廓模糊不清,圖像各處存在黑影,整體灰度不均勻;圖5(e)、6(e)IFE算法也有著較強的顯著性,但是從放大圖中可以看到其細節信息最為不足,輪廓信息丟失嚴重;圖5(f)、6(f)CNN的融合效果較好,但是根據放大圖可以看出其在細節和輪廓質量方面仍然存在不足;圖5(g)、6(g)為傳統的LatLRR方法,從紅、黃兩框內的圖像效果可以看出,其細節信息和目標顯著程度均存在明顯缺陷. 而圖5(h)、6(h)所示為本文算法融合結果,可以看到相比其他算法,黃框內人物目標的對比度和顯著程度最高,易于分辨和觀測;圖中車輛和路燈輪廓明顯,藍色框內廣告牌最為清晰干凈,不存在黑影效果;且從紅框放大圖可以明顯看出,椅子輪廓的分辨度遠遠高于其他算法結果. 這組實驗顯示,本文方法在細節效果、輪廓信息和目標顯著程度方面得到了優越的效果,特別是細節和輪廓信息的保留程度,明顯優于其他方法.

            圖  5  各算法結果全局效果對比(Bristol Queen's Road)

            Figure 5.  The global effect comparison of each algorithm results (Bristol Queen's Road)

            圖  6  紅色框內椅子局部細節對比(Bristol Queen's Road)

            Figure 6.  The local details comparision of the chair in red box (Bristol Queen's Road)

            第2組實驗選取了TNO數據集中的圖像Kaptein. 觀察圖7、8可以發現,圖7(a)、8(a)GTF算法雖然顯著性較好,但從紅藍框中可以看到其灌木叢輪廓并不清晰,且天空的可見光信息存在丟失;圖7(b)、8(b)DT_CWT、圖7(c)、8(c)MSVD以及圖7(g)、8(g)LatLRR算法的人物目標與背景對比度不夠,顯著性較弱,灌木叢輪廓清晰度也存在不足;圖7(d)、8(d)GFF算法結果的天空、地面、人物目標位置均存在明顯黑影,影響了觀感;圖7(e)、8(e)IFE和圖7(f)、8(f)CNN算法的目標顯著度較為良好,但紅、藍色框內的灌木的細節輪廓不清晰. 圖7(h)、8(h)為本文算法,圖中人物目標顯著,且觀察圖中紅、藍框內效果可以看到灌木叢樹葉紋理信息最為豐富,可分辨度最高,這組實驗進一步表明了本文算法兼顧了目標顯著效果和細節紋理信息的保留能力.

            圖  7  各算法結果全局效果對比(Kaptein)

            Figure 7.  The global effect comparison of each algorithm results (Kaptein)

            圖  8  紅色框內灌木叢局部細節放大圖(Kaptein)

            Figure 8.  The local details comparision of the bush in red box (Kaptein)

            第3組實驗圖像取自TNO數據集中的特攝鏡頭包(UN-camp). 這組圖像的紅外目標非常顯著且輪廓分明,可以很好地驗證算法對于紅外目標輪廓特征的提取和優化性能. 觀察圖9、10可以直觀地看到,圖9(a)、10(a)MSVD、圖9(b)、10(b)LatLRR、圖9(c)、10(c)DT_CWT、圖9(d)、10(d)GTF以及圖9(e)、10(e)CNN算法在目標顯著程度上均有所不足,且目標的輪廓較為模糊. 而圖9(f)、10(f)GFF,圖9(g)、10(g)IFE兩種算法在放大圖中可以看出其目標顯著度有所提升,但其邊緣輪廓清晰度依然不足. 本文算法結果如圖9(h)、10(h)所示,紅外目標的亮度和顯著性最好,輪廓的清晰程度更有明顯地提升. 紅框內柵欄輪廓的可分辨度也相對于其他算法較好. 驗證了本文算法對于紅外目標的顯著性及其邊緣輪廓清晰度的優化效果.

            圖  9  各算法結果全局效果對比(UN-camp)

            Figure 9.  The global effect comparison of each algorithm result (UN-camp)

            圖  10  黃色框內人影局部細節放大圖(UN-camp)

            Figure 10.  The local details comparision of the human in yellow box (UN-camp)

          • 除主觀圖像視覺效果的評價,本文還采用5種重要的評價指標對算法進行測試. 這5種評價指標分別是:平均梯度(AG)、信息熵(SE)[24]、標準差(SD)、像素級視覺信息保真度(VIFP)[25]以及圖像互信息(MI). 其中AG 又稱圖像銳度值,其值越高代表著圖像細節紋理特征越清晰;SE代表著變量的不確定性,其值大小代表了圖像所含信息量的多少;SD則反映了圖像像素值與均值的離散程度,標準差越大則圖像質量越好;VIFP是視覺信息保真度(VIF)的像素級(pixel-based)升級版,繼承了VIF從通信和信息共享的角度評判圖像質量的方式,還優化了主觀視覺感受和結構失真程度的評判能力,對于圖像視覺效果的判定較為可靠,其值越大,圖像保真度越高;MI是圖像互信息,代表著融合結果與原圖像的相關性,其值越高則融合過程中保留的信息越多,融合效果也就越好.

            表1可見,本文算法的結果在5種指標中只有SE略低于其他算法,其中AG、VIFP數值超出其他算法較多,代表著本文算法在細節紋理分辨度和視覺效果保真度的優勢. 表2的指標中,雖然AG略低于其他部分算法,但是SE、VIFP,以及MI較大幅度地超出其他算法,代表著本文算法在全局結構和信息保留方面的領先. 而表3中本文算法的質量指標值均大于其他算法,表現了本文算法整體效果的優越性. 為了更加直觀地體現各個算法融合結果質量的整體差異,各算法3個融合結果圖的平均質量指標如表4所示. 可以看出本文算法各指標平均值均大于其他算法,且AG、VIFP以及MI這3項指標均有較大程度的領先,證明了本文算法在細節紋理和視覺保真效果,以及全局信息保留程度上均有著較大優勢.

            算法AGSESDVIFPMI
            GTF 2.885 6.620 29.77 0.304 1.391
            DT_CWT 4.230 6.158 25.26 0.327 0.864
            MSVD 3.271 5.935 21.14 0.290 1.135
            GFF 4.369 6.699 35.56 0.43 1.357
            IFE_VIP 4.180 6.701 38.27 0.464 1.256
            CNN 4.454 6.609 37.04 0.482 1.326
            LatLRR 3.022 6.029 27.48 0.349 0.989
            本文算法 5.481 6.412 38.40 0.521 1.397

            表 1  各種算法的客觀指標比較(Bristol Queen's Road)

            Table 1.  Objective indicators comparison of various algorithms (Bristol Queen's Road)

            算法AGSESDVIFPMI
            GTF 3.179 6.958 38.17 0.215 1.501
            DT_CWT 4.576 6.705 33.61 0.291 0.877
            MSVD 4.071 6.554 31.63 0.213 0.991
            GFF 4.344 6.989 36.05 0.335 1.541
            IFE_VIP 4.708 6.971 52.78 0.387 1.679
            CNN 4.832 7.101 53.67 0.359 1.046
            LatLRR 3.252 6.701 35.75 0.271 0.984
            本文算法 4.608 7.249 54.80 0.439 1.738

            表 2  各種算法的客觀指標比較(Kaptein)

            Table 2.  Objective indicators comparison of various algorithms (Kaptein)

            算法AGSESDVIFPMI
            GTF 4.144 6.678 26.86 0.199 1.025
            DT_CWT 5.202 6.485 26.27 0.241 0.751
            MSVD 4.333 6.249 22.77 0.196 0.776
            GFF 4.879 6.674 29.02 0.275 0.871
            IFE_VIP 5.295 6.767 32.14 0.262 1.277
            CNN 5.272 7.002 37.25 0.286 1.005
            LatLRR 4.201 6.554 29.72 0.236 0.868
            本文算法 5.296 7.097 38.31 0.392 1.731

            表 3  各種算法的客觀指標比較(UN-camp)

            Table 3.  Objective indicators comparison of various algorithms (UN-camp)

            算法AGSESDVIFPMI
            GTF 4.491 6.751 39.15 0.371 1.231
            DT_CWT 4.669 6.449 28.38 0.286 0.831
            MSVD 3.891 6.246 25.18 0.233 0.967
            GFF 4.531 6.787 33.54 0.347 1.256
            IFE_VIP 4.727 6.813 41.06 0.371 1.404
            CNN 4.853 6.904 42.65 0.376 1.126
            LatLRR 3.492 6.428 30.98 0.285 0.947
            本文算法 5.128 6.919 43.84 0.451 1.622

            表 4  各種算法的客觀指標的平均值

            Table 4.  The average of the objective indicators of various algorithms

          • 本文針對融合過程中,圖像細節紋理信息的保留與紅外目標輪廓質量和顯著性難以同時兼顧的問題提出新的融合框架. 在潛在低秩分解的基礎上,結合增強算法和顯著性檢測對圖源特征信息進行強化;再利用梯度域導向濾波來優化決策權重圖中細節和輪廓特征的權重,使得其在融合過程中得以最大程度地保留. 使用優化后的兩層權重圖作為融合策略分別引導顯著層和低秩層融合有效抑制了細節層中殘留的紅外背景信息,較好地提升了紅外目標的輪廓清晰度,也保留了可見光圖像豐富的紋理細節信息. 實驗表明,本文算法融合的圖像細節紋理信息豐富,紅外目標顯著且其輪廓清晰易于分辨,視覺效果和全局質量良好,在主客觀的評價指標上,均優于文中對比的其他融合算法. 但本文算法效果相對于一些最先進的融合方法仍有一定的差距:如近期武漢大學的馬佳義在基于對抗學習的FusionGAN算法基礎上,進一步設計細節和目標輪廓損失函數所構造出來的新融合算法[26],其使用文中的3幅TNO圖組測試得到的細節質量相關指標SD和SE分別達到46.01和7.054. 為了改進和完善本文算法,下一步的研究將繼續在細節信息的保留和去噪效果的方向上進行努力,同時也將使算法效率得到進一步的提升.

        參考文獻 (26)

        目錄

          /

          返回文章
          返回