<address id="japib"><nav id="japib"></nav></address>

<cite id="japib"></cite>

        多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法

        王長城 周冬明 劉琰煜 謝詩冬

        引用本文:
        Citation:

        多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法

          作者簡介: 王長城(1996?),男,湖南人, 碩士生,主要研究圖像處理.E-mail:changcheng@mail.ynu.edu.cn;
          通訊作者: 周冬明, zhoudm@ynu.edu.cn
        • 中圖分類號: TP391

        Multi-focus image fusion algorithm based on multi-scale morphological focus measures and optimized random walk

          Corresponding author: ZHOU Dong-ming, zhoudm@ynu.edu.cn ;
        • CLC number: TP391

        • 摘要: 在傳統的多聚焦圖像融合方法中,聚焦測量產生的決策圖往往對噪聲和錯誤配準敏感,同時在聚焦檢測區域中容易出現毛刺、小孔以及小塊孤立區域等識別錯誤. 針對上述問題提出了一種基于多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法. 首先多聚焦圖像通過多尺度形態聚焦測量生成初始的決策圖,多尺度形態聚焦測量有高的聚焦區域檢測精度并且能很好地識別圖像輪廓;然后利用形態濾波和小塊濾波對決策圖中的聚焦區域進行重建,去除初始決策圖中的毛刺和小塊孤立區域;最后利用優化后的隨機游走算法從概率的角度建模,通過求解一個替代目標函數來估計決策圖中每個像素與觀察到的像素相關聯的概率,生成最優的決策圖. 實驗結果表明,在主觀評價中,提出的方法其局部放大圖像清晰無偽影,能較好地對準邊界;在客觀評價中,提出的方法在8項指標中均取得了明顯的優勢.
        • 圖 1  融合算法流程圖

          Figure 1.  Flow chart of fusion algorithm

          圖 2  各流程后的決策圖

          Figure 2.  decision map after each process

          圖 3  隨機游走算法的圖表模型

          Figure 3.  A graph model of the random Walk algorithm

          圖 4  優化前后的隨機游走算法選取的決策圖

          Figure 4.  decision diagram selected by the random walk algorithm before and after optimization

          圖 5  “高爾夫”實驗圖像集融合結果

          Figure 5.  Image fusion results of the first group of experiments

          圖 6  “潛水員”實驗圖像集融合結果

          Figure 6.  Image fusion results of the second group of experiments

          圖 7  “小孩”實驗圖像集融合結果

          Figure 7.  Image fusion results of the third group of experiments

          圖 8  “城堡”實驗圖像集融合結果

          Figure 8.  Image fusion results of the fourth group of experiments

          表 1  “高爾夫”實驗圖像集融合結果的客觀評價指標

          Table 1.  Objective evaluation index of fusion results of "Golf" experimental image set

          算法 AVG SEN STD VIF VIFP IFC MIN QABF
          CBF 5.682 7.310 44.57 0.6606 0.6673 5.323 3.532 0.7334
          GFF 5.984 7.325 45.21 0.7233 0.7049 25.85 3.892 0.7423
          CRF 5.613 7.317 45.12 0.6994 0.6821 6.213 3.523 0.7151
          CNN 5.959 7.325 45.21 0.7250 0.7064 30.01 4.011 0.7446
          NSCT 4.182 7.268 42.94 0.5315 0.5816 3.404 3.073 0.6112
          MWGF 5.945 7.323 45.31 0.7182 0.7054 27.37 3.930 0.7329
          DCHWT 5.379 7.297 44.19 0.6265 0.6338 4.239 3.198 0.6884
          本文方法 6.043 7.326 45.32 0.7292 0.7086 33.21 4.185 0.7448
          下載: 導出CSV

          表 2  “潛水員”實驗圖像集融合結果的客觀評價指標

          Table 2.  Objective evaluation index of fusion results of "Diver" experimental image set

          算法 AVG SEN STD VIF VIFP IFC MIN QABF
          CBF 5.873 7.480 52.64 0.6768 0.6603 5.583 3.956 0.7412
          GFF 6.205 7.491 53.14 0.7508 0.7051 27.05 4.443 0.7448
          CRF 5.779 7.482 52.97 0.7177 0.6730 6.226 3.922 0.7159
          CNN 6.193 7.491 53.125 0.7530 0.7062 34.54 4.542 0.7458
          NSCT 4.253 7.456 52.09 0.5425 0.5732 3.471 3.441 0.6170
          MWGF 6.223 7.492 53.23 0.7469 0.7037 28.99 4.406 0.7411
          DCHWT 5.767 7.476 52.6 0.6628 0.6432 4.606 3.638 0.7074
          本文方法 6.225 7.492 53.21 0.7546 0.7073 36.06 4.618 0.7456
          下載: 導出CSV

          表 3  “小孩”實驗圖像集融合結果的客觀評價指標

          Table 3.  Objective evaluation index of the fusion results of "Kid" experimental image set

          算法 AVG SEN STD VIF VIFP IFC MIN QABF
          CBF 5.9005 7.898 68.183 0.6613 0.6489 5.7746 3.8907 0.7296
          GFF 6.1086 7.882 68.989 0.7334 0.6881 23.682 4.2717 0.7355
          CRF 5.6812 7.892 68.839 0.7023 0.6607 6.2224 3.8781 0.7096
          CNN 6.1019 7.879 68.964 0.7397 0.6914 35.014 4.4894 0.7382
          NSCT 4.1218 7.878 67.677 0.4751 0.5327 3.0328 3.3322 0.5772
          MWGF 6.1413 7.881 69.048 0.7291 0.6873 28.383 4.3115 0.7328
          DCHWT 5.6675 7.900 68.297 0.6263 0.6147 4.2929 3.5503 0.6946
          本文方法 6.1475 7.896 69.053 0.7412 0.6918 36.553 4.5898 0.7379
          下載: 導出CSV

          表 4  “城堡”實驗圖像集融合結果的客觀評價指標

          Table 4.  Objective evaluation index of fusion results of "Castle" experimental image set

          算法 AVG SEN STD VIF VIFP IFC MIN QABF
          CBF 6.8527 7.797 68.932 0.6659 0.6314 6.162 4.0715 0.7297
          GFF 7.0997 7.792 69.498 0.7208 0.6670 17.65 4.2143 0.7341
          CRF 6.6439 7.785 69.316 0.7019 0.6395 6.4009 3.9523 0.7111
          CNN 7.0595 7.793 69.331 0.7236 0.6699 30.319 4.5112 0.7369
          NSCT 4.558 7.784 68.2 0.4699 0.5002 3.0565 3.3506 0.5623
          MWGF 6.2505 7.792 69.131 0.6588 0.6477 29.435 4.5313 0.6676
          DCHWT 6.6559 7.794 68.825 0.6074 0.5750 4.0989 3.5217 0.6763
          本文方法 7.1794 7.797 69.567 0.7315 0.6746 34.396 4.6801 0.7367
          下載: 導出CSV

          表 5  4組實驗客觀融合評價指標的平均值

          Table 5.  The average value of objective evaluation index of four groups of experiments

          算法 AVG SEN STD VIF VIFP IFC MIN QABF
          CBF 6.077 7.621 58.581 0.666 0.652 5.711 3.863 0.733
          GFF 6.349 7.622 59.209 0.732 0.691 23.558 4.205 0.739
          CRF 5.929 7.619 59.061 0.705 0.664 6.266 3.819 0.713
          CNN 6.328 7.622 59.158 0.735 0.693 32.472 4.388 0.741
          NSCT 4.279 7.597 57.727 0.505 0.547 3.241 3.299 0.592
          MWGF 6.140 7.622 59.180 0.713 0.686 28.545 4.295 0.719
          DCHWT 5.867 7.617 58.478 0.631 0.617 4.309 3.477 0.692
          本文方法 6.399 7.628 59.270 0.739 0.696 35.055 4.518 0.742
          下載: 導出CSV
          幸运快三
        • [1] Zhang Y, Bai X, Wang T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. Information Fusion, 2017, 35(3): 81-101. DOI:  10.1016/j.inffus.2016.09.006.
          [2] Chen Y, Guan J, Cham W K. Robust multi-focus image fusion using edge model and multi-matting[J]. IEEE Transactions on Image Processing, 2017, PP(99): 1-1.
          [3] 劉棟, 周冬明, 聶仁燦, 等. NSCT域內結合相位一致性激勵PCNN的多聚焦圖像融合[J]. 計算機應用, 2018, 38(10): 3 006-3 012. Liu D, Zhou D M, Nie R C, et al. Multi-focus image fusion with Phase-coherent excitation PCNN in NSCT domain[J]. Computer Applications, 2018, 38(10): 3 006-3 012.
          [4] Xing C D, Wang Z S, Ouyang Q, et al. Image fusion method based on spatially masked convolutional sparse representation[J]. Image Vis Comput, 2019, 90(2): 73-82.
          [5] Liao C Z, Liu Y S, Jiang M Y. Multifocus image fusion using Laplacian pyramid and Gabor filters[J]. Applied Mechanics & Materials, 2013, 373-375: 530-535.
          [6] Zhang Q, Guo B L. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Processing, 2009, 89(7): 1 334-1 346. DOI:  10.1016/j.sigpro.2009.01.012.
          [7] Zhang Q, Levinee M. Robust multi-focus image fusion using multi-task sparse representation and spatial context[J]. IEEE Transactions on Image Processing, 2017: 1-1.
          [8] De I, Chanda B. Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure [J]. Information Fusion, 2013, 14(2): 136-146.
          [9] Li S T, Kang X D, Hu J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2 864-2 875. DOI:  10.1109/TIP.2013.2244222.
          [10] Zhou Z, Sun L, Bo W. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion, 2014, 20(1): 60-72.
          [11] Yu L, Liu S, Wang Z. Multi-focus image fusion with dense SIFT[J]. Information Fusion, 2015, 23(C): 139-155.
          [12] Li S, Yang B. Multifocus image fusion using region segmentation and spatial frequency[J]. Image & Vision Computing, 2011, 26(7): 971-979.
          [13] Naidu V P S. Multi focus image fusion using the measure of focus[J]. Journal of Optics, 2012, 41(2): 117-125. DOI:  10.1007/s12596-012-0071-3.
          [14] Farid M S, Mahmood A, Almaadeed S A. Multi-focus image fusion using content adaptive blurring[J]. Information Fusion, 2018, 45: 96-112.
          [15] Chen J J, Su C R, Grimson W E L, et al. Object segmentation of database images by dual multiscale morphological reconstructions and retrieval applications[J]. IEEE Transactions on Image Processing, 2012, 21(2): 828-843. DOI:  10.1109/TIP.2011.2166558.
          [16] Bai X Z, Zhou F G, Xue B D. Fusion of infrared and visual images through region extraction by using multi scale center-surround top-hat transform[J]. Optics Express, 2011, 19(9): 8 444-8 457. DOI:  10.1364/OE.19.008444.
          [17] 劉琰煜, 周冬明, 聶仁燦, 等. 低秩表示和字典學習的紅外與可見光圖像融合算法[J]. 云南大學學報: 自然科學版, 2019, 41(4): 689-698. Liu Y Y, Zhou D M, Nie R C, et al. Infrared and visible image fusion algorithm for low-rank representation and dictionary learning[J]. Journal of Yunnan University: Natural Sciences Edition:, 2019, 41(4): 689-698.
          [18] Bai X, Gu S, Zhou F, et al. Weighted image fusion based on multi-scale top-hat transform: Algorithms and a comparison study[J]. Optik - International Journal for Light and Electron Optics, 2013, 124(13): 1 660-1 668. DOI:  10.1016/j.ijleo.2012.06.029.
          [19] Bai X, Yu Z, Zhou F, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22: 105-118. DOI:  10.1016/j.inffus.2014.05.003.
          [20] Ma J, Zhou Z, Bo W, et al. Multi-focus image fusion based on multi-scale focus measures and generalized random walk [C]//Proceedings of the 2017 36th Chinese Control Conference (CCC), Dalian, China, 2017: 5 464-.
          [21] Yu W, Zhai K, Hao Z, et al. Accelerated floating random walk algorithm for the electrostatic computation with 3-D rectilinear-shaped conductors[J]. Simulation Modelling Practice & Theory, 2013, 34(4): 20-36.
          [22] Amin-naji M, Aghagolzadeh A, Ezoji M. Ensemble of CNN for multi-focus image fusion[J]. Information Fusion, 2019, 51(2): 201-214. DOI:  10.1016/j.inffus.2019.02.003.
          [23] Yan Y, Jin W U, Deng H, et al. Multi-focus image fusion based on CRF pre-segmentation and NSCT[J]. Video Engineering, 2018, 42(1): 7-12.
          [24] Kumar B K S. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal Image & Video Processing, 2013, 7(6): 1 125-1 143.
          [25] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal Image & Video Processing, 2015, 9(5): 1 193-1 204.
          [26] Yu L, Xun C, Hu P, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2016, 36: 191-207.
        • [1] 于佳麗郭敏 . 融合灰度和梯度方向信息的隨機游走的圖像分割. 云南大學學報(自然科學版),
          [2] 李肖肖聶仁燦周冬明謝汝生 . 圖像增強的拉普拉斯多尺度醫學圖像融合算法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20180840
          [3] 侯瑞超周冬明聶仁燦李興葉 . 結合HSI變換與雙通道脈沖發放皮層的彩色多聚焦圖像融合. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20180191
          [4] 劉琰煜周冬明聶仁燦侯瑞超丁齋生 . 低秩表示和字典學習的紅外與可見光圖像融合算法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20180753
          [5] 丁齋生周冬明聶仁燦侯瑞超劉棟劉琰煜 . 基于視覺顯著性與殘差網絡的紅外-可見光圖像融合方法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20180692
          [6] 謝詩冬周冬明聶仁燦劉琰煜王長城 . 基于顯著性檢測與梯度導向濾波的紅外與可見光圖像融合. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20190675
          [7] 郭敏任娜 . 基于小波變換與塊分割的多聚焦圖像融合. 云南大學學報(自然科學版),
          [8] 梅禮曄郭曉鵬張俊華郭正紅肖佳 . 基于空間金字塔池化的深度卷積神經網絡多聚焦圖像融合. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20170670
          [9] 曾超李娜王維周曙白陳朝陽 . 群搜索算法與Powell法結合的醫學圖像配準. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20120464
          [10] 龔泠方徐丹 . 基于改進SIFT的結構與紋理相似圖像配準方法. 云南大學學報(自然科學版),
          [11] 曹君宇周浩高志山焦紅虹李寧 . 基于SURF的圖像拼接過程中配準算法的改進. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20160226
          [12] 趙玲劉云黃喬勇 . 橋梁健康監測中多傳感器的時空數據配準分析. 云南大學學報(自然科學版),
          [13] 胡光華 . 參數Markov決策過程的隨機逼近算法. 云南大學學報(自然科學版),
          [14] 呂亮何敏易燦 . 一種基于MH改進的重啟隨機游走鏈路預測算法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20200209
          [15] 郭正紅張俊華郭曉鵬梅禮曄 . 結合視覺顯著圖的Seam Carving圖像縮放方法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20170223
          [16] 李勁劉惟一 . 構造多Agents影響圖的策略相關圖. 云南大學學報(自然科學版),
          [17] 盧康賀西平安笑笑賀升平尼濤 . 基于TSVM的多特征融合超聲金屬防偽識別. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20160548
          [18] 趙曉娟賈焰李愛平常春喜 . 多源知識融合技術研究綜述. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20190481
          [19] 唐菁敏楊孟曹金石龍華張春平 . 隨機分布多跳協作分集系統中斷性能研究. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20120720
          [20] 李春芬趙東風丁洪偉 . 雙時二維概率多通道多業務隨機多址協議分析. 云南大學學報(自然科學版),
        • 加載中
        圖(8)表(5)
        計量
        • 文章訪問數:  472
        • HTML全文瀏覽量:  486
        • PDF下載量:  25
        • 被引次數: 0
        出版歷程
        • 網絡出版日期:  2020-07-31

        多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法

          作者簡介:王長城(1996?),男,湖南人, 碩士生,主要研究圖像處理.E-mail:changcheng@mail.ynu.edu.cn
          通訊作者: 周冬明, zhoudm@ynu.edu.cn
        • 云南大學 信息學院,云南 昆明 650500

        摘要: 在傳統的多聚焦圖像融合方法中,聚焦測量產生的決策圖往往對噪聲和錯誤配準敏感,同時在聚焦檢測區域中容易出現毛刺、小孔以及小塊孤立區域等識別錯誤. 針對上述問題提出了一種基于多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法. 首先多聚焦圖像通過多尺度形態聚焦測量生成初始的決策圖,多尺度形態聚焦測量有高的聚焦區域檢測精度并且能很好地識別圖像輪廓;然后利用形態濾波和小塊濾波對決策圖中的聚焦區域進行重建,去除初始決策圖中的毛刺和小塊孤立區域;最后利用優化后的隨機游走算法從概率的角度建模,通過求解一個替代目標函數來估計決策圖中每個像素與觀察到的像素相關聯的概率,生成最優的決策圖. 實驗結果表明,在主觀評價中,提出的方法其局部放大圖像清晰無偽影,能較好地對準邊界;在客觀評價中,提出的方法在8項指標中均取得了明顯的優勢.

        English Abstract

        • 由于照相機光學透鏡的景深有限,光學鏡頭只能捕捉聚焦在局部場景上的圖像. 因此,只有在景深內的物體是聚焦的、清晰的,而景深外的物體則是模糊的[1]. 然而,部分聚焦的圖像所傳遞的信息是不完備的,因為有意義的對象并沒有全部聚焦在一幅圖像中. 多聚焦圖像融合是解決這一問題的一種有效手段,通過將一系列同一場景具有不同聚焦設置的圖像中的聚焦對象合并來構建一個全聚焦圖像. 近幾十年來,已經提出了許多種用于多聚焦圖像融合的算法,主要分為基于變換域的算法和基于空間域的算法[2].

          基于變換域的方法首先產生變換系數,然后根據一定的規則對這些系數進行融合[3],最后根據這些合成系數重建融合圖像[4]. 基于變換域的方法主要包括拉普拉斯金字塔[5]、非下采樣輪廓波變換[6]、基于多尺度變換和稀疏表示[7]等算法. 而基于空間域的算法則是通過聚焦測量的方法檢測聚焦的像素,然后根據生成的決策圖來完成圖像融合. 相對于變換域的算法,這更加直接也更為有效. 一般來說,空間域算法可以分為:基于像素、基于塊和基于區域的這3類算法[8]. 基于像素的融合算法通常僅考慮單個像素或者使用局部鄰域中的信息,這樣快速簡單且有效. 近幾年比較先進的幾種基于像素的圖像融合方法分別是:基于GFF[9]的多聚焦圖像融合方法,基于MWGF[10]的圖像融合方法以及基于DSIFT[11]的圖像融合等方法. 這些方法確實能提高融合圖像的視覺效果,但在大多數情況下在生成決策圖的過程中會損失來自源圖像中的原始信息. 在基于塊[12]的算法中,源圖像首先被分解成大小相等的塊,再通過測量相應塊上的聚焦情況來檢測聚焦塊. 但這些算法的性能會受到所選塊大小的限制,塊的尺寸過大或過小均會影響融合圖像的質量. 而基于區域[13]的圖像融合算法首先通過使用諸如歸一化切割的圖像分割技術將源圖像分割成幾個區域,然后通過測量相應區域的清晰度并組合聚焦區域來進行圖像融合. 通常分割過程會降低基于區域的算法的效率,并且分割精度也會極大地影響融合圖像的最終質量.

          本文將常用于圖像平滑的多尺度形態濾波器,改進運用到聚焦檢測中取得了很好的效果. 在圖像聚焦區域與離焦區域的邊界較為復雜情況下,仍然能生成邊界準確的決策圖. 此外,對傳統的隨機游走算法進行了優化,對決策圖進行更優的選擇.

          • 基于多尺度形態聚焦測量和優化隨機游走的融合算法基本流程圖如圖1所示.算法主要由聚焦檢測、決策優化和隨機游走3個部分組成,首先多聚焦圖像通過多尺度形態聚焦檢測生成初始的決策圖,然后利用形態濾波和小塊濾波對初始決策圖中的聚焦區域進行重建優化,最后利用優化后的隨機游走算法生成最優的決策圖.

            圖  1  融合算法流程圖

            Figure 1.  Flow chart of fusion algorithm

          • 在圖像處理中,梯度表示圖像的銳度信息[14],而形態學梯度算子[15]能很好地提取圖像的梯度信息,并且可以通過改變結構元素[16]的尺寸擴展到多尺度形態學梯度算子,進行濾波處理等多項操作. 同樣,通過利用多尺度形態學梯度算子在不同的尺度上提取圖像的梯度信息[17],再將這些信息梯度進行整合就成了一個有效的聚焦測量,即為多尺度形態聚焦測量,步驟描述如下.

            步驟1 構建好多尺度結構元素.

            $\begin{split} S{E_j} =& S{E_1} \oplus S{E_1} \oplus S{E_1} \oplus \cdots \oplus S{E_1},\\ & j \in (1,2,3, \cdots ,n).\end{split}$

            式中,多尺度結構元素是由j個半徑為r的基本結構元素組成,n表示尺度的數目, 表示形態梯度算子中的膨脹算子.

            在數學形態學中,結構元素是用于提取圖像特征的虛擬工具,不同形狀的結構元素可用于提取不同類型的圖像特征. 另外,改變結構元素的大小可以擴展到多尺度,利用這些多尺度結構元素,從而可以在圖像中提取全面的梯度特征.

            步驟2 利用形態梯度算子計算圖像像 f (x, y)中尺度為 j 的梯度特征 Gj

            $\begin{split} {G_j}\left( {x,y} \right) = & f(x,y) \oplus S{E_j} - f(x,y) \ominus S{E_j},\\ & j \in (1,2, \cdots ,n).\end{split}$

            式中,$ \oplus $$ \ominus $ 分別是形態梯度算子中的膨脹算子和腐蝕算子,而在形態學運算當中,形態學梯度等于膨脹算子運算減去腐蝕算子運算.

            步驟3 將不同尺度下的形態梯度整合成多尺度形態梯度.

            ${G_Z}(x,y) = \sum\limits_{j = 1}^n {{w_j}{G_j}(x,y), } $

            其中,wjj尺度下梯度的加權值,它的值為1/(2j+1). 通過采用加權和的方式將不同尺度下的形態梯度整合到一起構造多尺度形態梯度. 不同的尺度下分配不同的加權值,尺度j越大,加權值便越小,反之尺度j越小,加權值便越大. 整合的加權梯度圖能很好地表達梯度信息,也能夠清楚有效地傳遞源圖像的聚焦信息[18].

            步驟4 將區域內的多尺度形態梯度求和,構建區域的多尺度形態聚焦測量. 由于梯度的總和有助于測量該區域的銳度,同時抑制噪聲[19],于是利用多尺度形態梯度的總和來描述該區域的聚焦測量.

            $G(x,y) = \sum\limits_{(p,q)} {{G_Z}(p,q){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} } ,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} (p,q) \in B.$

            在整個多尺度形態梯度測量過程中,還需要設置結構元素的形狀和尺度數值. 結構元素的形狀決定了運算所提取的信號的形狀信息,用不同形狀的結構元素對圖像進行處理就會得到不同的結果.在本文中,我們構建一個平坦的圓形結構元素來獲取局部的圖像特征信息. 此外,尺度數 $n$ 的設置決定了生成的形態梯度的性能和聚焦測量的效果,如果尺度數值設置較小,則效果不明顯,若設置太大,基于多尺度形態聚焦測量的耗時會比較長,并且會有很大的冗余.在本文中,尺度數值設置的實驗區間為[2,8],通過多組實驗的對比后發現將尺度 $n$ 設置為6時,融合圖像的效果最佳.

          • 源圖像經過多尺度形態聚焦測量得到了初始的決策圖,但初始的決策圖不太理想,雖然聚焦區域和離焦區域的邊界比較明顯,但檢測的聚焦區域內仍然存在部分識別錯誤的偽區域,如圖2(a)所示. 因此,利用兩個連續的濾波器來重建聚焦區域,對初始決策圖進行優化. 源圖像經各處理步驟后產生的決策圖如圖2所示,圖2(a)為多尺度形態聚焦測量產生的初始決策圖,圖2(b)為經過多尺度形態濾波后的決策圖,即利用小圓盤形狀的結構元素對檢測到的聚焦區域進行開閉運算處理,對初始決策圖中的聚焦區域進行微小調整. 通過這種處理方式來消除如圖2(a)所示檢測區域內的細線和毛刺,平滑聚焦區域的連接部分,并且將附近區域組合為整個區域,實現對檢測區域的優化調整. 形態濾波處理后,從圖2(b)中可以較明顯地看到一些細線,毛刺狀的微小區域得到了調整.

            但是決策圖的檢測區域內存在的小塊孤立區域并沒有太大的變化,因此為了優化決策圖,小塊濾波器來被用來重建檢測區域,將聚焦區域中的小孔進行填充或者刪除小的孤立區域. 小塊濾波的原理是基于小塊孤立區域面積與設定的閾值的比較,如果面積小于設定的閾值則判定為孤立區域進而被濾除. 在本文中,實驗的閾值區間是[1/60,1/20],實驗過程中閾值過高或過低都會影響濾除效果,多組實驗后發現將閾值設定圖像面積的1/40時能有效地去除小的孤立區域,使得最終檢測到的聚焦區域的一致性變得更好. 圖2(c)是經過小塊濾波后的決策圖,與圖2(b)相比可以明顯看到濾除了小塊的孤立區域,同時聚焦與離焦區域邊界整體要更清晰明了.

            圖  2  各流程后的決策圖

            Figure 2.  decision map after each process

          • 隨機游走算法實質上是計算一個隨機游走的人從一個像素點開始游走,最后到達標簽下的一個種子的到達概率,然后將該像素與種子集中有最大到達概率的相應種子標記為相同的標簽[20]. 把多尺度形態梯度聚焦測量得到的兩幅決策圖看成是來自源圖像的兩個不同的觀測結果,因為這兩個觀測結果具備著互補的性質,所以這就使得決策圖通過隨機游走算法估計后,可以得到效果更好更全面的決策圖.

            使用一個包含頂點的圖表來表示隨機游走算法,如圖3所示. 在圖表中,假定以多尺度形態聚焦測量生成的兩幅決策圖為估計的已知先驗,這兩個先驗可以作為標記種子被包括在增強圖中,即S1代表源圖像1產生的決策圖,S2代表源圖像2產生的決策圖. 運用上述增廣圖,先驗可以被自然編碼到隨機行走的框架中,以構建多標簽隨機游走算法. 估計決策圖中的每個像素由圖中的節點xi表示,在估計從每個節點開始首先到達兩個種子之一的概率時,如果一個種子首先到達的概率較高,則表示該像素與該種子(例如S1)有更大的可能相關聯.

            圖  3  隨機游走算法的圖表模型

            Figure 3.  A graph model of the random Walk algorithm

            此外,在圖中還需要分配兩種類型的權重,一種是節點與節點之間相互連接邊的權重 ${w_{ij}}$,它模擬了節點 ${x_i}$ 與節點 ${x_j}$ 之間的相似性,還有一種則是節點與種子相互連接邊的權重 ${h_{ik}}{\kern 1pt} {\kern 1pt} \left( {k = 1,2} \right)$,它模擬了節點 ${x_i}$ 與種子 ${S_k}$ 之間的相似性. 這些權重對于隨機游走來說是比較重要的,因為它們從實質上確定了從相鄰節點穿過相應邊緣最終到達標記種子的概率. 像許多其他隨機行走算法一樣,圖像域上的權重 ${w_{ij}}$ 可以使用典型的高斯加權函數來定義,如下表示相鄰像素之間的相似性:

            ${w_{ij}} = \exp \left( { - \frac{{{{\left( {{g_i} - {g_j}} \right)}^2}}}{\sigma }} \right).$

            $u_X^k = {(u_X^k({x_1}),u_X^k({x_2}), \cdots ,u_X^k({x_N}))^{\rm{T}}}$ 表示隨機游走從每個節點 ${x_i}(i = 1,2, \cdots ,N)$ 首次到達標記的種子 ${S_k}$ 的概率,$u_S^k = {(u_S^k({S_1}),u_S^k({S_2}))^{\rm{T}}}$ 表示隨機游走從節點中已經到達兩個種子中的其中一個時的概率. 我們把 $u_X^k$$u_S^k$ 放到一個向量當中:${u^k} = [u_S^k; u_X^k]$.

            在最近研究中發現隨機游走與電勢理論有緊密的聯系,在適當的仿真條件下,求解節點首次到達種子的概率可以表示為電路各節點電位的分布[21]. 因此,系統的總能量如下所示:

            ${J^k} = {\left( {{u^k}} \right)^{\rm{T}}}L{\kern 1pt} {\kern 1pt} {u^k}.$

            若想要求解 $u_X^k$ 就必須通過最小化上面的能量函數來解決,然后將矩陣L[22]按照 $u_S^k$$u_X^k$${u^k}$ 中的兩部分進行分塊,上述函數的表達形式就變為:

            ${J^k} = {\left[ \begin{array}{l} u_S^k \\ u_X^k \\ \end{array} \right]^{\rm{T}}}\left[ \begin{array}{l} {L_S}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} B \\ {B^T}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {L_X} \\ \end{array} \right]\left[ \begin{array}{l} u_S^k \\ u_X^k \\ \end{array} \right].$

            ${L_X}$ 能夠寫成如下的表達形式:

            ${\left( {{L_X}} \right)_{ij}} = \left\{ {\begin{array}{*{20}{l}} {{h_{i1}} + {h_{i2}} + \displaystyle\sum\limits_{l \in {N_i}} {{w_{ij}}} ,}&{i = j};\\ { - {w_{ij,}}}&{j \in {N_i}};\\ {0,}&{{\text{其它}}}. \end{array}} \right.$

            其中,${N_i}$ 表示圖像域中第 $i$ 個像素的4個相鄰像素,設置 $\nabla {J^k} = 0$,這樣相對于 $u_X^k$ 使得能量函數有最小值. 通過將式(7)求解變換最后可以得到:

            $ {L_X}u_X^k = {H_k}. $

            通過求解上述系統就可以解得 $u_X^k$. 但是這求解出的值并非最優值,因此在這里進行優化. 把上式中的矩陣 ${L_X}$ 劃分成兩個元素的形式:${L_X} = H + A$,其中 $H$ 是對角矩陣,$A$ 是一個五點的拉普拉斯矩陣.

            ${H_{ij}} = \left\{ {\begin{array}{*{20}{l}} {{h_{i1}} + {h_{i2}},}&{i = j};\\ {0,{\kern 1pt} }&{{\text{其它}}}. \end{array}} \right.{\kern 1pt} $

            ${A_{ij}} = \left\{ {\begin{array}{*{20}{l}} {\displaystyle\sum\limits_{l \in {N_i}} {{w_{ij}}} {\kern 1pt} ,{\kern 1pt} }&{i = j};\\ { - {w_{ij}},}&{j \in {N_i}};\\ {0,}&{{\text{其它}}}. \end{array}} \right.$

            然后讓 ${H_k} = H\left( {{H^{ - 1}}{H_k}} \right)$,且令 $g = {H^{ - 1}}{H_k}$,則整個系統可以改寫成:

            $\left( {H + A} \right)u_X^k = Hg.$

            式(12)能夠最小化下面的能量函數:

            ${\hat J^k} \!\!=\!\! \sum\limits_i {({h_i}{{(u_X^k({x_i}) - {g_i})}^2} + \beta {{\sum\limits_{j \in {N_i}} {{w_{ij}}(u_X^k({x_i}) - u_X^k({x_j}))} }^2})}. $

            我們利用以上方法對決策圖實現隨機游走,圖4為隨機游走算法優化前后的最終決策圖的對比,圖4(a)為源圖像,圖4(b)為未經優化的隨機游走算法選取生成的最終決策圖,圖4(c)則是優化的隨機游走算法選取的最終決策圖. 從圖4(b)(c)兩幅圖來看,圖4(c)中圖的整體輪廓要比圖4(b)要更加流暢,與源圖像分界的.輪廓更加貼合,更有益于圖像融合. 此外,在實驗的過程中發現,未優化的隨機游走算法效果不穩定,一旦在處理邊界較為復雜的圖像時,選取生成的決策圖效果不佳,而優化后的隨機游走算法則更加穩定,整體性能優異.

            圖  4  優化前后的隨機游走算法選取的決策圖

            Figure 4.  decision diagram selected by the random walk algorithm before and after optimization

          • 本實驗從公共多聚焦圖像數據集中的20組選取了4組進行實驗,并將所提出的算法同其他算法進行對比,其中有基于變換域的圖像融合方法:NSCT[6]、CRF[23]和DCHWT[24],以及基于空間域的圖像融合方法:GFF[9]、CBF[25]、CNN[26]和MWGF[10].

            圖5展示了“高爾夫”實驗圖像集各融合結果,圖5(a)圖5(b)為源圖像. 圖5(c)融合圖像清晰程度較高,但球棍與邊界區域交界處有輕微的虛化. 圖5(d)融合后的圖像效果較佳,人物與背景的邊緣區域卻仍存在輕微的偽影. 圖5(e),圖5(g)圖5(i)的局部放大區域中高爾夫球已近乎虛化,球棍與背景草地交界的區域偽影嚴重,有很好地融合源圖像里的圖像信息. 圖5(f)整體效果融合較好,但是存在部分小區域比較模糊的情況. 圖5(h)圖像整體融合的效果較好,但還是能夠觀察到小部分區域邊界及紋理等細節信息有缺失. 圖5(j)融合圖像無論是人物還是背景對比源圖像可以發現有很好的融合效果,融合圖像整體清晰,很好地保留了源圖像的邊緣和細節信息.

            圖  5  “高爾夫”實驗圖像集融合結果

            Figure 5.  Image fusion results of the first group of experiments

            圖6可視化了“潛水員”實驗圖像集各方法融合結果. 圖6(c)中潛水器的黃色圖標比起源圖像圖6(a)中的要更模糊一些. 圖6(d)中在鏡框下方區域與背景的邊界區域存在小塊的模糊. 圖6(e)中潛水器黃色標志下的區域存在著偽影,這部分區域丟失了源圖像的細節信息. 圖6(f)中人物鏡框下方與嘴唇上方區域與背景的邊緣區域仍然是比較模糊的. 圖6(g)整體清晰程度不高,人物部分相較源圖像圖6(a)更加模糊,圖像亮度有不正常的提升. 圖6(h)中潛水器上方有一塊黑色的不正常加深,整體看起來比較突兀,并且下方的衣服區域清晰程度不高. 圖6(i)中潛水器的黃色標志相較于圖6(a)稍顯模糊. 圖6(j)則整體融合效果較佳,前面幾種融合方法所出現的融合瑕疵在圖6(j)中并沒有表現出來,很好的融合了來自源圖像中的細節信息.

            圖  6  “潛水員”實驗圖像集融合結果

            Figure 6.  Image fusion results of the second group of experiments

            圖7是“小孩”實驗圖像集各方法融合結果. 圖7(c)中小男孩的五官比起圖7(a)清晰程度要低一些,并且衣領區域存在小塊的模糊區域. 圖7(d)整體融合效果較佳,但小男孩帽檐與背景的邊界區域有淡的偽影. 圖7(e)中小男孩右眼與圖像邊緣的區域存在有模糊的小塊,丟失了來自源圖像的細節和紋理信息. 圖7(f)中前面小男孩的耳朵與衣領那一塊小區域仍然是模糊的. 圖7(g)整體融合效果較差,整體清晰程度相較其他的融合方法要低. 圖7(h)中小男孩衣領區域有小塊稍顯模糊的區域. 圖7(i)小男孩的面部清晰程度并不高,對比圖7(a)無論是頭發還是眼睛區域都要看著更模糊一些. 圖7(j)圖像融合效果較佳,小男孩耳朵區域與衣領區域融合較好,并未有模糊的情況,背景區域也清晰,整體效果很好.

            圖  7  “小孩”實驗圖像集融合結果

            Figure 7.  Image fusion results of the third group of experiments

            圖8是“城堡”實驗圖像集的融合圖像結果. 圖8(c)里欄桿的兩邊沿著欄桿的邊界都有小塊模糊的區域. 圖8(d)整體融合效果較差,在欄桿相交的十字區域欄桿的邊界出現一層偽影,欄桿區域邊界與背景城堡整體融合得比較差,呈現效果模糊. 圖8(e)同樣在十字交叉區域出現有淡淡地偽影. 圖8(f)欄桿左下區域有一塊模糊的區域,融合圖像并沒有很好地融合來自源圖像中的細節信息. 圖8(g)整體都是模糊的,無論是背景的城堡還是前景的欄桿區域相較于其他融合圖像,可以肉眼觀察到差異. 圖8(h)里可以看到只融合了源圖像8(b)里的城堡區域,右上的森林區域并沒有融合. 圖8(i)同樣存在邊界區域模糊的情況,左下森林區域并沒有很好地融合來自源圖像里的信息. 圖8(j)相比較前幾張融合圖像,欄桿區域與背景城堡融合效果較好,沒有出現偽影,并且背景森林也融合的不錯,整體呈現的效果較優.

            圖  8  “城堡”實驗圖像集融合結果

            Figure 8.  Image fusion results of the fourth group of experiments

            為了更加全面的評價各種融合算法的性能,除了視覺上的主觀評價,還需有客觀評價,在本文中采用了平均梯度(AVG)、交叉熵(SEN)、標準差(STD)、視覺信息保真度(VIF)、基于像素的視覺信息保真度(VIFP)、信息保真度準則(IFC),互信息(MIN)和QABF等8個客觀評價指標來對這4組融合圖像進行定量的分析. 在這4組客觀評價指標表中,我們可以清楚地看到本文方法與其他七種方法在各個指標上直觀的對比,在表1中,本文方法在8項指標評估中均優于其他方法,表2表3中,本文方法在8項指標上有6項優于其它方法,剩下的兩個指標也僅僅以非常微小的差距低于其它兩項方法,排在第2. 在表4中,本文方法在各項指標上表現優異,領先明顯. 表5是4組實驗客觀評價指標的平均值,從表中可以看出提出的方法領先優勢明顯. 實驗結果表明:提出方法所融合的多聚焦圖像與其他的融合算法所融合的圖像相比,融合圖像背景細節更為豐富,能更多地保留源圖像中的細節信息,無論是主觀評價還是客觀評價都要優于其他算法. 總的來說,以各項指標為基礎與其他方法進行客觀評價對比時,所提方法數值優勢明顯,表現優異.

            算法 AVG SEN STD VIF VIFP IFC MIN QABF
            CBF 5.682 7.310 44.57 0.6606 0.6673 5.323 3.532 0.7334
            GFF 5.984 7.325 45.21 0.7233 0.7049 25.85 3.892 0.7423
            CRF 5.613 7.317 45.12 0.6994 0.6821 6.213 3.523 0.7151
            CNN 5.959 7.325 45.21 0.7250 0.7064 30.01 4.011 0.7446
            NSCT 4.182 7.268 42.94 0.5315 0.5816 3.404 3.073 0.6112
            MWGF 5.945 7.323 45.31 0.7182 0.7054 27.37 3.930 0.7329
            DCHWT 5.379 7.297 44.19 0.6265 0.6338 4.239 3.198 0.6884
            本文方法 6.043 7.326 45.32 0.7292 0.7086 33.21 4.185 0.7448

            表 1  “高爾夫”實驗圖像集融合結果的客觀評價指標

            Table 1.  Objective evaluation index of fusion results of "Golf" experimental image set

            算法 AVG SEN STD VIF VIFP IFC MIN QABF
            CBF 5.873 7.480 52.64 0.6768 0.6603 5.583 3.956 0.7412
            GFF 6.205 7.491 53.14 0.7508 0.7051 27.05 4.443 0.7448
            CRF 5.779 7.482 52.97 0.7177 0.6730 6.226 3.922 0.7159
            CNN 6.193 7.491 53.125 0.7530 0.7062 34.54 4.542 0.7458
            NSCT 4.253 7.456 52.09 0.5425 0.5732 3.471 3.441 0.6170
            MWGF 6.223 7.492 53.23 0.7469 0.7037 28.99 4.406 0.7411
            DCHWT 5.767 7.476 52.6 0.6628 0.6432 4.606 3.638 0.7074
            本文方法 6.225 7.492 53.21 0.7546 0.7073 36.06 4.618 0.7456

            表 2  “潛水員”實驗圖像集融合結果的客觀評價指標

            Table 2.  Objective evaluation index of fusion results of "Diver" experimental image set

            算法 AVG SEN STD VIF VIFP IFC MIN QABF
            CBF 5.9005 7.898 68.183 0.6613 0.6489 5.7746 3.8907 0.7296
            GFF 6.1086 7.882 68.989 0.7334 0.6881 23.682 4.2717 0.7355
            CRF 5.6812 7.892 68.839 0.7023 0.6607 6.2224 3.8781 0.7096
            CNN 6.1019 7.879 68.964 0.7397 0.6914 35.014 4.4894 0.7382
            NSCT 4.1218 7.878 67.677 0.4751 0.5327 3.0328 3.3322 0.5772
            MWGF 6.1413 7.881 69.048 0.7291 0.6873 28.383 4.3115 0.7328
            DCHWT 5.6675 7.900 68.297 0.6263 0.6147 4.2929 3.5503 0.6946
            本文方法 6.1475 7.896 69.053 0.7412 0.6918 36.553 4.5898 0.7379

            表 3  “小孩”實驗圖像集融合結果的客觀評價指標

            Table 3.  Objective evaluation index of the fusion results of "Kid" experimental image set

            算法 AVG SEN STD VIF VIFP IFC MIN QABF
            CBF 6.8527 7.797 68.932 0.6659 0.6314 6.162 4.0715 0.7297
            GFF 7.0997 7.792 69.498 0.7208 0.6670 17.65 4.2143 0.7341
            CRF 6.6439 7.785 69.316 0.7019 0.6395 6.4009 3.9523 0.7111
            CNN 7.0595 7.793 69.331 0.7236 0.6699 30.319 4.5112 0.7369
            NSCT 4.558 7.784 68.2 0.4699 0.5002 3.0565 3.3506 0.5623
            MWGF 6.2505 7.792 69.131 0.6588 0.6477 29.435 4.5313 0.6676
            DCHWT 6.6559 7.794 68.825 0.6074 0.5750 4.0989 3.5217 0.6763
            本文方法 7.1794 7.797 69.567 0.7315 0.6746 34.396 4.6801 0.7367

            表 4  “城堡”實驗圖像集融合結果的客觀評價指標

            Table 4.  Objective evaluation index of fusion results of "Castle" experimental image set

            算法 AVG SEN STD VIF VIFP IFC MIN QABF
            CBF 6.077 7.621 58.581 0.666 0.652 5.711 3.863 0.733
            GFF 6.349 7.622 59.209 0.732 0.691 23.558 4.205 0.739
            CRF 5.929 7.619 59.061 0.705 0.664 6.266 3.819 0.713
            CNN 6.328 7.622 59.158 0.735 0.693 32.472 4.388 0.741
            NSCT 4.279 7.597 57.727 0.505 0.547 3.241 3.299 0.592
            MWGF 6.140 7.622 59.180 0.713 0.686 28.545 4.295 0.719
            DCHWT 5.867 7.617 58.478 0.631 0.617 4.309 3.477 0.692
            本文方法 6.399 7.628 59.270 0.739 0.696 35.055 4.518 0.742

            表 5  4組實驗客觀融合評價指標的平均值

            Table 5.  The average value of objective evaluation index of four groups of experiments

          • 本文介紹了一種基于空間域的多尺度形態聚焦測量和優化隨機游走算法的多聚焦圖像融合方法,該方法將多尺度形態運算和優化后的隨機游走相結合,有效地實現了圖像融合.盡管與其他方法相比要更出色,但由于傳統圖像融合方法的局限性,實驗的次數與深度學習方法無法相提并論.就實驗的穩定性而言,該方法仍然存在著很大的上升空間.因此,之后會嘗試與深度學習相結合,通過成千上萬組實驗的訓練學習以期得到更先進的圖像融合方法.

        參考文獻 (26)

        目錄

          /

          返回文章
          返回