2.793

                    2018影響因子

                    (CJCR)

                    • 中文核心
                    • EI
                    • 中國科技核心
                    • Scopus
                    • CSCD
                    • 英國科學文摘

                    留言板

                    尊敬的讀者、作者、審稿人, 關于本刊的投稿、審稿、編輯和出版的任何問題, 您可以本頁添加留言。我們將盡快給您答復。謝謝您的支持!

                    姓名
                    郵箱
                    手機號碼
                    標題
                    留言內容
                    驗證碼

                    結合全局與局部變化的圖像質量評價

                    高敏娟 黨宏社 魏立力 王海龍 張選德

                    高敏娟, 黨宏社, 魏立力, 王海龍, 張選德. 結合全局與局部變化的圖像質量評價. 自動化學報, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    引用本文: 高敏娟, 黨宏社, 魏立力, 王海龍, 張選德. 結合全局與局部變化的圖像質量評價. 自動化學報, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    Citation: Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697

                    結合全局與局部變化的圖像質量評價


                    DOI: 10.16383/j.aas.c190697
                    詳細信息
                      作者簡介:

                      陜西科技大學電氣與控制工程學院博士研究生. 2010年獲得山西大學工學碩士學位. 主要研究方向為圖像處理, 圖像質量評價.E-mail: gaominjuan1984@163.com

                      陜西科技大學電氣與控制工程學院教授. 主要研究方向為工業過程與優化, 計算機控制, 圖像處理.E-mail: danghs@sust.edu.cn

                      寧夏大學數學統計學院教授. 主要研究方向為應用統計與數據分析. E-mail: liliwei@nxu.edu.cn

                      寧夏師范學院數學與計算機科學學院講師. 2011年獲得香港公開大學教育碩士學位. 主要研究方向為代數.E-mail: wanghailong7903@163.com

                      陜西科技大學電子信息與人工智能學院教授. 2013年獲得西安電子科技大學理學博士學位. 主要研究方向為圖像恢復, 圖像質量評價, 稀疏表示和低秩逼近理論. 本文通信作者.E-mail: zhangxuande@sust.edu.cn

                    • and?Technology,?Xi’an?710021
                    •  收稿日期?2019-10-08????錄用日期?2019-12-15 Manuscript?received?October?8,?2019;?accepted?December?15, 2019 國家自然科學基金 (61871260,?61871259),?陜西科技大學人工智能交叉學科 PI 團隊培育專項資助 Supported?by?National?Natural?Science?Foundation?of?China (61871260,?61871259),?Shaanxi?University?of?Science?and?Technology?Artificial?Intelligence?Interdisciplinary?PI?Team?Cultivation Special?Project 本文責任編委 Recommended?by?Associate?Editor 1.?陜西科技大學電氣與控制工程學院?西安?710021????2.?寧夏大學數學統計學院?銀川?750021????3.?寧夏師范學院數學與計算機科學學院?固原?756000????4.?陜西科技大學電子信息與人工智能學院 西安?710021 1.?School?of?Electrical?and?Control?Engineering,?Shaanxi?University?of?Science?and?Technology,?Xi’an?710021????2.?School?of Mathematics?and?Statistics,?Ningxia?University,?Yinchuan 750021????3.?School?of?Mathmatics?and?Computer?Science,?Ningxia Normal?University,?Guyuan?756000????4.?School?of?Electronic Information?and?Artificial?Intelligence,?Shaanxi?University?of?Science
                    • 基金項目:  國家自然科學基金(61871260, 61871259), 陜西科技大學人工智能交叉學科PI團隊培育專項資助

                    Combining Global and Local Variation for Image Quality Assessment

                    More Information
                    • Fund Project:  Supported by National Natural Science Foundation of China (61871260, 61871259), Shaanxi University of Science and Technology Artificial Intelligence Interdisciplinary PI Team Cultivation Special Project
                    • 摘要: 圖像所包含的信息是通過灰度值在空域的變化呈現的. 梯度是度量變化的基本工具, 這使得梯度成為了目前大多數圖像質量評價算法的重要組成部分(Ingredient). 但是梯度只能度量局部變化, 而當人類視覺系統(Human Visual System, HVS)感知一幅圖像時, 既能感知到局部變化, 也能感知到全局變化. 基于HVS的這一特性, 本文提出了一種結合全局與局部變化的圖像質量評價算法(Global and Local Variation SIMilarity, GLV-SIM). 該算法利用Grünwald-Letnikov分數階導數來度量圖像的全局變化, 利用梯度模來度量圖像的局部變化. 然后結合二者計算參考圖像和退化圖像之間的相似度譜(Similarity Map), 進而得到圖像的客觀評分. 在TID2013、TID2008、CSIQ與LIVE四個數據庫上的仿真實驗表明, 較之單一度量局部變化的方法, 本文算法能更準確地模擬HVS對圖像質量的感知過程, 給出的客觀評分與主觀評分具有較好的一致性.
                      and?Technology,?Xi’an?710021
                       收稿日期?2019-10-08????錄用日期?2019-12-15 Manuscript?received?October?8,?2019;?accepted?December?15, 2019 國家自然科學基金 (61871260,?61871259),?陜西科技大學人工智能交叉學科 PI 團隊培育專項資助 Supported?by?National?Natural?Science?Foundation?of?China (61871260,?61871259),?Shaanxi?University?of?Science?and?Technology?Artificial?Intelligence?Interdisciplinary?PI?Team?Cultivation Special?Project 本文責任編委 Recommended?by?Associate?Editor 1.?陜西科技大學電氣與控制工程學院?西安?710021????2.?寧夏大學數學統計學院?銀川?750021????3.?寧夏師范學院數學與計算機科學學院?固原?756000????4.?陜西科技大學電子信息與人工智能學院 西安?710021 1.?School?of?Electrical?and?Control?Engineering,?Shaanxi?University?of?Science?and?Technology,?Xi’an?710021????2.?School?of Mathematics?and?Statistics,?Ningxia?University,?Yinchuan 750021????3.?School?of?Mathmatics?and?Computer?Science,?Ningxia Normal?University,?Guyuan?756000????4.?School?of?Electronic Information?and?Artificial?Intelligence,?Shaanxi?University?of?Science
                    • 圖  1  child-swimming圖像

                      Fig.  1  The image of child-swimming

                      圖  2  GLV-SIM算法框架

                      Fig.  2  The framework of GLV-SIM algorithm

                      圖  3  參考圖像(a)及其不同類型退化圖像(b)-(f)(右下角為矩形區域局部放大圖)

                      Fig.  3  Fig. 3 Reference image (a) and different types of distorted images (b)-(f)

                      (The lower right corner is a enlarged view of the rectangular region)

                      圖  4  針對圖3中各矩形區域對應的$DM$

                      Fig.  4  The corresponding $DM$ image for each rectangular region in fig. 3

                      表  1  圖3(b)-(f)主觀評分和不同算法客觀評分

                      Table  1  Subjective scores and objective scores of different algorithms for Fig. 3(b)-(f)

                      評價方法圖3(b)圖3(c)圖3(d)圖3(e)圖3(f)
                      MOS5.00003.83874.18754.76676.2903
                      PSNR30.530430.578426.130327.480827.3498
                      VSNR29.730121.148020.534230.707220.2681
                      IFC4.73893.43514.93192.995611.3746
                      SSIM 0.92500.84610.94590.94750.9568
                      MS-SSIM 0.96060.91590.97380.97270.9821
                      IW-SSIM0.96840.90750.96450.97040.9661
                      GSIM0.99580.98880.99530.99660.9979
                      FSIM0.98310.94620.95380.96990.9707
                      GLV-SIM0.99590.98450.99270.99570.9961
                      下載: 導出CSV

                      表  2  針對表1評分排名

                      Table  2  The rank of scores on table 1

                      評價方法圖3(b)圖3(c)圖3(d)圖3(e)圖3(f)
                      MOS25431
                      PSNR21534
                      VSNR23415
                      IFC34251
                      SSIM45321
                      MS-SSIM45231
                      IW-SSIM24513
                      GSIM35421
                      FSIM15432
                      GLV-SIM25431
                      下載: 導出CSV

                      表  3  不同IQA算法在TID2013和TID2008數據庫的實驗結果比較

                      Table  3  Comparison the performance results of different IQA algorithms on TID2013 and TID2008

                      數據庫性能指標PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                      TID 2013SROCC0.63960.68120.53890.74170.78590.77790.79460.80150.8068
                      KROCC0.46980.50840.39390.55880.60470.59770.62550.62890.6381
                      PLCC0.70170.74020.55380.78950.83290.83190.84640.85890.8580
                      RMSE0.88320.83921.03220.76080.68610.68800.66030.63490.6368
                      TID 2008SROCC0.55310.70460.56750.77490.85420.85590.85040.88050.8814
                      KROCC0.40270.53400.42360.57680.65680.66360.65960.69460.6956
                      PLCC0.57340.68200.73400.77320.84510.85790.84220.87380.8648
                      RMSE1.09940.98150.91130.85110.71730.68950.72350.65250.6739
                      下載: 導出CSV

                      表  4  不同IQA算法在CSIQ和LIVE數據庫的實驗結果比較

                      Table  4  Comparison the performance results of different IQA algorithms on CSIQ

                      數據庫性能指標PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                      CSIQSROCC0.80580.81060.76710.87560.91330.92130.91080.92420.9264
                      KROCC0.60840.62470.58970.69070.73930.75290.73740.75670.7605
                      PLCC0.80000.80020.83840.86130.89910.91440.89640.91200.9082
                      RMSE0.15750.15750.14310.13340.11490.10630.11640.10070.1099
                      LIVESROCC0.87560.92740.92590.94790.95130.95670.95610.96340.9521
                      KROCC0.68650.76160.75790.79630.80450.81750.81500.83370.8179
                      PLCC0.87230.92310.92680.94490.94890.95220.95120.95970.9368
                      RMSE13.35910.50510.2648.94458.61888.34738.43277.67808.0864
                      下載: 導出CSV

                      表  5  不同IQA算法在TID2008數據庫單一失真評價性能(SROCC)比較

                      Table  5  Comparison SROCC for individual distortion of different IQA algorithms on TID2008 database

                      數據庫失真類型PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                      TID 2008AWN0.90730.77280.58060.81070.80940.78690.85730.85660.9125
                      ANMC0.89940.77930.54600.80290.80640.79200.80950.85270.8979
                      SCN0.91750.76650.59580.81440.81950.77140.89020.84830.9167
                      MN0.85200.72950.67320.77950.81560.80870.74030.80210.8087
                      HFN0.92730.88110.73180.87290.86850.86620.89320.90930.9175
                      IMN0.87250.64700.53450.67320.68680.64650.77210.74520.7864
                      QN0.87020.82710.58570.85310.85370.81770.87500.85640.8865
                      GB0.87040.93300.85590.95440.96070.96360.95850.94720.9587
                      DEN0.94220.92860.79730.95300.95710.94730.97230.96030.9666
                      JPEG0.87230.91740.81800.92520.93480.91840.93910.92790.9534
                      JP2K0.81310.95150.94370.96250.97360.97380.97550.97730.9751
                      JGTE0.75250.80560.79090.86780.87360.85880.88320.87080.8793
                      J2TE0.83120.79090.73010.85770.85220.82030.89250.85440.9021
                      NEPN0.58120.57160.84180.71070.73360.77240.73720.74910.7271
                      BLOCK0.61940.19260.67700.84620.76170.76230.88650.84920.8960
                      MS0.69660.37150.42500.72310.73740.70670.71740.66980.6994
                      CTC0.58670.42390.27130.52460.63980.63010.67360.64810.6689
                      下載: 導出CSV
                      360彩票
                    • [1] 1 Mohammadi P, Ebrahimi-Moghadam A, Shirani S. Subjective and objective quality assessment of image: A survey. Majlesi Journal of Electrical Engineering, 2015, 9(1): 419?423
                      [2] 2 Yang Xi-Chen, Sun Quan-Sen, Wang Tian-Shu. Image quality assessment improvement via local gray-scale fluctuation measurement. Multimedia Tools and Applications, 2018, 77(18): 24185?24202 doi:  10.1007/s11042-018-5740-z
                      [3] 高敏娟, 黨宏社, 魏立力, 張選德. 基于非局部梯度的圖像質量評價算法. 電子與信息學報, 2019, 41(5): 1122?1129 doi:  10.11999/JEIT180597

                      3 Gao Min-Juan, Dang Hong-She, Wei Li-Li, Zhang Xuan-De. Image quality assessment algorithm based on non-local gradient. Journal of Electronics and Information Technology, 2019, 41(5): 1122?1129 doi:  10.11999/JEIT180597
                      [4] 許麗娜, 肖奇, 何魯曉. 考慮人類視覺特征的融合圖像評價方法. 武漢大學學報(信息科學版), 2019, 44(4): 546?554

                      4 Xu Li-Na, Xiao Qi, He Lu-Xiao. Fused image quality asssessment based on human visual characterisyics. Geomatics and Information Science of Wuhan University, 2019, 44(4): 546?554
                      [5] 曹清潔, 史再峰, 張嘉平, 李杭原, 高靜, 姚素英. 分區域多標準的全參考圖像質量評價算法. 天津大學學報(自然科學與工程技術版), 2019, 52(6): 625?630

                      5 Cao Qing-Jie, Shi Zai-Feng, Zhang Jia-Ping, Li Hang-Yuan, Gao Jing, Yao Su-Ying. Sub-regional and multiple criteria full-reference image quality assessment. Journal of Tianjin University(Science and Technology), 2019, 52(6): 625?630
                      [6] 6 Wang Zhou, Bovik A C. Mean squared error: love it or leave it? A new look at signal fidelity measures. IEEE Signal Processing Magazine, 2009, 26(1): 98?117 doi:  10.1109/MSP.2008.930649
                      [7] 7 Huynh-thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment. Electronics Letters, 2008, 44(13): 800?801 doi:  10.1049/el:20080522
                      [8] 8 Wang Zhou, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on image processing, 2004, 13(4): 600?612 doi:  10.1109/TIP.2003.819861
                      [9] Wang Zhou, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment. In: Proceedings of 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific Grove, USA, 2003: 1398−1402
                      [10] 10 Wang Zhou, Li Qiang. Information content weighting for perceptual image quality assessment. IEEE Transactions on Image Processing, 2011, 20(5): 1185?1198 doi:  10.1109/TIP.2010.2092435
                      [11] Li Chao-Feng, Bovik A C. Three-component weighted structural similarity index. In: SPIE Conference on Image Quality and System Performance, San Jose, California, 2009, 7242: 72420Q−72420Q-9
                      [12] 劉大瑾, 葉建兵, 劉家駿. SSIM框架下基于SVD的灰度圖像質量評價算法研究. 南京師大學報(自然科學版), 2017, 40(1): 73?78

                      12 Liu Da-Jin, Ye Jian-Bing, Liu Jia-Jun. SVD-based gray-scale image quality assessmentalgorithms in the SSIM perspective. Journal of Nanjing Normal University(Natural Science Edition), 2017, 40(1): 73?78
                      [13] 閆樂樂, 李輝, 邱聚能, 梁平. 基于區域對比度和SSIM的圖像質量評價方法. 應用光學, 2015, 36(1): 58?63 doi:  10.5768/JAO201536.0102002

                      13 Yan Le-Le, Li Hui, Qiu Ju-Neng, Liang Ping. Image qualty assessment method based on regional contrast and structural similarity. Journal of Applied Optics, 2015, 36(1): 58?63 doi:  10.5768/JAO201536.0102002
                      [14] 14 Jin Xin, Jiang Gang-Yi, Chen Fen, Yu Mei, Shao Feng, Peng Zong-Ju, et al. Adaptive image quality assessment method based on structural similarity. Journal of Optoelectronics. Laser, 2014, 25(2): 378?385
                      [15] 田浩南, 李素梅. 基于邊緣的SSIM圖像質量客觀評價方法. 光子學報, 2013, 42(1): 110?114 doi:  10.3788/gzxb20134201.0110

                      15 Tian Hao-Nan, Li Su-Mei. Objective evaluation method for image quality based on edge structural similarity. Acta Photonica Sinca, 2013, 42(1): 110?114 doi:  10.3788/gzxb20134201.0110
                      [16] 16 Zhang Lin, Zhang Lei, Mou Xuan-Qin, Zhang David. FSIM: A feature similarity index for image quality assessment. IEEE Transactions on Image Processing, 2011, 20(8): 2378?2386 doi:  10.1109/TIP.2011.2109730
                      [17] 17 Liu An-Min, Lin Wei-Si, Narwaria M. Image quality assessment based on gradient similarity. IEEE Transactions on Image Processing, 2012, 21(4): 1500?1512 doi:  10.1109/TIP.2011.2175935
                      [18] 18 Zhang Xuan-De, Feng Xiang-Chu, Wang Wei-Wei, Xue Wu-Feng. Edge strength similarity for image quality assessment. IEEE Signal Processing Letters, 2013, 20(4): 319?322 doi:  10.1109/LSP.2013.2244081
                      [19] 19 Sun Wen, Liao Qing-Min, Xue Jing-Hao, Zhou Fei. SPSIM: A superpixel-based similarity index for full-reference image quality assessment. IEEE Transactions on Image Processing, 2018, 27(9): 4232?4244 doi:  10.1109/TIP.2018.2837341
                      [20] 20 Ding Li, Huang Hua, Zang Yu. Image quality assessment using directional anisotropy structure measurement. IEEE Transactions on Image Processing, 2017, 26(4): 1799?1809 doi:  10.1109/TIP.2017.2665972
                      [21] 21 Xue Wu-Feng, Zhang Lei, Mou Xuan-Qin, Bovik A C. Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index. IEEE Transactions on Image Processing, 2014, 23(2): 684?695 doi:  10.1109/TIP.2013.2293423
                      [22] 22 Pei S C, Chen L H. Image quality assessment using human visual DOG model fused with random forest. IEEE Transactions on Image Processing, 2015, 24(11): 3282?3292 doi:  10.1109/TIP.2015.2440172
                      [23] 23 Reisenhofer R, Bosse S, Kutyniok G, Wiegand T. A haar wavelet-based perceptual similarity index for image quality assessment. Signal Processing: Image Communication, 2018, 61: 33?43 doi:  10.1016/j.image.2017.11.001
                      [24] 薛定宇. 分數階微積分學與分數階控制. 北京: 科學出版社, 2018. 31−72

                      Xue Ding-Yu. Fractional calculus and fractional-order control. Beijing: Publishing House of Science, 2018. 31−72(in Chinese)
                      [25] 張桂梅, 孫曉旭, 劉建新, 儲珺. 基于分數階微分的TV-L1光流模型的圖像配準方法研究. 自動化學報, 2017, 43(12): 2213?2224

                      25 Zhang Gui-Mei, Sun Xiao-Xu, Liu Jian-Xin. Research on TV-L1 Optical Flow Model for Image Registration Based on Fractional-order Differentiation. Acta Automatica Sinica, 2017, 43(12): 2213?2224
                      [26] 陳云, 郭寶裕, 馬祥園. 基于分數階微積分正則化的圖像處理. 計算數學, 2017(39): 393?406

                      26 Chen Yun, Guo Bao-Yu, Ma Xiang-Yuan. Image processing based on regularization with fractional clculus. Mathematica Numerica Sinica, 2017(39): 393?406
                      [27] 27 Ponomarenko N, Jin Lina, Ieremeiev O, Lukin V, Egiazarian K, Astola J, et al. Image database TID2013: Peculiarities, results and perspectives. Image Communication, 2015, 30(C): 57?77
                      [28] Ponomarenko N, Lukin V, Zelensky A, Egiazarian K, Astola J, Carli M, et al. TID2008: A database for evaluation of full-reference visual quality assessment metrics[Online], available: http://www.ponomarenko.info/papers/mre, November 1, 2016
                      [29] Larson EC, Chandler D. Categorical subjective image quality (CSIQ) database[Online], available: http://vision.okstate.edu/csiq, November 1, 2016
                      [30] Sheikh H R, Wang Zhou, Bovik A C. Image and video quality assessment research at LIVE. [Online], available: http://live.ece.utexas.edu/rese-arch/quality/, November 1, 2016
                      [31] 31 Chandler D M, Hemami S S. VSNR: A wavelet-based visual signal-to-noise ratio for natural images. IEEE Transactions on Image Processing, 2007, 16(9): 2284?2298 doi:  10.1109/TIP.2007.901820
                      [32] 32 Sheikh H R, Bovik A C, Veciana G D. An information fidelity criterion for image quality assessment using natural scene statistics. IEEE Transactions on Image Processing, 2005, 14(12): 2117?2128 doi:  10.1109/TIP.2005.859389
                    • [1] 陳勇, 吳明明, 房昊, 劉煥淋. 基于差異激勵的無參考圖像質量評價[J]. 自動化學報, doi: 10.16383/j.aas.c180088
                      [2] 唐祎玲, 江順亮, 徐少平, 劉婷云, 李崇禧. 基于眼優勢的非對稱失真立體圖像質量評價[J]. 自動化學報, doi: 10.16383/j.aas.c190124
                      [3] 陸志芳, 鐘寶江. 基于預測梯度的圖像插值算法[J]. 自動化學報, doi: 10.16383/j.aas.2017.c160793
                      [4] 趙孝禮, 趙榮珍. 全局與局部判別信息融合的轉子故障數據集降維方法研究[J]. 自動化學報, doi: 10.16383/j.aas.2017.c160317
                      [5] 南棟, 畢篤彥, 馬時平, 凡遵林, 何林遠. 基于分類學習的去霧后圖像質量評價算法[J]. 自動化學報, doi: 10.16383/j.aas.2016.c140854
                      [6] 王朝云, 蔣剛毅, 郁梅, 陳芬. 基于流形特征相似度的感知圖像質量評價[J]. 自動化學報, doi: 10.16383/j.aas.2016.c150559
                      [7] 李俊峰. 基于色彩空間自然場景統計的無參考圖像質量評價[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140616
                      [8] 張瑞, 馮象初, 王斯琪, 常莉紅. 基于稀疏梯度場的非局部圖像去噪算法[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140903
                      [9] 王志明. 無參考圖像質量評價綜述[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140404
                      [10] 黃慧娟, 禹晶, 肖創柏, 孫衛東. 基于局部連續性與全局相似性的光譜保持型亞像元映射[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.01612
                      [11] 鄧立為, 宋申民. 基于輸出反饋滑??刂频姆謹惦A超混沌系統同步[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.02420
                      [12] 王楠, 艾海舟. 融合局部與全局信息的頭發形狀模型[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.00615
                      [13] 張小利, 李雄飛, 李軍. 融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.00306
                      [14] 盧亞楠, 謝鳳英, 周世新, 姜志國, 孟如松. 皮膚鏡圖像散焦模糊與光照不均混疊時的無參考質量評價[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.00480
                      [15] 丁建睿, 黃劍華, 劉家鋒, 張英濤. 局部特征與多示例學習結合的超聲圖像分類方法[J]. 自動化學報, doi: 10.3724/SP.J.1004.2013.00861
                      [16] 成孝剛, 安明偉, 阮雅端, 陳啟美. 基于變分的盲圖像復原質量評價指標[J]. 自動化學報, doi: 10.3724/SP.J.1004.2013.00418
                      [17] 潘榕, 劉昱, 侯正信, 汪少初. 基于局部DCT系數的圖像壓縮感知編碼與重構[J]. 自動化學報, doi: 10.3724/SP.J.1004.2011.00674
                      [18] 程光權, 張繼東, 成禮智, 黃金才, 劉忠. 基于幾何結構失真模型的圖像質量評價研究[J]. 自動化學報, doi: 10.3724/SP.J.1004.2011.00811
                      [19] 劉博, 黃劍華, 唐降龍, 劉家鋒, 張英濤. 結合全局概率密度差異與局部灰度擬合的超聲圖像分割[J]. 自動化學報, doi: 10.3724/SP.J.1004.2010.00951
                      [20] 陳瑞, 林喜榮, 丁天懷. 基于WBCT的虹膜圖像質量評價方法[J]. 自動化學報, doi: 10.3724/SP.J.1004.2009.00618
                    • 加載中
                    計量
                    • 文章訪問數:  2623
                    • HTML全文瀏覽量:  1631
                    • 被引次數: 0
                    出版歷程
                    • 收稿日期:  2019-10-08
                    • 錄用日期:  2019-12-15
                    • 網絡出版日期:  2020-01-04

                    結合全局與局部變化的圖像質量評價

                    doi: 10.16383/j.aas.c190697
                      基金項目:  國家自然科學基金(61871260, 61871259), 陜西科技大學人工智能交叉學科PI團隊培育專項資助
                      作者簡介:

                      陜西科技大學電氣與控制工程學院博士研究生. 2010年獲得山西大學工學碩士學位. 主要研究方向為圖像處理, 圖像質量評價.E-mail: gaominjuan1984@163.com

                      陜西科技大學電氣與控制工程學院教授. 主要研究方向為工業過程與優化, 計算機控制, 圖像處理.E-mail: danghs@sust.edu.cn

                      寧夏大學數學統計學院教授. 主要研究方向為應用統計與數據分析. E-mail: liliwei@nxu.edu.cn

                      寧夏師范學院數學與計算機科學學院講師. 2011年獲得香港公開大學教育碩士學位. 主要研究方向為代數.E-mail: wanghailong7903@163.com

                      陜西科技大學電子信息與人工智能學院教授. 2013年獲得西安電子科技大學理學博士學位. 主要研究方向為圖像恢復, 圖像質量評價, 稀疏表示和低秩逼近理論. 本文通信作者.E-mail: zhangxuande@sust.edu.cn

                    • and?Technology,?Xi’an?710021
                    •  收稿日期?2019-10-08????錄用日期?2019-12-15 Manuscript?received?October?8,?2019;?accepted?December?15, 2019 國家自然科學基金 (61871260,?61871259),?陜西科技大學人工智能交叉學科 PI 團隊培育專項資助 Supported?by?National?Natural?Science?Foundation?of?China (61871260,?61871259),?Shaanxi?University?of?Science?and?Technology?Artificial?Intelligence?Interdisciplinary?PI?Team?Cultivation Special?Project 本文責任編委 Recommended?by?Associate?Editor 1.?陜西科技大學電氣與控制工程學院?西安?710021????2.?寧夏大學數學統計學院?銀川?750021????3.?寧夏師范學院數學與計算機科學學院?固原?756000????4.?陜西科技大學電子信息與人工智能學院 西安?710021 1.?School?of?Electrical?and?Control?Engineering,?Shaanxi?University?of?Science?and?Technology,?Xi’an?710021????2.?School?of Mathematics?and?Statistics,?Ningxia?University,?Yinchuan 750021????3.?School?of?Mathmatics?and?Computer?Science,?Ningxia Normal?University,?Guyuan?756000????4.?School?of?Electronic Information?and?Artificial?Intelligence,?Shaanxi?University?of?Science

                    摘要: 圖像所包含的信息是通過灰度值在空域的變化呈現的. 梯度是度量變化的基本工具, 這使得梯度成為了目前大多數圖像質量評價算法的重要組成部分(Ingredient). 但是梯度只能度量局部變化, 而當人類視覺系統(Human Visual System, HVS)感知一幅圖像時, 既能感知到局部變化, 也能感知到全局變化. 基于HVS的這一特性, 本文提出了一種結合全局與局部變化的圖像質量評價算法(Global and Local Variation SIMilarity, GLV-SIM). 該算法利用Grünwald-Letnikov分數階導數來度量圖像的全局變化, 利用梯度模來度量圖像的局部變化. 然后結合二者計算參考圖像和退化圖像之間的相似度譜(Similarity Map), 進而得到圖像的客觀評分. 在TID2013、TID2008、CSIQ與LIVE四個數據庫上的仿真實驗表明, 較之單一度量局部變化的方法, 本文算法能更準確地模擬HVS對圖像質量的感知過程, 給出的客觀評分與主觀評分具有較好的一致性.

                    and?Technology,?Xi’an?710021
                     收稿日期?2019-10-08????錄用日期?2019-12-15 Manuscript?received?October?8,?2019;?accepted?December?15, 2019 國家自然科學基金 (61871260,?61871259),?陜西科技大學人工智能交叉學科 PI 團隊培育專項資助 Supported?by?National?Natural?Science?Foundation?of?China (61871260,?61871259),?Shaanxi?University?of?Science?and?Technology?Artificial?Intelligence?Interdisciplinary?PI?Team?Cultivation Special?Project 本文責任編委 Recommended?by?Associate?Editor 1.?陜西科技大學電氣與控制工程學院?西安?710021????2.?寧夏大學數學統計學院?銀川?750021????3.?寧夏師范學院數學與計算機科學學院?固原?756000????4.?陜西科技大學電子信息與人工智能學院 西安?710021 1.?School?of?Electrical?and?Control?Engineering,?Shaanxi?University?of?Science?and?Technology,?Xi’an?710021????2.?School?of Mathematics?and?Statistics,?Ningxia?University,?Yinchuan 750021????3.?School?of?Mathmatics?and?Computer?Science,?Ningxia Normal?University,?Guyuan?756000????4.?School?of?Electronic Information?and?Artificial?Intelligence,?Shaanxi?University?of?Science

                    English Abstract

                    高敏娟, 黨宏社, 魏立力, 王海龍, 張選德. 結合全局與局部變化的圖像質量評價. 自動化學報, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    引用本文: 高敏娟, 黨宏社, 魏立力, 王海龍, 張選德. 結合全局與局部變化的圖像質量評價. 自動化學報, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    Citation: Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1?10. doi: 10.16383/j.aas.c190697
                    • 圖像是人類視覺感知和計算機處理系統的重要信息載體, 圖像質量的好壞直接影響著人們的視覺體驗和圖像的后續處理. 然而由于成像系統和環境等因素的限制, 圖像在采集、存儲和傳輸過程中, 會不可避免的引入噪聲、模糊等現象, 造成圖像質量的退化[1-3]. 為了有效地對圖像質量進行控制或增強, 必先明確如何度量圖像質量, 這催生了對圖像質量評價(Image Quality Assessment, IQA)問題的研究.

                      圖像質量評價根據人的參與情況, 可分為主觀評價和客觀評價[4]. 主觀評價方法邀請志愿者對圖像質量進行打分, 容易受到觀測者個體因素的影響, 通常需進行多次重復試驗并取平均意見分值(Mean Opinion Score, MOS) 作為最終的質量評分. 該方法費用高, 耗時長, 不能嵌入實時系統中, 因而使用范圍受到限制. 客觀評價方法模擬人對圖像質量的感知過程, 構建與主觀評價結果相一致的評價算法.

                      根據評價過程有無真實圖像(Ground Truth) 作為參考, IQA分為全參考、部分參考和無參考評價[5], 本文研究全參考IQA問題.

                      廣泛應用的全參考IQA算法有均方誤差(Mean Squared Error, MSE)[6]和峰值信噪比(Peak Signal Noise Ratio, PSNR)[7], 二者通過計算參考圖像與退化圖像之間對應像素點的差異來度量圖像質量損失, 計算簡單且容易被嵌入圖像處理模型中, 但未考慮圖像在空域的結構和HVS感知機理, 評價結果與主觀MOS值的一致性較差. 2004年, 結構相似性(Structure Similarity, SSIM)[8]的提出受到研究者的廣泛關注. 該算法假設HVS能夠自適應地提取場景中結構信息, 并融合亮度、對比度、結構三方面特征來計算參考圖像與退化圖像之間的相似性. SSIM的評價性能與MSE、PSNR相比有明顯提高, 被認為是IQA領域具有里程牌意義的算法. 隨后, 基于SSIM框架, 研究者提出一系列改進算法, 如MS-SSIM[9]、IW-SSIM[10]、3-SSIM[11], 以及文獻[12]-[15]中的算法等. 2011年, Zhang等提出特征相似性(Feature Similarity, FSIM)算法[16], 該算法假定HVS依據底層視覺特征的相似程度來判定圖像質量, 并以相位一致性為第一特征, 梯度模為第二特征, 計算參考圖像和退化圖像的相似度譜, 然后以相位一致性作為視覺顯著性度量來對相似度譜進行加權平均. FSIM算法獲得了較好的評價效果, 目前已成為全參考IQA的基準(Benchmark)算法.

                      圖像中所包含的信息是通過灰度值或者色彩在空域的變化來呈現的, 這使得度量變化的特征(Feature) 被廣泛應用于圖像質量評價中. 梯度是度量變化的基本工具, 這使得梯度成為了目前很多IQA算法的基本組成部分. 例如, 文獻[17]直接將梯度模作為局部特征, 構造了GSIM(Gradient Similarity)算法; 文獻[18]利用方向導數度量每個像素點周圍四個方向上變化, 估計該點為邊界的可能性, 提出ESSIM(Edge Strength Similarity) 算法; 文獻[19]通過度量參考圖像和退化圖像之間超像素亮度相似性(superpixel luminance similarity)、超像素色度相似性(superpixel chrominance similarity)以及像素點梯度模相似性(pixel gradient similarity), 構造了SPSIM(Superpixel-based Simiarity) 算法; 文獻[20]綜合梯度模、各向異性和局部方向性構建DASM(Directional Anisotropic Struture Measurement) 特征, 提出基于DASM的評價算法; 文獻[21]以梯度模為特征, 標準差為池化方式, 提出了GMSD(Gradient Magnitude Similarity Deviation)算法; 可以看出, 這些算法的構造都用到了梯度特征, 且梯度特征對算法的評價性能起到了重要的作用. 此外, DOG(Difference of Gaussian) 濾波和小波變換也是工程中經常使用的度量變化的工具, 自然地可被用作圖像質量評價的特征. 例如, 文獻[22]提出了基于DOG的圖像質量評價算法, 以及文獻[23]提出了基于哈爾小波的HaarPSI(Haar wavelet-based perceptual similarity) 算法.

                      梯度、DOG以及小波均度量局部變化, 但HVS對圖像進行觀測時, 既能感知到局部信息, 也能感知到全局信息. 如當人在觀測一幅圖像時, 一方面, 能夠感知到圖像中的前景和背景, 并能夠對整幅圖像的語義信息有所理解, 這依賴于HVS對圖像全局信息的感知; 另一方面, HVS具有多尺度聚焦功能, 能夠自適應地感知到圖像中感興趣的局部細節. 如我們在觀測圖1時, 會自然的把小孩的部分看作是圖像前景, 草地的部分看作是圖像背景; 同時, 人眼會易于關注到感興趣的區域, 如小孩所在的區域, 尤其是臉部區域. 為模擬HVS的這一感知特點, 在本文中, 我們通過分別度量圖像在空域上全局與局部的變化來刻畫圖像的全局信息與局部信息, 提出了一種結合全局與局部變化的圖像質量評價算法(GLV-SIM), 算法利用Grünwald-Letnikov分數階導數來度量圖像的全局變化, 利用梯度模來度量圖像的局部變化. 在公開數據庫的實驗結果表明, 本文算法給出的客觀評分能夠獲得與主觀評分較好的一致性.

                      圖  1  child-swimming圖像

                      Figure 1.  The image of child-swimming

                      下文安排如下: 第1節介紹如何度量圖像在空域的全局變化和局部變化; 第2節結合全局與局部變化定義IQA算法GLV-SIM; 第3節通過數值實驗討論全局與局部變化特征相結合對圖像對比變化的刻畫能力, 以及分析本文算法的評價效果; 第4節為本文工作的總結和展望.

                      • 分數階微積分是整數階微積分在形式上的推廣, 研究階次為分數的問題, 由法國數學家Hopital在1695年寫給Leibniz的信中所提出[24].分數階導數具有記憶性的特點, 能夠較好的刻畫歷史依賴性和全局相關性, 可用來描述圖像的全局變化. 基于從不同形式上的推廣, 常見的分數階導數定義有Riemann-Liouville, Grünwald-Letnikov和Caputo等[25-26], 其中Grünwald-Letnikov常被應用于信號處理方面.

                        本文采用Grünwald-Letnikov(GL), 其定義由整數階微積分推演而來. 對于一維信號$f(x)$, 一階導數的計算公式為

                        $$ \frac{{\rm{d}}^{1}}{{\rm{d}} x^{1}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h}[f(x)-f(x-h)] $$ (1)

                        其中, $ h $為自變量增量. 容易地, 由一階導數推導出二階導數公式

                        $$ \frac{{\rm{d}}^{2}}{{\rm{d}} x^{2}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^2}[f(x)-2f(x-h)+f(x-2h)] $$ (2)

                        循環使用上述方法, 最終得出$ f(x) $$ n $階導數為

                        $$ \frac{{\rm{d}}^{n}}{{\rm{d}} x^{n}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^n} \sum\limits_{j = 0}^{n} (-1)^j \bigg(\begin{array}{c} n \\ j \end{array}\bigg) f(x-jh) $$ (3)

                        將式(3)中導數階次由整數$ n $拓展到非整數$ \alpha $的情形, $ f(x) $$ \alpha $階GL導數定義為

                        $$ ^{GL} _{x_0,x}D^\alpha f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^\alpha} \sum\limits_{j = 0}^{[(x-x_0)/h]} (-1)^j \bigg(\begin{array}{c} \alpha \\ j \end{array}\bigg) f(x-jh) $$ (4)

                        其中, $ ^{GL}_{x_0,x}D^\alpha $左上標含義為Grünwald-Letnikov, 右上標含義為$ \alpha $階導數, 而左下標$ x $、$ x_0 $分別代表上、下界. 另外, $ [\cdot] $表示取整運算.

                        將式(4)中的系數部分$ (-1)^j\bigg(\begin{array}{c}\alpha \\j\end{array}\bigg) $改寫為$ \dfrac{(-1)^j \Gamma(\alpha+1)} {\Gamma(j+1) \Gamma(\alpha-j+1)} $, 其中$ \Gamma(\cdot) $為Gamma函數, Gamma函數為階乘在非整數上的推廣, 則GL定義可重新寫為

                        $$ \begin{split} ^{GL} _{x_0,x}D^\alpha f(x) =& \mathop {\lim }\limits_{h \to 0} \frac{1}{h^\alpha} \displaystyle\sum\limits_{j = 0}^{[(x-x_0)/h]} \frac{(-1)^j \Gamma(\alpha+1)} {\Gamma(j+1) \Gamma(\alpha-j+1)}\cdot \\[-3pt] &f(x-jh)\\[-10pt] \end{split} $$ (5)

                        從式中可以看出, 函數$ f(x) $$ x $處的GL導數涉及從$ x_0 $$ x $的所有函數值, 由此可認為分數階導數是有記憶的.

                        圖像信號可看成是二維矩陣. 此處在一維信號GL定義的基礎上, 計算二維圖像信號的GL導數. 記圖像信號為$ f({{x}}) $,

                        $$ f({{x}}) = \left( \begin{array}{cccc} x_{11} & x_{12} & \cdots& x_{1N} \\[-2pt] x_{21} & x_{22} & \cdots & x_{2N} \\[-2pt] \vdots & \vdots & \ddots & \vdots \\[-2pt] x_{M1} & x_{M2} & \cdots & x_{MN} \\ \end{array} \right) $$ (6)

                        其中$ M $、$ N $分別為圖像行、列像素總數. 對圖像信號$ f({{x}}) $計算GL導數可看成是分別沿水平方向和垂直方向進行一維信號GL導數的計算.

                        沿水平方向計算GL導數, 對圖像$ f({{x}}) $進行逐行處理. 對于第$ i $行, 即$ {{x}}_i=(x_{i1}, x_{i2}, \cdots, x_{iN}) $, 大小為$ 1\times N $. $ {{x}}_i $對應的GL導數記為$ D^\alpha _H {{x}}_i $(下標$ H $代表沿水平方向), 基于式(5), $ D^\alpha _H {{x}}_i $計算如下

                        $$\begin{split} D^\alpha _H {{x}}_i =& ( \frac{1}{h^\alpha}\cdot x_{i1},\frac{(-1)^j \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma(2) \Gamma(\alpha)} \cdot x_{i1}+\frac{1}{h^\alpha}\cdot x_{i2}, \cdots , \\[-2pt] &\frac{(-1)^{N-1} \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma((N\!-\!1)\!+\!1) \Gamma(\alpha\!-\!(N\!-\!1)\!+\!1)} \cdot x_{i1}+\\[-2pt] &\frac{(-1)^{N-2} \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma((N-2)+1) \Gamma(\alpha-(N-2)+1)} \cdot \\[-2pt] &x_{i2}+\cdots+\frac{1}{h^\alpha}\cdot x_{iN} )\\[-15pt] \end{split} $$ (7)

                        $ D^\alpha _H {{x}}_i $計算結果為$ 1\times N $的向量, 從式 (7)中可以看出, $ D^\alpha _H {{x}}_i $第一項涉及像素值$ x_{i1} $; 第二項涉及像素值$ x_{i1} $、$ x_{i2} $; 依次可知, 第$ N $項涉及像素值$ x_{i1} $、$ x_{i2} $、···、$ x_{iN} $; 表明了GL導數具有全局性的特點. 根據式(7)分別計算得到$ f({{x}}) $每一行對應的$ D^\alpha _H {{x}}_i $值, $ i=1, 2, \cdots, M $, 即得到圖像沿行方向的GL導數,記為$ D^\alpha _H $, 結果為$ M\times N $的矩陣.

                        類似地, 沿垂直方向計算GL導數, 對圖像$ f({{x}}) $進行逐列處理, 列向量大小為$ M\times 1 $, 每列所對應的GL導數結果為$ M\times 1 $的向量. $ f({{x}}) $可看成是$ N $$ M\times 1 $的列向量, 記圖像沿列方向的GL導數為$ D^\alpha _V $, (下標$ V $代表沿垂直方向), 則$ D^\alpha _V $結果同樣為$ M\times N $的矩陣.

                        分別得到圖像沿水平方向和垂直方向的GL導數$ D^\alpha _H $、$ D^\alpha _V $, 圖像對應GL導數模定義為

                        $$ DM = \sqrt{(D^\alpha _H )^2+(D^\alpha _V )^2} $$ (8)

                        $ DM $$ M\times N $的矩陣.

                      • 圖像梯度可用來度量圖像局部的變化, 其計算方法為圖像與梯度算子進行卷積運算. 常用的梯度算子有3種, 分別為Sobel算子、Prewitt算子和Scharr算子. 自然地, 采用不同的梯度算子對IQA算法的評價性能也將不同. 由文獻[16][18]的討論可得Scharr算子能夠對IQA模型產生較好的效果. 由此本文梯度算子選取Scharr, 模板大小為$ 3 \times 3 $, 式(9)給出了水平方向和垂直方向模板

                        $$ \frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} 3&0&{ - 3}\\ {10}&0&{ - 10}\\ 3&0&{ - 3} \end{array}} \right],\frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} 3&{10}&3\\ 0&0&0\\ { - 3}&{ - 10}&{ - 3} \end{array}} \right] $$ (9)

                        由圖像$ f({{x}}) $與式(9)中模板卷積運算分別得到水平方向和垂直方向的梯度值$ G_H $、$ G_V $. 圖像對應的梯度模定義為

                        $$ GM = \sqrt{(G_H )^2+(G _V )^2} $$ (10)

                        $ GM $$ M\times N $的矩陣.

                      • 人在對圖像的感知過程中, 不僅能夠感知到圖像中的語義對象等全局信息, 并且能夠感知到圖像中感興趣的局部細節. 基于模擬HVS這一感知特點, 本文提出一種結合全局與局部的IQA算法GLV-SIM, 該算法利用GL導數度量圖像的全局變化, 利用梯度模度量圖像的局部變化.

                        GLV-SIM算法的總體框架如圖2所示. 記參考圖像為$ {{r}}=\{r(x)|x\in { \Omega}\}$, 退化圖像為${{d}}= \{d(x)|$$x\in { \Omega}\}$, $ \Omega $表示整個圖像域. 首先利用1.1節中式(8)GL導數模的定義分別計算$ {{d}} $全局變化特征$ DM_r $、$ DM_d $, 計算二者的相似性得到$ DM $相似度譜; 利用1.2節中式(10)梯度模的定義分別計算$ {{r}} $、$ {{d}} $局部變化特征$ GM_r $、$ GM_d $, 計算二者的相似性得到$ GM $相似度譜.然后融合$ DM $相似度譜與$ GM $相似度譜得到$ {{r}} $$ {{d}} $總的相似性譜.最后對總的相似性譜作池化處理得到圖像的整體客觀評分.

                        圖  2  GLV-SIM算法框架

                        Figure 2.  The framework of GLV-SIM algorithm

                        圖像$ {{r}} $$ {{d}} $$ x $處GL導數模的相似性度量定義為

                        $$ S_{DM}(x) = \frac{2DM_r(x)\cdot2DM_d(x)+C_1}{DM^2_r(x)+DM^2_d(x)+C_1} $$ (11)

                        $ S_{DM} $反映了參考圖像與退化圖像在全局變化特征上的相似程度.

                        類似地, 圖像$ {{r}} $$ {{d}} $$ x $處梯度模的相似性度量定義為

                        $$ S_{GM}(x) = \frac{2GM_r(x)\cdot2GM_d(x)+C_2}{GM^2_r(x)+GM^2_d(x)+C_2} $$ (12)

                        $ S_{GM} $則反映了參考圖像與退化圖像在局部變化特征上的相似程度. 式(11)、(12) 中$ C_1 $、$ C_2 $均為大于零的常數, 以避免分母為零和保持計算結果的穩定性.

                        綜合式(11)、(12), 參考圖像與退化圖像總的相似性度量定義為

                        $$ S(x) = [S_{DM}(x)]^\lambda\cdot[S_{GM}(x)]^{1-\lambda} $$ (13)

                        其中, 參數$ \lambda $用來調節全局與局部特征的相對重要性.

                        最后, 對$ S $作均值池化處理, 圖像整體客觀評分為

                        $$ Score = \frac{1}{T}\sum\limits_{x = 1}^{T}S(x) $$ (14)

                        式中, $ T $表示圖像域$ \Omega $中像素總數.

                      • 為全面分析本文GLV-SIM算法的評價性能, 選取4大公開IQA數據庫TID2013[27]、TID2008[28]、C SIQ[29]和LIVE[30]作為實驗數據集. 其中, TID2013包含有3 000幅退化圖像, 24種失真類型, 5種失真等級; TID2008包含有1 700幅退化圖像, 17種失真類型, 每種失真類型有4個失真等級; CSIQ數據庫包含有866幅退化圖像, 5種失真類型, $4\sim 5$種失真等級; 以及LIVE數據庫包含有779幅退化圖像, 5種失真類型, $4\sim 5 $種失真等級. 同時, 數據庫中均給出了每幅退化圖像相應的主觀評分. 值得注意的是, TID2013和TID2008主觀評分為MOS值, 其分值越大表示圖像質量越好; 而CSIQ和LIVE主觀評分為DMOS(Differential Mean Opinion Score)值, 其分值越小表示圖像質量退化程度越低.

                        客觀IQA算法的性能通常以主客觀評分之間的一致性來衡量. 常用的評價指標有4中: 斯皮爾曼等級相關系數(Spearman Rank Order Correlation Coefficient, SROCC)和肯德爾等級相關系數(Kendall Rank Order Correlation Coefficient, KROCC) 評價主客觀評分之間的單調性, 其值越接近于1則相關性越好; 皮爾遜線性相關系數(Pearson Linear Correlation Coefficient, PLCC) 和均方根誤差(Root Mean Square Error, RMSE) 評價算法預測準確性, 由于主客觀評分取值范圍不同(如TID2013中主觀評分范圍為[0?9], 而SSIM客觀評分范圍為[0?1]), 計算時需要先進行回歸分析, 建立主客觀評分之間的非線性映射. 這里采用式(15)中的Logistic回歸函數, 其中$ {{\beta_i|i=1, 2, \cdots, 5}} $為回歸模型參數. PLCC值越接近于1, 表示算法精度越高. 而RMSE值越小, 則算法預測準確性越好.

                        $$ Q_P \!=\! \beta_1\left[\frac{1}{2}\!-\!\frac{1}{1\!+\!exp(\beta_2(Q\!-\!\beta_3))}\right]\!+\!\beta_4 Q\!+\!\beta_5 $$ (15)
                      • GLV-SIM算法在計算參考圖像與退化圖像全局與局部特征相似性度量時, 分別引入了可調參數$ C_1 $、$ C_2 $. 通常, 設置方法為取$ C_1=(K_1\cdot L)^2 $、$C_2= $$ (K_2\cdot L)^2 $, 其中$ K_1 $、$ K_2 $為很小的常數(對于8-bit灰度圖像$ L=255 $). 另外, GLV-SIM算法中分數階次$ \alpha $以及體現全局與局部的相對重要程度的$ \gamma $, 也均為需設置的參數.

                        選取TID2008數據庫中前8幅參考圖像及對應的544幅退化圖像作為測試子集, 在該子集上取不同參數進行數值實驗, 通過最高的SROCC值確定算法最佳參數值. 采用控制變量法, 先令$ \alpha=0.5 $, $ \gamma=0.5 $, 在二維網格$ (K_1, K_2)=(0.05k_1, 0.05k_2) $上進行搜索, $ k_1=1, 2, \cdots, 10 $; $ k_2=1, 2, \cdots, 10 $, 實驗得到$ K_1=0.2 $, $ K_2=0.1 $為最佳值. 其次,以$ K_1 $、$ K_2 $最佳值與$ \gamma=0.5 $, 對不同$ \alpha $取值進行實驗, $ \alpha $最佳值取0.6. 最后以$ K_1 $、$ K_2 $$ \alpha $最佳值, 確定$ \gamma $最優值,結果取$ \gamma=0.7 $.

                      • 選取TID2008數據庫中參考圖像I21, 及相應的退化圖像I21-1-2、I21-3-2、I21-8-2、I21-11-2和I21-12-2, 各退化圖像對應的退化類型分別為加性高斯噪聲、空間位置相關噪聲、高斯模糊、JPG2K壓縮和JPG傳輸錯誤. 如圖3所示, (a)為參考圖像, (b)-(f)為退化圖像, 圖中右下角分別顯示矩形區域局部放大圖, 該區域包含有邊界、紋理及平滑的部分(如屋頂邊界、云朵紋理及天空平滑部分). 從圖中可以看出, 5幅退化圖像分別具有不同視覺感知質量, 其對應的主觀評分MOS值如表1中所示. 分值越大代表圖像質量越好, 則視覺質量由好到差依次為(f)、(b)、(e)、(d)和(c).

                        圖  3  參考圖像(a)及其不同類型退化圖像(b)-(f)(右下角為矩形區域局部放大圖)

                        Figure 3.  Fig. 3 Reference image (a) and different types of distorted images (b)-(f)

                        表 1  圖3(b)-(f)主觀評分和不同算法客觀評分

                        Table 1.  Subjective scores and objective scores of different algorithms for Fig. 3(b)-(f)

                        評價方法圖3(b)圖3(c)圖3(d)圖3(e)圖3(f)
                        MOS5.00003.83874.18754.76676.2903
                        PSNR30.530430.578426.130327.480827.3498
                        VSNR29.730121.148020.534230.707220.2681
                        IFC4.73893.43514.93192.995611.3746
                        SSIM 0.92500.84610.94590.94750.9568
                        MS-SSIM 0.96060.91590.97380.97270.9821
                        IW-SSIM0.96840.90750.96450.97040.9661
                        GSIM0.99580.98880.99530.99660.9979
                        FSIM0.98310.94620.95380.96990.9707
                        GLV-SIM0.99590.98450.99270.99570.9961

                        表1同時列出了GLV-SIM及幾種不同IQA算法對圖3(b)-(f)的客觀評分, 評分排名如表2所示. 結果表明, 本文GLV-SIM算法可獲得與主觀評價相一致的評價結果, 算法FSIM、GSIM同樣考慮了利用梯度度量圖像局部變化, 但排名結果與主觀MOS不完全一致, 這也體現了本文綜合考慮圖像全局與局部變化的有效性.

                        表 2  針對表1評分排名

                        Table 2.  The rank of scores on table 1

                        評價方法圖3(b)圖3(c)圖3(d)圖3(e)圖3(f)
                        MOS25431
                        PSNR21534
                        VSNR23415
                        IFC34251
                        SSIM45321
                        MS-SSIM45231
                        IW-SSIM24513
                        GSIM35421
                        FSIM15432
                        GLV-SIM25431

                        考查圖像全局變化特征對圖像質量評價的有效性. 圖4展示了與圖3相對應矩形區域的$ DM $圖, 由圖中可以看出, 圖4(a)$ DM $圖能夠很好的呈現參考圖像的變化特征. (b)-(f)與(a)相比, 明顯(f)具有與(a)更相似的$ DM $圖, 與其他相比(f)視覺質量最好; (b)與(e)相比, (b)雖存在噪聲但在邊界處保留有更好的細節, 整體上(b)好于(e); 而(d)在邊界處出現模糊, 影響視覺效果; (c)則與(a)相似程度最低, (c)視覺質量最差. 由分析可看出, 描述圖像全局變化特征的$ DM$圖能夠獲得與主觀評價較好的一致性, 與人類視覺感知相符.

                        圖  4  針對圖3中各矩形區域對應的$DM$

                        Figure 4.  The corresponding $DM$ image for each rectangular region in fig. 3

                      • 在4個數據庫上測試GLV-SIM的整體評價性能, 參與對比的算法有傳統方法PSNR、VSNR[31]、IFC[32], 經典算法SSIM及其改進算法MS-SSIM、IW-SSIM, 以及梯度相似性GSIM和特征相似性FSIM算法. 實驗中對比算法采用作者公布的代碼和文獻中報道的最優參數. 實驗環境為DELL optiplex7040, Intel Core i7-6700, CPU@3.4GHz,8G RAM, 實驗平臺為MATLAB R2016b. 表3表4列出了9種算法在4個數據庫上SROCC、KROCC、PLCC和RMSE的結果. 從表中可看出, GLV-SIM整體評價效果較好.在TID2013、TID2008和CSIQ數據庫上, GLV-SIM與FSIM評價性能相當, 好于基于梯度的GSIM算法, 且優于傳統算法和基于SSIM的算法. 在LIVE數據庫上, FSIM取得了最好的評價效果, GLV-SIM與GSIM相當. 該實驗結果表明, 圖像變化特征能夠更好地描述圖像結構信息, 本文GLV-SIM算法中全局與局部結合的方法與單一度量局部變化相比, 能提高對圖像對比變化的刻畫能力.

                        表 3  不同IQA算法在TID2013和TID2008數據庫的實驗結果比較

                        Table 3.  Comparison the performance results of different IQA algorithms on TID2013 and TID2008

                        數據庫性能指標PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                        TID 2013SROCC0.63960.68120.53890.74170.78590.77790.79460.80150.8068
                        KROCC0.46980.50840.39390.55880.60470.59770.62550.62890.6381
                        PLCC0.70170.74020.55380.78950.83290.83190.84640.85890.8580
                        RMSE0.88320.83921.03220.76080.68610.68800.66030.63490.6368
                        TID 2008SROCC0.55310.70460.56750.77490.85420.85590.85040.88050.8814
                        KROCC0.40270.53400.42360.57680.65680.66360.65960.69460.6956
                        PLCC0.57340.68200.73400.77320.84510.85790.84220.87380.8648
                        RMSE1.09940.98150.91130.85110.71730.68950.72350.65250.6739

                        表 4  不同IQA算法在CSIQ和LIVE數據庫的實驗結果比較

                        Table 4.  Comparison the performance results of different IQA algorithms on CSIQ

                        數據庫性能指標PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                        CSIQSROCC0.80580.81060.76710.87560.91330.92130.91080.92420.9264
                        KROCC0.60840.62470.58970.69070.73930.75290.73740.75670.7605
                        PLCC0.80000.80020.83840.86130.89910.91440.89640.91200.9082
                        RMSE0.15750.15750.14310.13340.11490.10630.11640.10070.1099
                        LIVESROCC0.87560.92740.92590.94790.95130.95670.95610.96340.9521
                        KROCC0.68650.76160.75790.79630.80450.81750.81500.83370.8179
                        PLCC0.87230.92310.92680.94490.94890.95220.95120.95970.9368
                        RMSE13.35910.50510.2648.94458.61888.34738.43277.67808.0864
                      • 在TID2008數據庫上測試GLV-SIM對單一失真類型的評價性能. 表5中列出了不同算法的SROCC值, 值越大表明評價效果越好, 圖中每種失真類型排名首位的結果已加粗顯示. 從表中可看出, GLV-SIM和PSNR均出現5次, GSIM出現3次, FSIM出現1次. PSNR對噪聲類型的失真評價較好, GLV-SIM在AWN、QN上效果明顯, 并能在AWNC、SCN和HFN上取得與PSNR相當的效果. 其次, GLV-SIM還可在JPEG、J2TE、BLOCK失真類型上取得較好的評價效果, 并在JP2K能與FSIM效果相當.

                        表 5  不同IQA算法在TID2008數據庫單一失真評價性能(SROCC)比較

                        Table 5.  Comparison SROCC for individual distortion of different IQA algorithms on TID2008 database

                        數據庫失真類型PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
                        TID 2008AWN0.90730.77280.58060.81070.80940.78690.85730.85660.9125
                        ANMC0.89940.77930.54600.80290.80640.79200.80950.85270.8979
                        SCN0.91750.76650.59580.81440.81950.77140.89020.84830.9167
                        MN0.85200.72950.67320.77950.81560.80870.74030.80210.8087
                        HFN0.92730.88110.73180.87290.86850.86620.89320.90930.9175
                        IMN0.87250.64700.53450.67320.68680.64650.77210.74520.7864
                        QN0.87020.82710.58570.85310.85370.81770.87500.85640.8865
                        GB0.87040.93300.85590.95440.96070.96360.95850.94720.9587
                        DEN0.94220.92860.79730.95300.95710.94730.97230.96030.9666
                        JPEG0.87230.91740.81800.92520.93480.91840.93910.92790.9534
                        JP2K0.81310.95150.94370.96250.97360.97380.97550.97730.9751
                        JGTE0.75250.80560.79090.86780.87360.85880.88320.87080.8793
                        J2TE0.83120.79090.73010.85770.85220.82030.89250.85440.9021
                        NEPN0.58120.57160.84180.71070.73360.77240.73720.74910.7271
                        BLOCK0.61940.19260.67700.84620.76170.76230.88650.84920.8960
                        MS0.69660.37150.42500.72310.73740.70670.71740.66980.6994
                        CTC0.58670.42390.27130.52460.63980.63010.67360.64810.6689
                      • 本文的貢獻在于針對現有IQA算法僅考慮圖像局部變化所存在的不足, 以模擬HVS既能感知到圖像局部信息也能感知到全局信息的特點, 提出一種結合全局與局部變化的GLV-SIM算法. 該算法利用了分數階導數具有全局性的特點來度量圖像全局變化, 同時利用梯度來度量圖像局部變化, 結合二者來預測圖像質量評分. 在公開數據庫上的實驗結果表明, 本文算法能夠取得與主觀評分較好的一致性. 結合全局與局部的方法與單一考慮局部的方法相比能夠更好的模擬HVS的主觀評價過程. 在今后的研究中, 我們將進一步嘗試將該方法應用于部分參考和無參考圖像質量評價問題中.

                    WeChat 關注分享

                    返回頂部

                    目錄

                      /

                      返回文章
                      返回