当前位置:首页 >> 信息与通信 >>

基于压缩感知与结构自相似性的遥感图像超分辨率方法


第 28 卷 第 6 期 2012 年 6 月

信 号 处 理 SIGNAL PROCESSING

Vol. 28

No. 6

Jun. 2012

基于压缩感知与结构自相似性的 遥感图像超分辨率方法
潘宗序
1

黄慧娟


1





1

胡少兴

2

张爱武

3

马洪兵

1

孙卫东

1

( 1. 清华大学电子工程系,北京 100084; 2. 北京航空航天大学机械工程与自动化学院,北京 100083; 3. 首都师范大学三维空间信息获取与应用教育部重点实验室,北京 100037) 摘 要: 本文提出了一种基于压缩感知、结构自相似性和字典学习的遥感图像超分辨率方法,其基本思路是建立

能够稀疏表示原始高分辨率图像块的字典。实现超分辨率所必需的附加信息来源于遥感图像中广泛存在的自相 SVD 方法构建字典、并采用 OMP 似结构,该信息可在压缩感知框架下通过字典学习而得到。这里,本文采用 K方法获取用于稀疏表达的相关系数。与现有基于样本的超分辨率方法的最大不同在于,本文方法仅使用了低分 辨率图像及其插值图像,而不需要使用其他高分辨率图像。另外,为了评价方法的效果,本文还引入了一个衡量 图像结构自相似性程度的新型指标 SSSIM。对比实验结果表明,本文方法具有更好的超分辨率重构效果和运算效 率,并且 SSSIM 指标与超分辨率重构效果具有较强的相关性。 关键词: 遥感图像超分辨率; 结构自相似性; 压缩感知; 字典训练; 图像质量评价 中图分类号: TP751 文献标识码: A 文章编号: 1003-0530(2012)06-0859-14

Super-resolution Method based on CS and Structural Self-similarity for Remote Sensing Images
PAN Zong- 1 xu HUANG Huijuan1 YU Jing1 HU Shao- 2 xing

ZHANG Ai- 3 wu

MA Hongbing1

SUN Weidong1

( 1. Department of Electronic Engineering, Tsinghua University,Beijing 100084,China; 2. School of Mechanical Engineering & Automation, Beijing University of Aeronautics and Astronautics, Beijing 100083,China; 3. Key Lab of 3D Information Acquisition & Application of MOE, Capital Normal University,Beijing 100037,China) A super resolution ( SR) method for remote sensing images based on CS,structural selfsimilarity and diction-

Abstract:

ary learning is proposed. The basic idea is to find a dictionary that can represent the high resolution ( HR) image sparsely. The extra information comes from the structural selfsimilarity that widely exist in remote sensing images and this kind of information can be learned through dictionary learning in the CS frame. In this method, use Kwe SVD method to find the dictionary and OMP method to reveal the sparse representation coefficients. Compared with the traditional samplebased SR methods,the most difference of this method is that we only use the inputted low resolution image and its interpolation image rather than other HR images. In addition,an index called as structural selfsimilarity ( SSSIM) is proposed here to evaluate the extent of structural selfsimilarity in the image. Results of some comparative experiments show that this proposed method has better SR effect and time efficiency,and the SSSIM index has strong correlation with the SR effect. Key words: super resolution for remote sensing images; structural selfsimilarity; compressive sensing; dictionary learning; image quality assessment
收稿日期: 2011-12-29; 修回日期: 2012-05-14 基金项目: 国家自然科学基金项目( No. 60872083,No. 61171117) 和国家科技支撑计划项目( No. 2012BAH31B01)

860









第 28 卷

1

引言
由于现有芯片与传感器制造工艺、 系统成本等方

事, 很多情况下仅能获得同一场景、 相近时相下的单幅 因此基于单幅图像的超分辨率方法更具实用性。 图像, 基于单幅图像的超分辨率方法主要分为三类: 基于插 值的、 基于重构的和基于学习的超分辨率方法。基于 插值的超分辨率方法最为简单, 但由于插值过程所固 会使超分辨率重构后的高分辨率图像 有的平滑效益, 丢失很多细节, 导致边缘比较模糊, 且存在棋盘和振铃 效应, 就此相继出现了多种改进方法 的超分辨率方法
[12- ] 17 [8- ] 11

面所存在的瓶颈问题, 利用图像处理技术进行空间分 辨率提升仍不失为一种相对有效的技术途径
[1 ]

, 且颇

具挑战性。图像超分辨率方法是通过单幅或多幅低分 辨率图像重构高分辨率图像从而提升空间分辨率的一 项技术。空间分辨率提升的关键是如何获取低分辨率 图像中缺失的高频细节信息。根据其获取方式的 不 同, 图像超分辨率方法首先可以粗分为基于多幅图像 的超分辨率方法和基于单幅图像的超分辨率方法。然 而, 从信息论的角度来看, 无论采用同一场景下的多幅 图像、 还是单幅图像, 都是试图获取某种类别的附加信 息, 来提升图像的原有空间分辨率。图 1 从信息论的 角度, 给出了这两种典型图像超分辨率方法的基本原 理。以下, 为了语言描述上的简便性, 本文将把空间分 辨率简称为分辨率。

。基于重构

在超分辨率重构过程中引进一些

12] 文献[ 采用双边反投影将 先验信息作为限制条件, IBP 方法推广到利用单幅图像进行超分辨率重构; 在 13]中, Fattal 利用了不同分辨率图像间的边缘 文献[ 14] 统计相关性实现超分辨率重构; 文献[ 则利用了高 分辨率图像与其所对应的低分辨率图像间的梯度关系 15] 作为超分辨率重构的一种先验信息; 文献[ 则将文 13, 中基于边缘信息的方法与基于学习的方法 献[ 14] 在超分辨率重构过程中, 使用一幅接近于低分 相结合, 辨率图像 的 样 例 图 像 来 补 充 高 频 信 息 的 缺 失; 文 献 [ 17]是 压 缩 感 知 框 架 下 基 于 重 构 的 超 分 辨 率 方 16, 法。基于学习的超分辨率方法 低分辨率图像间的某种映射
[18- ] 24

试图寻找高低分辨

率图像间的对应关系, 通常手段是训练字典或建立高
[18 ]

。[ 19]分析了基于重

构的超分辨率方法的局限性, 并提出了一种基于多分 该方法在字典中寻 辨率金字塔结构的超分辨率方法, 找与待处理低分辨率图像块的金字塔结构最为相似的 并利用与之相应的高分辨率图像块替换原低 图像块, 20]属于局部线性嵌入法, 分辨率图像块; [ 该方法在 图像数据库中搜索若干低分辨率图像块, 使得待处理 低分辨率图像块在这些低分辨率图像块的线性表达上 然后再将这些低分辨率图像块对应的高分 误差最小, 辨率图像块的线性表达结果作为超分辨率重构 图像
图1 Fig. 1 两种典型图像超分辨率方法的基本原理 Principles of two kinds of typical SR methods

21, 利用图像结构自相似性实现超分辨 块。文献[ 22] 23, 是压缩感知框架下基于学习的 率重构。文献[ 24] 超分辨率方法。 基于压缩感知的超分辨率方法和基于图像结构自 相似性的超分辨率方法是近年来得到普遍认可的单幅 但至今为止尚未出现将两者有机 图像超分辨率方法, 以下将分别对这两类超分辨率方法 结合起来的方法, 的各自特点和不足加以分析。基于压缩感知的超分辨 率方法
[16, 23, ] 17, 24

基于多幅图像的超分辨率方法主要包括不均匀插 值法
[2 ] [3 ] [4 ] 、 迭代反投影法 ( IBP ) 、 基于频域的方法 、 [5 ] [6, 7 ] 凸集投影方法( POCS) 和正则化方法 等。基于多

幅图像的超分辨率方法利用同一场景、 相近时相下多 幅图像所提供的互补信息来实现分辨率的提升。基于 单幅图像的超分辨率方法仅使用同一场景中的一幅图 像, 因而难度更大。然而由于遥感图像的获取并非易

利用自然图像在某组基底下具有稀疏

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

861

表达形式这一特点, 来实现图像的超分辨率重构。文 16, 将这种稀疏性作为对超分辨率重构图像的 献[ 17] 一种约束, 利用小波基对低分辨率图像进行超分辨率 16]在超分辨率重构中引入了低通滤波 重构。文献[ 17] 来减少下采样矩阵与小波基间的相关性, 文献[ 则 将特征提取和空间连续性先验信息融入到压缩感知的 框架下。利用小波基的超分辨率方法的不足之处在于 它无法保证所有图像块在小波基下都有很好的稀疏表 达形式, 其固定小波基下的字典选取模式无法充分利 23, 用图像内容自身的特殊性。因此, 在文献[ 24]中, 用于表达图像的字典没有采用固定小波基, 而是通过 23]同时训练了分别对 字典学习的手段获得。文献[ 应于高分辨率图像块与低分辨率图像块的两个字典, 训练使得相应的高低分辨率图像块在其各自的字典下 但该方法的超分辨率重构 具有相同的稀疏表达形式, 24]利用 K效果较依赖于字典中的元素个数。文献[ SVD 方法进行字典学习, 且只用了较少的字典元素个 23, 数获得了更好的超分辨率重构效果。在文献[ 24] 中, 字典学习过程中所使用的样本来自于其他高分辨 率图像所组成的图像库。使用图像库的一个基本假设 是图像库中的高分辨率图像与待处理的低分辨率图像 具有结构上的相似性, 也只有在这一假设成立的情况 下附加信息才能被准确地提取和表现出来。但如果图 像库不足以提供此类附加信息, 那么超分辨率重构效 果将难以保证。基于图像结构自相似性的超分辨率方 法是一种仅利用待处理低分辨率图像自身的超分辨率 方法
[21, ] 22

方法的不足之处在于其运算效率通常不高, 这主要是 由于该类方法在超分辨率重构过程中需要遍历图像搜 而这一遍历搜索过程加大了运算复杂 索相似图像块, 度。总之, 现有基于压缩感知的超分辨率方法通常需 要使用由其他高分辨率图像所组成的图像库来获得附 加信息, 而没有充分利用待处理低分辨率图像自身所 蕴含的附加信息; 现有基于图像结构自相似性的超分 辨率方法虽然充分利用了待处理低分辨率图像中所蕴 含的附加信息, 但缺乏将这些附加信息有效加入到超 分辨率重构图像中去的有力工具, 因而超分辨率重构 效果和运算效率都不能得到保障。 本文的基本思路是寻求一种有机结合“基于压缩 感知的超分辨率方法” 和“基于图像结构自相似性的 超分辨率方法” 的途径, 即如何在充分利用图像自身结 构自相似性所蕴含的附加信息的同时, 通过压缩感知 从而实 将附加信息高效加入到超分辨率重构图像中, 现更高性能的、 基于单幅图像的空间分辨率提升方法。 本文利用了图像结构自相似性作为实现超分辨率方法 的附加信息, 遥感图像中这种显在的结构自相似性非 常常见, 一个典型的例子如图 2 所示, 标有白色矩形的 部分具有明显的相似结构, 而潜在的相似结构则大量 存在于道路、 建筑等人工或自然结构中, 如任何一段道 路在结构上相似于其他任意一段道路, 3 从原理上 图 说明了利用单幅低分辨率图像中的相似结构等同于利 22]及 用多 幅 低 分 辨 率 图 像。本 文 将 分 别 与 文 献[ [ 中的方法进行比较分析, 24] 为了语言描述上的简便 22]中“基于图像结构自相似性的超 性, 这里将文献[ 分 辨 率 方 法 ”简 记 为 ISS ( Image Structural SelfSimilarity) 方法, 24]中的“基于压缩感知的 而将文献[ 超分辨率方法” 简记为 ICS( Image Compressive Sensing) 方法。本文方法与 ISS 方法所利用的附加信息同为图 但本文方法具有更高的运算速度, 像自身的相似结构, 原因是在 ISS 方法中具有相似结构的图像块是通过遍 历搜索整个图像、 并对图像块逐一匹配而获得的, 因此 算法十分耗时, 而本文方法采用的方式是压缩感知框 X 架下少数字典元素的学习, 这不仅有利于提高运算 更改善了超分辨率重构图像的质量。就字典学习 效率、 所采用的具体措施而言, ICS 方法中, 在 用于字典学习的 样本取自于图像库中的其他高分辨率图像, 因而其超分辨 率重构效果依赖于样本, 当图像库中的高分辨率图像不

, 这类方法在超分辨率重构过程中没有采用

由其他高分辨率图像所组成的图像库, 而是通过充分 挖掘待处理低分辨率图像自身中所存在的显在或潜在 21] 文献[ 构建了 附加信息来实现分辨率提升。其中, 与图像低频和高频部分对应的两个码本, 先将待处理 低分辨率图像插值后得到一幅细节模糊的高分辨率图 再从低频码本中寻找与模糊高分辨率图像块最为 像, 接近的码元, 与该低频码元对应的高频码元作为附加 信息加入到模糊图像块中得到超分辨率重构图像块。 22] 文献[ 利用了图像中相同尺度和不同尺度的相似 这是由 图像块实现了一种行之有效的超分辨率方法, 于相同尺度的相似图像块等效于多幅不同的低分辨率 图像、 而不同尺度的相似图像块又等效于高低分辨率 所对应的样本对。基于图像结构自相似性的超分辨率

862









第 28 卷

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

863

864 3. 2 图像结构自相似性评价指标









第 28 卷

用了待处理低分辨率图像自身作为字典学习的样本, 不 需要 ICS 方法必需的其他高分辨率图像。从效果上讲, 这相当于减少了字典学习所必需的样本数量, 使得本文 方法在使用与 ICS 方法相同字典元素个数的情况下, 字 收敛速度更快。由于本文采用了与 典学习的效率更高、 ICS 方法相同的样本维数 16, 理论上讲字典元素个数也 应大于等于 16。虽然本文方法与 ICS 方法相比可以使 用更少的字典元素个数, 但为了便于对比分析, 本文方 法中的字典元素个数仍取做了 16。需要特别指出的是, 本文方法并不是单纯通过减少样本作为代价来提高字 典学习的效率, 恰恰相反, 正是由于样本取自于待处理 这使得由本文方法获得的字典能够更好地表 图像自身, 23] 24] 达待处理图像, 从而相比于文献[ [ 中的方法, 本 可以获得更好的超 文方法在提高字典学习效率的同时、 ( 12) 分辨率重构效果。 以下将分析字典学习过程中迭代次数与均方误差 间的关系, 以期说明本文方法与 ICS 方法相比具有更 好的字典学习效率, 此处均方误差指的是使用字典表 示训练样本时的误差, 均方误差越小表示字典学习的 效果越好、 该字典越能更好地表达样本。为了对本文 方法与 ICS 方法在字典学习效率上进行比较, 此处采 用了一幅 256 × 256 大小的待处理低分辨率图像进行 2 倍的超分辨率重构, 并在超分辨率重构过程中分析比 较两种方法的字典学习效率。图 4( a) 为采用本文方 法进行字典学习时迭代次数与均方误差的关系, 在字 典学习中利用了待处理低分辨率图像的插值图像作为 训练样本, 字典学习的迭代次数为 50。从实验结果可 以看出, 随着迭代次数的增加, 字典学习的均方误差迅 速减小, 经过 50 次迭代后均方误差达到 1. 2923。图 4 ( b) 是采用 ICS 方法进行字典学习时迭代次数与均方 误差的关系。ICS 方法利用了其他高分辨率图像组成 的图像库作为字典学习的样本, 此处为了加快字典学 习的效率, 4 ( b) 所示是仅使用了图像库中的 3 幅 图 512 × 512 大小的高分辨率图像作为训练样本的结果。 从实验结果可以看出, 由于样本数量较大收敛速度较 慢, 经过 50 次迭代后的均方误差仅为 8. 6027。ICS 方 法实际使用了图像库中的 6 幅 512 × 512 大小的高分辨 因此相比于图 4( b) 中仅 率图像作为字典学习的样本, 使用 3 幅高分辨率图像作为样本的情况, 在同样的迭 代次数下 ICS 方法字典学习过程要产生更大的均方误 差。另外字典学习单次迭代所需要的时间也随着样本

为了定量分析本文方法的超分辨率重构效果, 这 里将引入一个能够更好反映图像结构自相似性的评价 Similarity) 。具有相 简记为 SSSIM( Structural Self指标, 似结构的图像块中所蕴含的附加信息是通过字典学习 而得到的, 因此在度量结构自相似性程度时, 仅仅考虑 两个图像块所对应向量的欧式距离是不全面的。可以 证明, 当两个图像块具有线性关系时, 在字典学习意义 它们也是相似的, 并且这种结构自相似性同样可以 下, x 被字典学习到。设x 1 , 2 为图像块对应的向量, 1 , 将x x
2

x 看作是由随机变量组成的向量并设 x 1 ,2 分别为与x 1 ,

x2 对应的随机变量, 由于相关系数可以反映两个随机 于是可以将相关系数定义为这 变量的线性相关程度, 两个图像块的结构自相似性系数, 即: x ρ( x1 ,2 ) = cov( x1 ,2 ) x σx1 σx2

x 其中,x1 和 σ 2 分别表示 x1 ,2 的标准差, cov( x 1 , x2 ) σ 而 x = E( ( x1 - μ x1 ) ( x 2 - μ x 2 ) ) 为协方差。对一个特定的图 像块, 计算其与图像中所有其他图像块的结构自相似 性系数, 并将得到的结果进行排序, 取最大的 T 个结构 自相似性系数的平均值作为该图像块的结构自相似性 系数。通过对具有不同结构自相似性程度的大量图像 块的结构自相似性系数进行分析可以得到以下结论, 序号小于等于 9 时结构自相似性系数的平均下降速度 而当序号大于 9 时结构自相似性系数的 不低于 0. 04, 平均下降速度不高于 10 。该结论表明序号小于等于 9 时图像块间的结构自相似性最为显著, 而当序号大 于 9 时图像块间的结构自相似性无明显差异, 因此本 计算所有图像块的结构自 文取 T = 9。遍历整个图像, 相似性系数, 并将它们的平均值作为整幅图像的结构 自相似性指标 SSSIM。 3. 3 字典学习效率与超分辨率重构运算效率 23] 文献[ 中方法的效果较依赖于字典中的元素个 SVD 字典学习方法解决了文献 数, ICS 方法则通过 K而 [ 方法中超分辨率重构效果依赖于字典元素个数的 23] 24] 问题, 这一点在文献[ 中已经进行了细致的分析和论 证。由于本文方法采用了与 ICS 方法相同的、 基于 KSVD 的字典学习方法, 因此同样不存在这一问题。文献 [ 通过理论分析与实验结果论证了在样本维数为 16 24] 时, 字典元素个数取 16 可以得到较好的超分辨率重构 效果。本文方法与 ICS 方法在字典学习策略上是一样 的, 但在所采用样本的类别上存在本质差异。本文仅使
-4

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

865

数量的增加而迅速增加, 因此 ICS 方法中字典学习的 运算时间要远远高于本文方法。由以上分析可以看 出, 本文选取特定训练样本的方法使得字典学习效率 得到较大改善, 同时很大程度上减少了运算量。

nN 2 ( N 2 - 1) /2, 然后对每一个图像块都要进行全图像 的遍历搜索、 配准和解含有 n 个方程的 n 元线性方程 组等操作。对每一个图像块来说, 遍历搜索相似图像
2 2 块的运算复杂度为 N log( N ) , 由于配准可以采用不

同的方法, 为了讨论简便此处忽略配准操作的运算复 杂度; 对于解一个含有 n 个方程的 n 元线性方程组来 说, 运算复杂度在 n 至 n 之间, 此处取 n 作为其运算 对 其 复杂 度。 这 样, 于 一 个 图 像 块, 运 算 复 杂 度 为 N 2 log( N 2 ) + n2 , 此 N 2 个 图 像 块 的 运 算 复 杂 度 为 因 N 4 log( N 2 ) + n2 N 2 。将该运算复杂度与计算欧式距离 即可得到 ISS 方法的整体运算复 的运算复杂度相加,
2 2 4 2 2 2 4 杂度为 nN ( N - 1) / 2 + N log( N ) + n N = o( N ) 。另 2 3 2

SVD 方法进行字典学习, 本文方法首先利用 K一方面, 然后利用学习好的字典以及待处理低分辨率图像重构 高分辨率图像, 因此本文方法的运算复杂度由字典学 SVD 字典学习方法通过 习和重构图像两部分组成。K设迭代次数为 t, 字典的元素个数 迭代逐步减少误差, 为 d, 训练样本的非零项个数不超过 k, K则 SVD 每次
2 2 3 2 SVD 字 这样 K迭代的运算复杂度为 n N + n + dknN , 2 2 3 2 典学习的运算复杂度为 t( n N + n + dknN ) 。在获得

本文使用 OMP 方法进行超分辨率重构, 其运 字典后, 由于要对 N 个图像块进行超分辨率 算复杂度为 dkn,
2 重构, 因此重构图像的运算复杂度为 dknN 。将字典 2

学习和重构图像两部分运算复杂度相加, 即可得到本
2 2 3 2 文方法的 整 体 运 算 复 杂 度 为 t ( n N + n + dknN ) +

dknN 2 = o( N 2 ) , 当待处理低分辨率图像具有较大的尺
2 寸 N × N 时, 本文方法的运算复杂度 o ( N ) 要远低于

图 4 本文方法与 ICS 方法字典学习训练曲线比较 Fig. 4 Comparision result with dictionary learning curve for our method and ICS method

ISS 方法的运算复杂度 o( N 4 ) , 因此本文方法具有更高 的运算效率。

本文方法与 ISS 方法都利用了图像结构自相似性 所蕴含的附加信息来实现分辨率的提升, 但由于本文 方法借助压缩感知将附加信息加入到了超分辨率重构 图像中, ISS 方法则利用一种遍历搜索的办法, 而 因此 十分耗时。这里, 将分析本文方法与 ISS 方法各自的 运算复杂度, 从而说明本文方法在运算效率方面的优 势。设待处理低分辨率图像大小为 N × N, 将图像分成 n n 在遍历搜索的情况下, 槡 ×槡 大小的图像块进行处理, 需搜索图像块的总数为 N × N 量级。对于 ISS 方法, 首 先要计算各图像块之间的欧式距离, 其运算复杂度为

4

对比实验与超分辨率重构效果评价
为了验证本文方法的超分辨率重构效果, 我们使用
[30 ]

了 USC_SIPI 图像数据库

和网上

[ ] 31

所提供的遥感图

像, 形成由 206 幅遥感图像所组成的测试集。首先, 我们 将通过理想情况下的仿真实验, 说明附加信息可以被学 利用测试集中的部分真实遥感图 习到字典中去; 接着, 像, 给出了不同方法间的对比实验结果, 并进行了多指 标下的定量分析; 其后, 使用测试集中包含的全部遥感 对一般意义下本文方法的超分辨率重构效果进行 图像, 了定量评价, 并使用调制传递函数评价了本文方法提升

866









第 28 卷

图像空间分辨率的真正程度; 最后, 将分析论证 SSSIM 指标与超分辨率重构效果间的内在关系。 实验中, 我们将高分辨率图像进行降采样后得到 低分辨率图像, 然后用本文所提出的方法对低分辨率 图像进行超分辨率重构。这里, 需要特别明确的是本 文方法在实现过程中仅利用了低分辨率图像, 而没有 “评价用 实验中所指的 使用任何高分辨率图像。这里, 高分辨率图像” 仅起到对超分辨率重构效果的主观和 客观对比评价作用, 不参与超分辨率重构处理过程。 换言之, 在实际应用中, 仅对待处理的低分辨率图像运 用本文方法即可实现分辨率的提升, 而无需任何高分 辨率图像。本文所有实验均在具有 2G 内存的 PC 机 上进行, 使用了 MATLAB R2009a 编程语言。 4. 1 理想情况下的仿真实验 本节我们将通过理想情况下的仿真实验, 说明图 像结构自相似性所蕴含的附加信息可以被学习到字典

中去。在仿真实验中, 我们采用了 64 × 64 大小黑白相 每一黑( 白) 块的大小为 8 × 8, 这样设计 间的棋盘图像, 是便于对图像进行分块。高分辨率图像块的大小为 4 × 4, 低分辨率图像块的大小为 2 × 2, 因此相邻低分辨率 图像块间就具有了半个像素的位移量。仿真实验结果 5( 如图 5 所示, a) 是评价用高分辨率图像; 5 ( b) 是待 处理低分辨率图像; 5( c) 是双三次插值的超分辨率重 可以看出由于插值平滑作用使得超分辨率重 构图像, 构图像的边缘十分模糊, 均方误差( MSE) 达到 1. 1858 × 10 3 ; 5( d) 是本文方法的超分辨率重构图像, MSE 仅 为 4. 3419 × 10
-27

, 量化后 MSE 将变为 0, 这说明在极其

本文方法可以完全重构出原始 图像。 理想的情况下, 该实验从仿真实验的角度, 表明隐含在图像结构自相 似性中的附加信息可以通过字典学习加入到超分辨率 重构图像中。

图5 Fig. 5

理想情况下的仿真实验对比结果

Experimental results on the simulation image for the most ideal case

4. 2

真实遥感图像下的对比实验 本节将利用测试集中的部分真实遥感图像, 给出不

ICS 辨率重构效果。另外, 方法的运行时间也明显高于 本文方法, 这也是由于该方法需要利用大量样本进行训 练以期获得各种不同的图像细节信息。图 7 显示了图 6 中部分图像的左下角放大结果, 从中可以更加清楚地看 到本文方法的优势。以上真实遥感图像的对比实验结 果表明, 本文方法在超分辨率重构效果和运算时间上都 要优于现有基于压缩感知和基于图像结构自相似性的 超分辨率方法。
表1 MSE、 PSNR 以及运行时间下的定量对比分析结果 Comparison result with MSE,PSNR and the running time cost for different methods 方法 最近邻插值 双三次插值 ISS 方法 ICS 方法 本文方法 MSE 78. 6934 59. 2053 49. 1564 67. 3318 46. 9149 PSNR ( dB) 29. 1744 30. 4072 31. 2150 29. 8486 31. 4177 运行时间 ( s) 0. 02732 0. 02792 955. 9092 824. 2054 133. 5601 Tab. 1

同方法间的对比实验结果, 并进行多指标下的定量分 析。图 6 给出了一幅真实遥感图像的实验结果。6( a) 6( 6 是评价用高分辨率图像, b) 是待处理低分辨率图像, ( c) -( g) 分别是最近邻插值、 ISS ICS 双三次插值、 方法、 方法与本文方法的超分辨率重构图像。各方法的峰值 信噪比( PSNR) 与运行时间如表 1 所示。从对比实验结 果可以看出, 尽管本文方法的 PSNR 值仅比 ISS 方法高 0. 2, 但是视觉效果要好得多, 并且本文方法的运行时间 要少得多。在 ICS 方法的实现过程中, 我们使用了图像 测试集中的其他 6 幅高分辨率图像作为训练样本来进 ICS 行字典学习, 由图 6( f) 可以看出, 方法的超分辨率重 构效果不如本文方法, 尤其是在边缘处差别更加明显, 其 PSNR 值也不如本文方法, 原因是 ICS 方法利用了其 他高分辨率图像而不是待处理低分辨率图像自身所提 供的信息, 这种不准确的细节信息制约了该方法的超分

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

867

图6 Fig. 6

不同超分辨率方法间的对比实验结果 Experimental results with different SR methods

868









第 28 卷

图7 Fig. 7

超分辨率重构图像的左下角放大结果

Enlarged lower left corner of the reconstructed images

4. 3

全测试集下的超分辨率重构效果定量评价 本节将使用测试 集 中 包 含 的 全 部 206 幅 遥 感 图

小提高会带来图像视觉质量较大幅度的提升。值得一 提的是, 文 采 用 MSSIM 指 标, 一 般 图 像 下 网 站 本 对 [ 所给出的、 35] 具有显著超分辨率重构效果的若干实 例也直接进行了定量评价, 所得结论一致。 图 8( b) 是边缘扩散程度下的超分辨率重构效果 黑点对应于评价用高分辨率图像, 其平均边 评价结果, 缘扩散程度为 3.1827; 星号、 加号和圆圈分别是双三次 ICS 插值、 方法以及本文方法的定量评价结果, 这三种 6. 方法 的 边 缘 平 均 扩 散 程 度 分 别 为 7. 0803、 2937 和 5. 0717, 可以看出本文方法在边缘扩散程度评价指 标下也优于其他方法。 此外, 我们还利用后向误差进一步评价了超分辨 率重构图像采样后的图像与待处理低分辨率图像间的 ~ 设 其大小为 差异 Er( X ) : , Y 为待处理低分辨率图像, ^ ^ M × M, 为超分辨率重构图像采样后的图像, 和 y 分 Y y ~ ^ 别为 Y 和 Y 所 对 应 的 向 量, Er ( X ) 定 义 为 如 下 则 形式: ~ Er( X ) = ‖ - y‖ ( M × M) y ^ 1 ( 13)

像, 对一般意义下本文方法的超分辨率重构效果进行 定量评价。同时, 由于上节所采用的 PSNR 指标不能 这里我们使用了 完全反映超分辨率重构图像的质量, 其他的图像质量评价指标。现有的图像质量评价指标 可以粗分为两类: 基于结构信息和基于视觉信息的评 价指标
[32 ]

。在基于结构信息的评价指标中, 我们选用
[33 ]

了 MSSIM 指标

, 该指标反映了评价用高分辨率图像

与超分辨率重构图像的结构差异, 而不仅仅是计算绝 对误差, 该指标值越大则表明超分辨率重构效果越好; 在基于视觉信息的评价指标中, 我们选用了衡量边缘 扩散的指 标
[34 ]

, 指标值越小表明边缘扩散程度越 该

小, 这往往对应于更好的超分辨率重构效果。 ICS 对比方法分别使用双三次插值、 方法以及本 文 方 法。 其 中,双 三 次 插 值 的 MSSIM 平 均 值 ICS 为 0. 8354, 方法为 0. 8381, 本文方法为 0. 8429。为 分析全测试集下 ICS 方法与本文 了更为直观得展示、 方法的超分辨率重构效果的比较结果, 这里按 MSSIM 值对测试图像进行了升序排列, 并据此给各测试图像 一个编号。图 8( a) 给出了 ICS 方法与双三次插值的 MSSIM 差值、 以及本文方法与双三次插值的 MSSIM 差 值, 可以看到, 在该指标下本文方法要优于 ICS 方法, 本文方法 MSSIM 平均值超过双三次插值方法 0. 0075, 而 ICS 方法仅超过了 0. 0027。同时, 我们也发现虽然 MSSIM 指标在取值上的提高并不是很多, 但该值的微

ICS 对于本文所采用的全测试集, 双三次插值、 方法以 0. 及本文方法的平均后向误差分别为 2. 0227、 0126 和 0. 0039。值得一提的是, 在本文方法中, 共有 154 幅图 像的后向误差约为 0, 这也充分说明了本文方法的有 效性。表 2 给出了与以上评价指标相对应的定量分析 结果。

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

869

当曲线不再明显下降而开始进入震荡阶段所对应的频 而截止频率的倒数反映了能分辨 率被称为截止频率, 出图像细节的最小距离, 即空间分辨率。由于本文方 法的超分辨率重构效果与图像自身的结构自相似性直 接相关, 因此实验中选取了具有不同结构自相似性程 度的两个位置( 图 9( a) 中箭头所指处) 。其中, 左下方 位置具有较强的结构自相似性程度, 超分辨率重构图 像在该处的 MSSIM 值达到了 0. 9646, 它对应 的 MTF 曲线如图 9( b) 所示, 此时本文方法较双三次插值在空 间分辨率上提升了 1. 9843 倍, 截止频率与空间分辨率 对比分析结果如表 3 所示; 左上方位置的结构自相似 性不是非常明显, 超分辨率重构图像在该处的 MSSIM 值为 0. 871, 它对应的 MTF 曲线如图 9 ( c) 所示, 此时 本文方法较双三次插值方法在空间分辨率上提高 了 1. 5278 倍, 截止频率与空间分辨率对比分析结果如表 4 所示。从实验结果可以看出, 本文方法的确提高了 遥感图像的空间分辨率, 且提高幅度与图像局部结构 自相似性程度相关。

图8

结构信息与视觉信息评价指标下的超分 辨率重构图像质量对比分析

Fig. 8

Image quality comparison results with

information and perceptual based index 表2 不同方法间的超分辨率重构图像质量定量分析结果 Tab. 2 Overall comparison results with different methods over the dataset 方法 评价用高分 辨率图像 双三次插值 ICS 方法 本文方法 平均 MSSIM 1 0. 8354 0. 8381 0. 8429 平均边缘 模糊程度 3. 1827 7. 0803 6. 2937 5. 0717 平均后向 误差 0 2. 0227 0. 0126 0. 0039

4. 4

调制传递函数下空间分辨率提升效果评估 本节将使用调制传递函数( MTF) , 来评价本文方

法提升图像空间分辨率的真正程度。在 MTF 曲线中,

870









第 28 卷

关系如图 10 所示, 黑线表示对实验点的线性最小二乘 随着结构自相似 拟合结果。通过实验结果可以看出, 本文方法的超分辨率重构效果也 性程度的不断加大, 随之变好, 这与我们的理论分析结论是一致的。

图9 Fig. 9 表3

超分辨率重构图像中两边缘处的 MTF 曲线 MTF curves of two edges in the reconstructed image 左下方处截止频率及空间分辨率对比分析结果

Tab. 3

Cut- frequency and spatial resolution off

comparison of the edge located in the left lower position 图像 评价用高分辨率图像 双三次插值 本文方法 截止频率 0. 4497 0. 2205 0. 4375 空间分辨率 2. 2239 4. 5354 2. 2857

表4

左上方处截止频率及空间分辨率对比分析结果 Tab. 4 Cut- frequency and spatial resolution off

comparison of the edge located in the left upper position 图像 评价用高分辨率图像 双三次插值 本文方法 截止频率 0. 2517 0. 125 0. 191 空间分辨率 3. 9724 8 5. 2364 图 10 Fig. 10 SSSIM 与超分辨率重构效果间的内在关系 The relationship between SSSIM and MSSIM index

5

结论
本文提出了一种基于压缩感知和图像结构自相似

4. 5

SSSIM 指标与超分辨率重构效果间的内在关系 分析 本文方法超分辨率重构效果取决于图像自身的结

性的遥感图像超分辨率方法。在该方法中, 广泛存在于 遥感图像自相似结构中的附加信息通过字典学习的方 式加入到超分辨率重构图像中。在超分辨率重构过程 中, 首先通过低分辨率图像插值获得准高分辨率图像, 再将准高分辨率图像块作为样本进行字典学习, 最后在 压缩感知的框架下完成超分辨率重构。基于模拟与大 规模真实遥感图像的对比实验结果表明, 由于该方法充 分利用了图像自身所蕴含的相似结构信息, 在超分辨率 重构效果和方法运行时间等方面均表现出了较大优势。 同时需要明确指出的是, 该方法的超分辨率重构效果依

3. 构自相似性程度, 2 节 SSSIM 指标的引入就是为了评 SSSIM 与 价这种结构自相似性程度。本节实验将说明, 超分辨率重构效果间具有较强的内在相关性。在讨论 SSSIM 指标与超分辨率重构效果关系时, 图像尺寸大小 是一个需要考虑的重要因素之一。随着图像尺寸的变 化, 某一相似结构在整个图像中的比重也将发生变化。 该实验中分别使用了 512 × 512 以及 400 × 400 大小的遥 SSSIM 指标与本文方法超分辨率重构效果的 感图像,

第6 期

潘宗序 等: 基于压缩感知与结构自相似性的遥感图像超分辨率方法

871

赖于图像自身的结构自相似性程度, 而这种结构自相似 性程度可以通过 SSSIM 指标加以度量。
参考文献 [ 1] Park S C,Park M K,Kang M G. Superresolution image reconstruction: A technical overview[J] IEEE Signal . 20( 36. Processing Magazine. 2003, 3) : 21[ 2] Clark J J,Palmer M R,Lawrence P D. A transformation method for the reconstruction of functions from nonuniformly spaced samples[J] IEEE Transactions on . 33 Acoustics,Speech and Signal Processing. 1985, ( 5 ) : 11511165. [ 3] Irani M, Peleg S. Motion analysis for image enhancement: resolution, occlusion, and transparency [ . Journal of Visual Communication and Image RepreJ] 4( 335. sentation. 1993, 4) : 324[ 4] Kim S P,Bose N K,Valenzuela H M. Recursive reconstruction of high resolution image from noisy undersampled multiframes[ . IEEE Transactions on Acoustics, J] Speech, and Signal Processing. 1990, 6) : 101338( 1027. [ 5] Stark H,Oskoui P. Highresolution image recovery from J] imageplane arrays,using convex projections[ . Journal of the Optical Society of America A ( Optics and Image 6( 1726. Science) . 1989, 11) : 1715[ 6] Banham M R,Katsaggelos A K. Digital image restoration [ . IEEE Signal Processing Magazine. 1997, 2) : 24-41. J] 14( [ 7] Schultz R R,Stevenson R L. A Bayesian approach to image expansion for improved definition[ . IEEE TransacJ] tions on Image Processing. 1994, 3) : 2333( 242. [ 8] Li X,Orchard M T. New edgedirected interpolation[ . J] IEEE Transactions on Image Processing. 2001, ( 10 ) : 10 15211527. [ 9] Muresan D D,Parks T W. Adaptively quadratic ( AQua) image interpolation[ . IEEE Transactions on Image ProJ] cessing. 2004, 5) : 690-698. 13( [ 10] Zhang L,Wu X. An edgeguided image interpolation algorithm via directional filtering and data fusion[J] IEEE . Transactions on Image Processing. 2006, 8) : 222615( 2238. [ 11] Zhang X, X. Image Interpolation by Adaptive 2- AuWu D . toregressive Modeling and SoftDecision Estimation[J] IEEE Transactions on Image Processing. 2008, ( 6 ) : 17 887-896. [ 12] Dai S, Han M, Y, al. Bilateral backWu et projection for single image super resolution [C] IEEE International .

2007. Conference on Multimedia and Expo,ICME 2007, [ 13] Fattal R. Image upsampling via imposed edge statistics [ . ACM Transactions on Graphics. 2007, 3) : 1-8. J] 26( [ 14] Sun J,Xu Z,Shum H. Image superresolution using gra. dient profile prior [C] 26th IEEE Conference on Computer Vision and Pattern Recognition,CVPR, 2008. [ 15] Tai Y,Liu S,Brown M S,et al. Super resolution using edge prior and single image detail synthesis[C] 2010 . IEEE Computer Society Conference on Computer Vision and Pattern Recognition,CVPR 2010, 2010. [ 16] Sen P,Darabi S. Compressive image superresolution [ . 43rd Asilomar Conference on Signals,Systems and C] 2009. Computers, [ 17] Li T. SuperResolution using Regularized Orthogonal Matching Pursuit based on compressed sensing theory in the wavelet domain[ . 2009 IEEE International SympoC] sium on Computational Intelligence in Robotics and Auto2009. mation,CIRA 2009, [18 ] Baker S, Kanade T. Hallucinating faces [C ] . Proceedings of the Fourth International Conference on Automatic Face and Gesture Recognition, 2000. [ 19] Baker S,Kanade T. Limits on superresolution and how J] to break them[ . IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002, 9) : 116724( 1183. [ 20] Chang H,Yeung D,Xiong Y. Superresolution through neighbor embedding[C] Proceedings of the 2004 IEEE . Computer Society Conference on Computer Vision and Pattern Recognition,CVPR 2004, 2004. [ 21] Suetake N,Sakano M,Uchino E. Image superresolution J] based on local selfsimilarity[ . Optical Review. 2008, 15( 1) : 2630. [ 22] Glasner D,Bagon S,Irani M. Superresolution from a C] single image[ . 12th International Conference on Computer Vision,ICCV 2009, 2009. [ 23] Yang J,Wright J,Huang T S,et al. Image superresolu. tion via sparse representation[J] IEEE Transactions on Image Processing. 2010, 11) : 286119( 2873. [ 24] Yang S,Sun F,Wang M,et al. Novel super resolution restoration of remote sensing images based on compressive sensing and example patchesaided dictionary learning [ . 2011 International Workshop on MultiC] Platform / MultiSensor Remote Sensing and Mapping, M2RSM 2011, 2011. [ 25] Donoho D L. Compressed sensing[ . IEEE Transactions J]

872
on Information Theory. 2006, 4) : 128952( 1306.









第 28 卷
) 女, 黄慧娟( 1988- , 博士研究生, 清 华大学电子工程系, 研究方向为图像处 模式识别、 空间信息处理应用。 理、 Email: tcyzhhj@ yahoo. com. cn

[ 26] Candes E J,Romberg J K,Tao T. Stable signal recovery from incomplete and inaccurate measurements[ . ComJ] munications on Pure and Applied Mathematics. 2006, 59 ( 8) : 12071223. [ 27] Duarte M F,Davenport M A,Takbar D,et al. Singlepixel imaging via compressive sampling[ . IEEE Signal J] Processing Magazine. 2008, 2) : 8325( 91. [ 28] Tropp J A,Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J] IEEE . Transactions on Information Theory. 2007,53 ( 12 ) : 4655-4666. [ 29] Aharon M,Elad M,Bruckstein A. KSVD: An algorithm for designing overcomplete dictionaries for sparse repre. sentation[J] IEEE Transactions on Signal Processing. 54( 2006, 11) : 4311-4322. [ 30] http: ∥sipi. usc. edu / database / database. php[ . Z] [ 31] http: ∥sess. pku. edu. cn: 8080 / greatcourse / zhujiang /[ . Z] [ 32] Han H, Kim D, Park R. Structural informationbased imC] age quality assessment using LU factorization[ . 2009. [ 33] Wang Z,Bovik A C,Sheikh H R,et al. Image quality assessment: from error visibility to structural similarity [ . IEEE Transactions on Image Processing. 2004, J] 13 ( 4) : 600-612. [ 34] Marziliano P, Dufaux F, Winkler S, et al. A noreference perceptual blur metric[ . Proceedings of ICIP C] 2002. 2002 International Conference on Image Processing, [ ] http: ∥ www. cs. huji. ac. il / ~ raananf / projects / 35 upsampling / results. html[ . Z] 作者简介 ) 男, 潘宗序( 1986- , 博士研究生, 清 华大学电子工程系, 研究方向为图像处 模式识别、 空间信息处理应用。 理、 Email: pzx10@ mails. tsinghua. edu. cn



) 女, 晶( 1981- , 博士, 清华大学

电子工程系博士后, 研究方向为图像处 模式识别等。 理、 Email: yujing@ tsinghua. edu. cn

) 男, 胡少兴 ( 1972- , 博士, 副教授, 北京航空航天大学机械工程与自动化学 研究方向为三维激光扫描技术、 计算 院, 机视觉与模式识别、 图像图形处理等。 Email: husx@ buaa. edu. cn ) 女, 张爱武 ( 1972- , 博士, 教授, 首 都师范大学三维空间信息获取与应用教 育部重点实验室, 研究方向为三维数据 可视化, 图像图形处理、 计算机视觉与模 mail: zhangaw163 @ 式 识 别 等。 E163. com ) 男, 马洪兵 ( 1963- , 博士, 副教授, 清华大学电子工程系, 研究方向为图像 模式识别、 空间信息处理应用等。 处理、 Email: hbma@ tsinghua. edu. cn

) 男, 孙卫东 ( 1960- , 博士, 教授, 博 士生导师, 清华大学电子工程系, 研究方 向为图像处理、 模式识别、 空间信息处理 mail: wdsun @ tsinghua. 应 用 等。 Eedu. cn


相关文章:
模式识别-压缩感知
第一个是信号的稀疏结构。传统的 Shannon 信号表示方法只开发利用了最少 的被...2、压缩感知的主要应用压缩感知基于信号的可压缩性, 通 过低维空间、低分辨率、...
压缩感知算法的并行化研究
目前,这种方法已被引入到遥感图像处理领域中,然而,由于遥感图像具有高分辨率、多...结束语压缩感知理论采用非自适应线性投影来保持信号的原始结构,采用以远低于传 ...
基于分离Bregman迭代协同稀疏性的图像压缩感知恢复算法
基于分离Bregman迭代协同稀疏性的图像压缩感知恢复算法...性和非局部自相似性的同时,获得更高质 量的图像...从而能够突破 Nyquist 采样定理的瓶颈,使得高分辨率的...
重建
提出一种基于图像局部自相似性的超分辨率快速重构算法...通过采用基于光流场的金字塔分层结构实现由粗到精的...基于外存和凸集投影法的遥感图像超分辨率方法 张砚,...
基于压缩感知的新型声信号采集方法
基于压缩感知的新型声信号采集方法 摘要: 介绍了一种基于压缩感知的声音信号采集...通过该结构实现的 压缩采样,可大大降低传感器成本实现复杂性。 图 1 经典...
低质量监控视频人脸超分辨率
在图像配准精度较高的遥感 图像领域应用范围广泛,...基于学习的超分辨率算法,这类方法通过样木库中的先验...激发了压缩感知 (compressed sensing 或 compressive ...
基于加权压缩感知的人脸识别方法
基于加权压缩感知的人脸识别方法针对人脸识别对遮挡...类,则应该近似有下述(1)式的线性空间结构: y ? ...的判定测试样本与训练集中每一类训练样本的相似度。 ...
更多相关标签:
压缩感知 超分辨率 | 高分辨率遥感影像 | 遥感影像分辨率 | 高分辨率遥感卫星 | 高分辨率遥感 | 遥感分辨率 | 高分辨率遥感图像 | 遥感图像分辨率 |