当前位置:首页 >> 信息与通信 >>

基于MATLAB的图像融合算法


毕业设计

基于 MATLAB 的图像融合算法

摘要
图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用 一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这 种新数据具有描述所研究对象的较优化的信息表征,同单一信息源相比,能减少或抑制对 被感知对象或环境解释中可能存在的多义性、

不完全性、不确定性和误差,最大限度的利 用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次,其中像素级图像融合能够提供其它 层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息,有利于图像的进一步 分析、处理和理解,它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。 本文的研究工作是围绕像素级图像融合展开的,针对像素级图像融合技术中需要解决的关 键问题,研究了多种像素级图像融合方法。 本论文的主要的研究内容有: 首先介绍了图像信息融合的概念、优势、发展历史和应用领域,并介绍了图像融合的 三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像 素加权平均法,频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波(邻域平均滤波法、中值滤波法)和图像配准。最后, 对于图像融合系统来说,融合图像质量的评价显得特别重要,本文探讨了图像融合质量的 评价问题,总结了融合效果的主、客观评价标准,作为本课题性能分析的判断标准。

关键词:图像配准;图像融合;空域融合法;小波变换;评价标准

基于 MATLAB 的图像融合算法

MATLAB-based image fusion algorithm
Abstract
The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level,the feature level and the decision level,among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information that doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts, advantages,developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration ; Image Fusion ; Airspace integration method ; Wavelet Transform;Evaluation criteria

毕业设计

目录
第一章 绪论 ............................................................................................................. 6

1.1 图像融合的概念 ............................................6 1.2 图像融合的主要研究内容 ....................................7 1.2.1 图像融合的层次 .......................................7 1.2.2 图像融合算法的发展 ...................................9 1.2.3 图像融合的步骤 .......................................9 1.3 图像融合技术的发展现状 ...................................10 1.4 本文的研究工作 ...........................................10

第二章 图像预处理 ............................................................................................... 11

2.1 图像的校正 ...............................................11 2.2 图像滤波技术 .............................................11 2.2.1 邻域平均法 ..........................................12 2.2.2 中值滤波 ............................................12 2.3 图像配准 .................................................13 2.3.1 图像配准概述 ........................................13 2.3.2 手动图像配准 ........................................14 2.3.3 基于图像特征的匹配算法 ..............................15

基于 MATLAB 的图像融合算法

第三章 图像融合 ................................................................................................... 16

3.1 加权平均融合法 ...........................................16 3.2 像素灰度值选大/小融合方法 ................................16 3.3 主分量融合法 .............................................17 3.4 IHS 变换法 ...............................................19 3.5 小波变换融合法 ...........................................20 3.5.1 小波的定义及特点 ....................................20 3.5.2 基于小波变换的图像融合方法原理 ......................25 3.5.3 图像融合规则及融合因子 ..............................26

第四章 图像融合效果评价 ................................................................................... 27

4.1 主观评价 .................................................27 4.2 客观评价 .................................................27 4.2.1 基于光谱特征的评价 ..................................27 4.2.2 基于信息量的评价 ....................................28 4.2.3 基于统计特性的评价 ..................................29 4.2.4 基于信噪比的评价 ....................................30

毕业设计

总结与展望 ............................................................................................................. 31

谢辞 ......................................................................................................................... 32

参考文献 ................................................................................................................. 33

基于 MATLAB 的图像融合算法

第一章 绪论
图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分 支—可视信息的融合,近 20 年来,引起了世界范围内的广泛关注和研究热潮。图像融合 就是通过多幅图像冗余数据互补得到一幅新的图像,在这幅图像中能反应多重原始图像中 的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息,融 合后的图像应该更适合于人类视觉感知或计算机后续处理,减少不确定性。图像融合技术 在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位,对于 国防安全和经济建设具有十分重要的战略意义。 图像融合的方法与具体的处理对象类型、处理等级有关。这主要是各类图像的解析度 不同、表现的内容不同,相应的处理方法也要根据具体情况而定。 本章首先介绍了多传感器图像融合的基础理论及发展现状,在此基础上介绍了像素级 图像融合方法的原理及应用,最后,给出论文的内容安排。

1.1 图像融合的概念
图像融合是二十世纪 70 年代后期提出的新概念, 是多传感器信息中可视信息部分的融 合, 是将多源信道所采集的关于同一目标图像经过一定的图像处理, 提取各自信道的信息, 最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图 像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统 具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互 补性、 时间优越性及相对低成本性等), 在技术先进国家受到高度重视并己取得相当的进展。 图像融合的形式大致可分为以下 3 种: (l)多传感器不同时获取的图像的融合; (2)多传感器同时获取的图像的融合; (3)单一传感器不同时间,或者不同环境条件下获取的图像的融合。 图像融合能够充分利用这些时间或空间上冗余或互补的图像信息,依据一定的融合算 法合成一幅满足某种需要的新图像, 从而获得对场景的进一步分析、 理解以及目标的检测、 识别或跟踪。以两个传感器 A、B 为例,其信息构成的示意图如图 1-1 所示。
冗余信息

传感器A

传感器B

互补信息
图 1-1 多源图像的信息构成

毕业设计

通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的 结果,使系统变得更加实用。同时,使系统具有良好的鲁棒性,例如,可以增加置信度、 减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。 目前,将图像融合技术应用于数字图像处理的主要目的有以下几种: (1)增加图像中有用信息的含量,改善图像的清晰度,增强在单一传感器图像中无法看 见/看清的特性; (2)改善图像的空间分辨率, 增加光谱信息的含量, 为改善检测/分类/理解/识别性能获取 补充的图像信息; (3)通过不同时刻的图像序列融合来检测场景/目标的变化情况; (4)通过融合多个二维图像产生具有立体视觉的三维图像,可用于三维重构或立体投影, 测量等; (5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。 显然,图像融合技术不同于一般意义上的图像增强,它是计算机视觉、图像理解领域的 一项新技术。

1.2 图像融合的主要研究内容
1.2.1 图像融合的层次 图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理,最终形成一幅新 的图像。它可以强化图像中有用信息,增加图像理解的可靠性,获得更为准确的结果。在 各种融合应用中, 由于应用目的、 所处理的输入数据及融合处理前对数据预处理程度不同, 使得融合系统在不同层次上对多源数据进行处理,每个层次表示不同的数据抽象级别。根 据抽象程度可将图像融合系统分为三级:像素级、特征级和决策级。融合的层次不同,所 采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中,图像融合所处的位 置与层次。
数据1 数据2 数据n

数据项处理: 去噪、几何校正 、灰度校正

图 像 配 准

像素级融合: HIS方法 PCA方法 金字塔方法 小波变换法

特 征 提 取

特 征 分 类

特征级融合: Bayesian方法 D-S方法 神经网络方法等

特 征 识 别

决策级融合: Bayesian方法 神经网络法 模糊聚类法 专家系统等

图 1-2 三个不同层次上的多源图像融合示意图

基于 MATLAB 的图像融合算法

(1)像素级图像融 像素级图像融合是在严格配准的条件下,对各图像传感器输出的信号,直接进行信息 的综合与分析。像素级图像融合是在基础层面上进行的信息融合,其主要完成的任务是对 多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层 上进行的融合,该层次的融合准确性最高,能够提供其它层次上的融合处理所不具有的更 丰富、更精确、更可靠的细节信息,有利于图像的进一步分析、处理与理解。像素级图像 融合是目前在实际中应用最广泛的图像融合方式,也是特征级图像融合和决策级的基础, 但缺点是预处理的信息量最大,处理时间较长,对通信带宽的要求高。在进行像素级图像 融合之前,必须对参加融合的各图像进行精确的配准,其配准精度一般达到像素级,因此, 像素级融合是图像融合中最为复杂且实施难度最大的融合。 像素级图像融合通常用于:多源图像复合、图像分析和理解。
数据1 校 数据2
、 、 。







像 素 级 融 合

特 征 提 取

数据n
图 1-3 像素级数据融合原理示意图

联 合 的 属 性 说 明

(2)特征级图像融合 特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、 轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合,它既保留了足够数量的重 要信息,又可对信息进行压缩,有利于实时处理。它使用参数模板、统计分析、模式相关 等方法完成几何关联、特征提取和目标识别等功能,以利于系统判决。一般从源图像中提 取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征 级图像融合过程中,由于提取的特征直接与决策分析有关,因而融合结果能最大限度地给 出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域,已经对 特征提取和基于特征的图像分类、分割等问题进行了深入的研究,但是这一问题至今仍是 困扰计算机视觉研究领域的一个难题,有待于从融合角度进一步研究和提高。
数据1 校 数据2
、 、 。

特 征 提 取 准





特 征 级 融 合

数据n
图 1-4 特征级数据融合原理示意图

联 合 的 属 性 说 明

毕业设计

(3)决策级图像融合 决策级图像融合是一种更高层次的信息融合,其结果将为各种控制或决策提供依据。 这种方法是首先对各个源数据进行处理,分别得出判断和识别的结果,融合中心将这些结 果按照一定的准则和每个数据源决策的可信度进行协调,以取得最优的决策结果。决策级 融合方法主要是基于认知模型的方法,需要大型数据库和专家决策系统,进行分析、推理、 识别和判决。此种融合实时性好,并且有一定的容错能力,但其预处理代价较高,图像中 的原始信息的损失最多。
数据1 校 数据2
、 、 。

属性说明 特 征 提 取 属性说明 关 决 策 级 融 合

联 属性说明



数据n

联 合 的 属 性 说 明

图 1-5 决策级融合原理示意图

图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系,在实际应用 中,应根据数据融合特点、原始数据特点、可用资源及目标要求,选择适当的数据融合层 次及融合方法,才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层 次不仅能够独立进行,而且它们有着密切相关性,还可以作为一个整体同时进行分层次融 合,前一级的融合结果可作为后一级的输入。

1.2.2 图像融合算法的发展 对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特 性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主 要有 IHS(明度-色度-饱和度:Intensity-Hue-saturation)变换、平均、加权平均、差分及比率、 高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换,融合处理 只是在一个层次上进行的,因此均属于早期的图像融合方法。 到 80 年代中期,人们又提出了基于金字塔的图像融合方法,其中包括拉普拉斯金字 塔、 梯度金字塔、 比率低通金字塔等, 并开始将图像融合技术应用于一般图像(可见光图像、 红外图像、多聚焦图像、遥感图像等)的处理。90 年代,随着小波理论的发展与广泛应用, 小波变换技术为图像融合提供了新的工具,使图像融合技术的研究呈不断上升趋势,应用 的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器 人导航、决策支持系统、大型经济信息、医学图像处理等。 1.2.3 图像融合的步骤 对于某个具体的图像融合系统而言, 它所接受的信息可以是单一层次上的信息, 也可以 是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合,从而获得更 高层次的融合后的信息,然后再进行相应层次的融合。因此,图像融合本质上是一个由低 (层)至高(层)对多源信息融合、逐层抽象的信息处理过程。

基于 MATLAB 的图像融合算法

一般情况下,由于各个成像传感器所在的平台各异,且成像模式不同,同时还会受到 各种环境因素的影响,对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污 染等问题,因此,多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后, 接下来就是根据具体的应用目的不同,采用不同的融合算法对多个源图像在不同的层次上 进行融合处理,同时还要对融合结果进行质量评价,形成具有反馈的系统,从而有利于选 择最为合适的融合方式以得到最优的融合结果。最后,将得到的融合结果应用于各种不同 的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度最大的融合, 因而本论文重点对它进行探讨和研究。

图片1
、 、 、

滤波、校准、配准

特征变换

图片n

滤波、校准、配准

特征变换

特 征 融 合

逆 变 换

融合后图像

预处理阶段
图 1-6

融合阶段
图像融合一般步骤

1.3 图像融合技术的发展现状
1979 年,Daily 等人[9]首先把对雷达图像和 Landsat-Mss 图像的复合图像应用于地质 解释,其对图像的处理过程可以看作是最简单的图像融合。1981 年, Laner 和 Todd 对 Landsat-RBV 和 Mss 图像数据进行了融合试验。 到 80 年代中后期, 图像融合技术逐渐开始 引起人们的关注,陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90 年代 开始,图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融 合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像 中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有 IHS 变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行 融合处理时都不对参加融合的图像进行分解变换,融合处理只是在一个层次上进行。 到 80 年代末,人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图 像等)。90 年代后,图像融合技术的研究呈不断上升趋势,应用的领域也遍及遥感图像处 理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年,多传感器 (多源) 图像融合技术己成为计算机视觉、自动目标识别、机器人、军事应用等领域的热点研究问 题。

1.4 本文的研究工作
本文的研究基于 MATLAB 的图像融合算法。涉及图像融合前的预处理,滤波去噪和 图像配准,采取手动配准获取精准的配准图像,在空域内的像素级图像融合采用简单直接 的加权平均法,在频域内的小波变换融合,最后对融合结果进行评价。

毕业设计

第二章 图像预处理
图像传感器在获得原始数据的过程中存在不同的干扰,使得获在取的图像中往往存在 或多或少的噪声。为了避免噪声的传播扩散,使后面图像融合的质量和性能下降,必须在 融合前对源图像进行几何校正、去噪和增强处理。此外,在进行像素级融合前,还必须对 源图像进行有效而精确的配准处理,以去除不同传感器的系统误差和偶然误差,这些为图 像融合所做的准备统称为图像预处理。

2.1 图像的校正
图像校正主要分为两类:几何校正和灰度校正。 (1)几何校正 图象几何校正的思路是通过一些已知的参考点,即无失真图象的某些象素点和畸变图 象相应象素的坐标间对应关系, 拟合出上述多项式中的系数, 并作为恢复其它象素的基础。 几何校正的基本方法是:首先建立几何校正的数学模型;其次利用已知条件确定模型 参数;最后根据模型对图像进行几何校正。具体操作通常分两步: ①对图像进行空间坐标变换;首先建立图像像点坐标(行、列号)和物方(或参考图) 对应点坐标间的映射关系,解求映射关系中的未知参数,然后根据映射关系对图像各个像 素坐标进行校正; ②确定各像素的灰度值(灰度内插)。
准 备 工 作 输入 原始 数字 图像 建立 纠正 变换 函数 确定 输出 影视 范围 逐个像 素的几 何位置 变换 像素 亮度 值重 采样 输出 纠正 后的 图像

图 2-1 几何校正处理过程

(2)灰度校正 根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法。通常使用 的主要有三种: (1)灰度级校正。针对图像成像不均匀如曝光不均匀,使图像半边暗半边亮,对图像 逐点进行不同程度的灰度级校正,目的是使整幅图像灰度均匀。 (2)灰度变换。针对图像某一部分或整幅图像曝光不足使用灰度变换,其目的是增强 图像灰度对比度。 (3)直方图修正。能够使图像具有所需要的灰度分布,从而有选择地突出所需要的图 像特征,来满足人们的需要。

2.2 图像滤波技术
在图像采集、传输过程中,由于输入转换器、周围环境、电压波动等多种因素的影响, 图像不可避免地含有各种各样的随机干扰信号,这些信号就是我们所讲的噪声,它们或与 图像内容有关,或无关。但相同的是都会导致图像失真,使图像模糊,甚至掩盖图像的重 要特征,给后续的图像分析和处理带来不利影响。 图像噪声的种类很多,分类的标准也不少。例如,按其产生的原因可分为外部噪声和

基于 MATLAB 的图像融合算法

内部噪声;按噪声服从的分布将其分为随机噪声(高斯噪声)和椒盐噪声;根据噪声与信 号之间的关系分为加性噪声和乘性噪声等。针对不同的噪声,其去噪方法大致可分为以下 两大类: (1)空域滤波去噪是指在空间域内对图像像素的灰度值直接运算处理的方法。常用的空 间滤波去噪方法主要有均值滤波、中值滤波、维纳滤波以及空间域低通滤波法,其中,维 纳滤波是一种自适应的滤波方法,比一般的滤波器具有更好的选择性,可以更好地保护图 像边缘,尤其对加性高斯白噪声的抑制效果很好。在此简单介绍两种空域滤波法: (2)变换域去噪是指在图像的某种变化域内,对源图像经过变换后的系数进行相应处 理,然后再进行反变换达到图像去噪目的的一种方法。常用的去噪方法主要有频率域低通 滤波法和基于小波变换法,其中小波去噪的方法大致可分为基于小波变换模极大值原理、 相邻尺度间小波系数相关性以及阈值法三大类。目前,基于小波变换的去噪方法尚处于不 断发展的阶段,总体来说,去噪效果较好但计算非常复杂,不同的重构方法对信号重构的 误差影响很大,也会影响到去噪的效果。

2.2.1 邻域平均法 邻域平均法按 g ( x, y) ? f ( x, y) ? h( x, y) 直接对图像作低通滤波处理。 可用于消除随机相 加噪声。

常用的 h( x, y ) (低通滤波器的脉冲响应函数)有
?1 1 1? ?1 1 1? ?1 2 1 ? 1? 1 ? 1 ? ? ? 1 1 1?, ?1 2 1?, ?2 4 2? ? ? 9 10 16 ?1 1 1? ? ? ? ? ? ? ?1 1 1? ?1 2 1 ?

这里的作用域为3×3,共有9个像素灰度参加运算,用运算结果代替中心像素 ( x, y ) 的 像素灰度。 根据需要,可选用5× 5,7× 7等不同作用域的。矩阵中心的元素值占的比例越小,平滑 作用越强,会使图像越模糊; h( x, y ) 的作用域越大,平滑作用越强,亦导致图像越模糊。 原则:使矩阵的元素之和与其前面的系数相乘的结果为1,以在平滑过程中处理结果 的像素灰度不超过允许的像素最大灰度值。用这种方法作平滑处理,图像四周围边缘的像 素需特殊处理。 两种特殊处理办法(对3×3的情形): ① 把原图像从M× N转化为(M+2)× (N+2),所加大的两行和两列的像素灰度均取0, 然后对加大后的像素平滑处理,结果又舍去所加的两行的零灰度信息,仅取M×N。 ② 不处理原始图像4个边缘的像素,使处理后4个边缘的像素灰度保持原始灰度,或人为 地赋予特殊灰度。 2.2.2 中值滤波 作为抑制噪声的非线性处理方法, 中值滤波是从一维信号处理的中值滤波技术发展而 来的。

毕业设计

其原理是在图像画面中开一个一维的小窗口,它应该包含奇数个像素,按像素的灰度 值从小到大排列起来,然后用中间灰度值来代替原排列的中间像素的灰度值。窗口然后从 左到右移动,直到边界。窗口下移一行,再从左到右进行。经过中值滤波变换后,某象素 的输出等于该象素邻域中各象素灰度的中间灰度值。其操作流程如下所示: 50,60,300,100,120,80,190,、、、 ↓→→顺序排列象素灰度值 50,60,100,120,300, ↓用中间灰度值 100 代替原中间灰度值 300, 50,60,100,100,120,80,190,、、、 ↓右移窗口得 50,60,100,100,120,80,190, 、 、 、 ↓→→顺序排列象素灰度值 60,80,100,100,120 ↓中间灰度值 100 与原中间灰度值 100 相同,不用换 50,60,100,100,120,80,190, 、 、 、 ↓右移窗口得 50,60,100,100,120,80,190, 、 、 、 这样对图像灰度的跳跃有平滑效果。 考虑到一般图像在两维方向上均具有相关性,因此,活动窗口一般选为两维窗口(如 3×3,5×5 或 7×7 等) ,窗口形状常用:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 5 ? 5方形 ? ? ? ? ? ? ? ? ? 5 ? 5十字形 3 ? 3方形 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 5 ? 5圆形

2.3 图像配准
2.3.1 图像配准概述 图像配准(或图像匹配)是评价两幅或多幅图像的相似性以确定同名点的过程。图像 配准算法就是设法建立两幅图像之间的对应关系 ,确定相应几何变换参数,对两幅图像中的 一幅进行几何变换的方法。 像配准的一般过程是在多源图像数据经过严密的几何纠正处理、改正了系统误差之 后,将影像投影到同一地面坐标系统上,然后在各影像上选取少量的控制点,通过特征点 的自动选取或是计算其间的相似性、粗略配准点的估计位置、精确确定配准点以及估计配 准变换参数等处理,从而实现影像的精确配准。 按照配准算法所利用的图像信息,可以分为以下两类 (1)基于灰度的图像配准方法。该类方法直接利用整幅图像的灰度度量两幅图像之间 的相似性,然后采用搜索方法寻找使相似性度量最大或最小值点,从而确定两幅图像之间 的变换模型参数。该方法不需要对图像作特征提取,直接利用全部可用的图像灰度,提高 了配准算法的估计精度和鲁棒性, 但是由于匹配点周围区域的点的灰度都参与计算, 因此, 其计算量大,速度慢。

基于 MATLAB 的图像融合算法

(2)基于图像特征的图像配准方法。将从图像灰度中提取出来的某些显著特征作为匹配 基元,用于匹配的特征通常为点、线、区域等。算法过程主要分为特征提取和特征匹配。 在特征匹配前,首先要从待匹配的多幅图像中提取出灰度变化明显的点、线、区域等特征, 组成特征集。然后,在各幅图像所对应的特征集中利用特征匹配算法尽可能的将存在匹配 关系的特征对选择出来。 对于非特征像素点利用插值等方法处理, 推算出对应的匹配关系, 从而实现多幅图像之间逐像素的配准。由于提取了图像的显著特征,大大压缩了信息的数 据量,同时较好的保持了图像的位移、旋转、比例等方面的特征,因此,该方法在匹配时 计算量小、速度快,是较为实用的方法。 按自动化程度可以分为人工、半自动和全自动三种类型 。 2.3.2 手动图像配准 我们可以利用 Matlab 自带的图像处理工具箱来完成配准需要。图像处理工具箱 (Matlab Image Processing Toolbox)提供了一套全方位的参照标准算法和图形工具, 用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或 还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。 利用 Matlab Image Processing Toolbox 中的图像配准工具实现线性正投影、仿射、 投影、多项式、分段线性、局部加权平均配准的过程。 (1)手动选择匹配点对 该工具箱提供的配准方法均需手工选择图像间的匹配点对(control points pair), 均属于交互配准方法。 假设 input image(输入图像)为欲进行配准的图像,base image 为配准是的参考图 像。以下是我参考 matlab 帮助给出了简介。 1.线性正投影(linear conformal):最简单。平面映射成平面。 当输入输入图像与参考图像对比,只是存在全局的平移、旋转、缩放或其三者组合的 差别时(正方形仍对应正方形),选择此配准方法。此方法至少需要 2 对匹配点。 2.仿射(affine):将平行线转换成平行线。 当输入图像形状存在切变现象(正方形对应平行四边形),选此法。至少需 3 对匹配 点。 3.投影(projective):将直线映射成直线。 如果输入图像呈现倾斜,翘起现象,选此法。至少需 4 对匹配点。 4.多项式(polynomial):将直线映射成曲线。 如果输入图像出现不规则曲变,采用此法。Matlab 中提供有 2、3、4 次幂的实现,分 别至少需要 6,10,10 对匹配点。 5.分段线性(piecewise linear) 如果输入图像的各个局部之间的退化模式明显不一样, 选此法。 至少需要 4 对匹配点。 6.局部加权平均(local weighted mean) 与分段线性一致,但效果较之好。至少需要 6 对(推荐 12 对)匹配点。 (2)手动配准的基本过程如下图所示:

毕业设计

读入图像数据

在两幅图像上手动选择足够 的匹配点 选择匹配算法,计 算变换参数 变换图像

图 2-1 手动图像配准一般流程

2.3.3 基于图像特征的匹配算法 Harris 角点检测算法
角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点,它决定了目标的轮廓特征,被 广泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中,这些点在保留 图像图形重要特征的同时,可以有效地减少信息的数据量,使得实时处理成为可能。

Harris 角点检测算法基本原理描述如下:建立下面矩阵 M:

? ?I 2 ?I ?I ? ?( ?x ) ( ?x )( ?y ) ? ? M ?? ? ?I ?I ?I 2 ? ?( ?x )( ?y )( ?y ) ? ? ?
其中 I(x,y)是亮度值,这里用灰度表示。通过分析上面矩阵可以看出如果在一点上 矩阵 M 的两个特征值很大, 则在该点向任意方向上的一个很小的移动都会引起灰度值的较 大变化。这也就说明该点是一个角点。计算角点的函数如下:

R ? det M ? k (traceM )2

(2.2)

其中 k 参数设为 0.04(Harris 设定的最优参数) 。 令 A= (
?I 2 ?I ?I ?I ) ,B= ( ) 2 ,C= ( ) ,D= ( ) ?x ?x ?y ?y

? AB ? 则矩阵 M ? ? ? ?CB ?

?I ?I 表示图像 I 在 x 方向的导数, 表示图像在 y 方向的导数。求出 R 的值,若为正 ?x ?y

则对应点为角点,若为负则是一般边界点。
该算法易受噪声的影响。为了减小噪声的干扰,在对图像进行偏导计算以后用高斯滤波器对数据 进行平滑。 按此方法求出的角点数量很多。 为了减少匹配计算量, 可以对想要获得的角点数量进行限制。 限制方法是确定一个阈值,仅仅选取 R 值大于这个阈值的点作为角点。这个阈值根据需要的检点数量 来确定。

基于 MATLAB 的图像融合算法

第三章 图像融合
常用的像素级图像融合方法有: (l)空域融合方法:①加权平均法;②像素灰度值取大/小法;③主分量法(PCA)。 (2)变换域融合方法:①IHS 变换法;②小波变换法

3.1 加权平均融合法
空域法是把图像看作是平面中各个像素组成的集合,然后直接对这一二维函数进行相 应的处理。 加权平均方法将源图像对应像素的灰度值进行加权平均,生成新的图像,它是最直接 的融合方法。其中平均方法是加权平均的特例,使用平均方法进行图像融合,提高了融合 图像的信噪比,但削弱了图像的对比度,尤其对于只出现在其中一幅图像上的有用信号。 假设参加融合的两个图像分别为 A、B,图像大小为 M×N,经融合后得到融合图像 C, 那么,对 A、B 两个源图像的像素灰度值加权平均融合过程可以表示为: C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (2-1) 式中: n1 表示图像中像素的行号,nl=l,2,3,...……M; n2 表示图像中像素的列号,n2=1,2,3,...……N; ω1 表示加权系数 1; ω2 表示加权系数 2;通常ω 1+ω 2=1。 图像灰度值的平均可看作是灰度值加权平均的特例,即ω 1=ω 2=0.5。 加权平均法的优点是简单直观,适合实时处理。但简单的叠加会使融合图像的信噪比 降低;当融合图像的灰度值差异很大时,就会出现明显的拼接痕迹,不利于人眼识别和后续 的目标识别过程。

3.2 像素灰度值选大/小融合方法
假设参加融合的两个原图像分别为 A、B,图像大小为 M×N,经融合后得到的融合图像 为 F,那么: 基于像素的灰度值取大图像融合方法可表示为

F (m, n) ? Max?A(m, n), B(m, n)?
基于像素的灰度值取小图像融合方法可表示为

F (m, n) ? Min?A(m, n), B(m, n)?
式中:m 为图像中像素的行号,n=1,2,?,M; n 为图像中像素的列号,n=1,2,?,N; 即在融合处理时,比较源图像 A、B 中对应位置(m,n)处像素的灰度值的大小,以其中 灰度值大/小的像素(可能来自图像 A 或 B)作为融合后图像 F 在位置(m,n)处的像素。 这种融 合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素, 该融合 方法的适用场合非常有限。简单的图像融合方法具有实现简单,融合速度快的优点。但在 多数应用场合,这些简单的图像融合方法的局限性是显而易见的,无法获得满意的融合效

毕业设计

果。

3.3 主分量融合法
主分量(PCA)变换,又称 K-L 变换,它是一种基于目标特性的最佳正交变换。在进 行许多问题的分析时,多个变量的情况是经常遇到的。变量太多,无疑会增加分析问题的 难度和复杂性,而且在许多实际问题中,多个变量之间具有一定的相关性。能否在各个变 量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的 新变量尽可能多地保留原来的变量所反应的信息,主分量分析就是实现这个目标的一种强 有力的方法,它是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角 度来看,这是一种降维处理技术,用较少的几个综合指标来代替原来较多的变量指标,而 且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息,同时它们之间又彼 此独立。针对主成分分析的特性,将其应用于图像融合,可以把多波段的图像信息最大限 度的表现在融合后的新图像中。 图像 PCA 变换的结果在舍弃相关性较差的次要成分后进行 反变换所恢复出的图像是原图像在统计意义上的最佳逼近。 (1)主分量分析原理 各源图像的原始数据可表示为:

? x11 ?x X ? ? 21 ? ... ? ? xm1

x12 x22 ... xm 2

...

... ... ...

x1n ? x2 n ? ? ? ?x ? ik m? n ... ? ? xmm ?

其中,m 和 n 分别为源图像个数(或称变量数)和每幅图像中像素数;矩阵中的每一行 向量表示一幅源图像。 一般图像的线性变换可以用下面的式子表示:

Y ? TX
式中 X 为待变换图像数据矩阵,Y 为变换后的数据矩阵,T 为实现这一线性变换的变 换矩阵。如果变换矩阵 T 是正交矩阵,并且它是由源图像数据矩阵 X 的协方差矩阵 C 的 特征向量所组成,则上式的线性变换称为 K-L 变换,并且 K-L 变换后的数据矩阵的每一行 向量为 K-L 变换的一个主分量。 (2)主分量变换的过程 用于图像的 K-L 变换的过程如下: ①根据原始图像数据矩阵 X,求出它的协方差矩阵 C: X 的协方差矩阵为:
C? 1 X ? X X ? X l ? ci , j n

?

??

? ? ?

m? n

②求出协方差矩阵的特征值和特征向量,并组成变换矩阵,具体如下: 写出特征方程:

(?I ? C )U ? 0
式中:I 为单位矩阵,U 为特征向量。

基于 MATLAB 的图像融合算法

解上述的特征方程即可求出协方差矩阵 C 的各个特征值 ? f (1,2,......,m) ,并将其按

?1 ? ?2 ? ......? ?m 的顺序排列,求得各特征值相对应的单位特征向量(经归一化) U f :

U j ? u1 j , u2 j ,...... umj
③得到变换矩阵 T : T ? U T ,其中 U ? ?

?

?

T

? ? ? ?m*n ,是以各个特征向量为列构成的矩阵,

且 U 矩阵是正交矩阵,即 U 矩阵满足: U TU ? UU T ? I (单位矩阵)。 ④将变换矩阵 T 代入 Y=TX,将得到 K-L 变换的具体表达式:

? u11 ?u Y ? ? 12 ? ... ? ?u1m

u21 u22 ... u2 m

... um1 ? ... um 2 ? ?X ?UT X ... ... ? ? ... umm ?

式中 Y 矩阵的行向量 YJ ? ? ? 为第 j 个主分量。 经过 K-L 变换后, 得到一组 m 个新的变量, 它们依次被称为第一主分量, 第二主分量, ? 第 m 主分量。在 PCA 反变换时,只需运用到前 m 个主分量,这也正是主分量名称的由来。 PCA 变换用于图像融合的基本原理是:首先计算参加融合的两幅源图像的协方差矩阵, 然后求其特征值对应的特征向量,最后利用与最大特征值相对应的特征向量来确定两幅图 像的加权系数。
低空间分辨率多光谱图像

PCA正变换

高空 间分 辨率 全色 图像

第 一 主 成 分 分 量

第 二 主 成 分 分 量

第 N 主 成 分 分 量

以第一主成分为标准直方图匹配全色图 PCA反变换

融合图像

图 3-1 基于 PCA 变换的图像融合方法

PCA 融合算法的优点在于,它适用于多光谱图像的所有波段(IHS 变换只能用 3 个波 段),但其不足之处在于,由于 PCA 融合算法中只是用高分辨率图像简单替换低分辨率图 像的第一主成分,故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息,使

毕业设计

得融合后图像的光谱畸变严重。 用 PCA 方法确定加权系数优于加权平均融合方法中提到的 根据像素灰度值自适应确定加权系数的方法,得到的融合图像效果相对较好,但是对比度 的提高没有显著的效果。

3.4 IHS 变换法
IHS分别表示强度I(Intensity)、色调H(Hue)和饱和度S(Saturation),它们是从人眼 中认识颜色的三个特征。强度是光作用在人眼所引起明亮程度的感觉,确定像素的整体亮 度,与物体的反射率成正比。而色调和饱和度又统称为色度,反映颜色信息。色调反映了 颜色的类别,饱和度则是彩色光所呈现彩色的深浅程度,这两个分量与人感受彩色的方式 是紧密相连的。IHS变换有效地将RGB颜色信息表示成强度和色度信息,因此可以分离出大 部分光谱信息,有利于图像光谱信息的保持。 IHS 变换是指将RGB(Red-Green-Blue,红-绿-蓝) 三原色信号表示的彩色图像转换为 I(亮度),H(色调)和S(饱和度)三个分量来表示图像信息。通常的色彩显示是通过RGB( 红 绿蓝)信号的亮度值所确定的, RGB 彩色坐标系统中R、G、B呈非线性关系,使调整色调的 定量操作较为困难。而IHS 彩色坐标系统中, 三个分量具有相对的独立性,可以分别对他 们进行控制,并且能够准确定量地描述颜色特征。同时, 图像从RGB 转换到IHS这一彩色空 间变换有效地分离了代表空间亮度信息的I 分量和代表光谱彩色信息的H 和S分量。 IHS变换的形式有多种,都是基于不同的彩色空间模型建立的,它们之间主要的不同 在于亮度分量上。在此介绍Harrison和Jupp于1990年提出的变换模型,它是目前在多光谱 图像融合领域中最常见的变换模型。 正变换公式如下所示:

? ? ?I? ? ? ? ? ? v1 ? ? ? ?v ? ? ? 2? ? ? ?

1 3 1 6 1 2

1 3 1 6 ?1 2

1 ? ? 3 ? ? R? ?2? ? ? ? ?G ? 6? ? ? ? ? B? 0 ? ? ?
S ? v1 ? v2
2 2

? v2 ? H ? tan ?1 ? ?v ? ? ? 1?

将多光谱图像RGB三通道进行IHS变换,变换后的I分量与PAN全色图像进行直方图匹配,用 匹配后的图像替换原图像的I分量再反变换,反变换如下式:

? ? ? R? ? ? ? ? ?G ? ? ? ? B? ? ? ? ? ? ?

1 3 1 3 1 3

1 6 1 6 ?2 6

1 ? ? 2? ? I ? ?1 ? ? ? ? ? v1 ? 2? ? ? ? ? v2 ? 0 ? ? ?

V1 ? S cos(H ) V2 ? S sin(H )
传统的基于IHS 变换法的图像融合步骤: 将多光谱的彩色图像由RGB 转换为IHS 格

基于 MATLAB 的图像融合算法

式, 而后将全色图像与多光谱的I 分量进行直方图匹配, 再将匹配后的全色图像替换掉 多光谱图像的I 分量, 最后将替换后的多光谱图像进行HIS—>RGB转换生成融合图像。算 法融合流程如下图:
多光谱段c 多光谱段b 多光谱段a 高分辨率图像

IHS彩色空间变换提取I分量

以I分量为标准进行直方图匹配

以直方图匹配后的全色图像替换原图像的I分量

IHS反变换

融合结果

图3-2 基于HIS变换融合流程图

基于IHS 变换的融合方法特点是: 算法简单易于实现, 图像的高频细节信息保留较 好但光谱信息损失较大。因为IHS 变换法很好的保留了全色图像的高空间分辨率的细节信 息, 所以在一般的地质遥感工作领域中普通的IHS 变换法可以满足基本要求, 但是对于 一些大面积、低分辨率卫星图像, 多光谱图像所提供的彩色信息在解译工作中则变得更为 重要。比如土地利用、植被监测等项目更注重遥感图像的色彩信息, 所以普通的IHS 方法 并不能很好的满足要求。基于此我们针对传统IHS 变换法中多光谱信息损失严重的缺点提 出了改进方案。

3.5 小波变换融合法
“小波”就是小区域、长度有限、均值为 0 的波形。所谓“小”是指它具有衰减性;而称 之为“波”则是指它的波动性,其振幅正负相间的震荡形式。与 Fourier 变换相比,小波变换 是时间(空间)频率的局部化分析,它通过伸缩平移运算对信号(函数)逐步进行多尺度细化, 最终达到高频处时间细分,低频处频率细分,能自动适应时频信号分析的要求,从而可聚 焦到信号的任意细节,解决了 Fourier 变换的困难问题,成为继 Fourier 变换以来在科学方 法上的重大突破。有人把小波变换称为“数学显微镜”。 3.5.1 小波的定义及特点 (1)连续小波 设为 ? (t ) 一平方可积函数,即 ? (t ) ? L2 ( R) ,若其傅里叶变换 ?(?) 满足条件

?
R

?(?)
?

2

d? ? ? (2-1)

则称 ? (t ) 为一个基本小波或小波母函数。并称式(2-l)为小波函数的可容许性条件。

毕业设计

将小波母函数 ? (t ) 进行伸缩平移,设其伸缩因子(尺度因子)为α ,平移因子为τ ,平 移伸缩后的函数为 ?α τ , (t ) ,则有

?α τ, (t ) ?α ? (
称 ?α τ , (t ) 为连续小波基函数。

?1 2

t ?τ ),α ? 0,τ ? R α

将任意空间中的函数在小波基下展开称这种展开为函数的连续小波变换 (Continue Wvelet Transform,简称 WT),表达式为:

WT f ( α, τ ) ?? f (t ),?α τ , (t ) ??
其逆变换为:
?? ??

1 α

? f (t )? (
R

t ?? )dt α

f (t ) ?

1 C?

da 1 t ?? WT f (a,? ) ?( )d? 2 ? ? a a a 0 0
??

其中:

C? ?

?
0

? ( a? ) a

2

da ? ?

(2)离散小波变换 DWT 连续小波变换中,尺度与时间都是连续变换的,小波基函数 ?α τ , (t ) 具有很大的相关性, 因此信号 f(t)的连续小波变换系数 WT f ( α, τ ) 的信息量是冗余的。减小小波变换系数兀余度
2 的做法是将小波基函数 ?α τ , (t ) ?α ? ( ?1

t ?τ ),α ? 0,τ ? R 的α ,τ 限定在一些离散点上取值,一 α

m 种最通常的离散方法就是将尺度按幂级数进行离散,即取α m ?α 0 (m 为整数, a0 ≠1,一

般取 a0 =2)。 对于位移的离散化,通常对τ 进行均匀离散取值,以覆盖整个时间轴。为了不丢失信 息,我们要求采样间隔τ 满足 Nyqulst 采样定理,即采样频率大于等于该尺度下频率通带 的二倍。当α = 20 =1 时, ?α τ , (t ) = ? (t ? ? ) ,则每当 m 增加一倍,对应的频带减小一半,可 见采样频率可以降低一半,也就是采样间隔可以增大一倍,因此,如果尺度 m=0 时τ 的间 隔为 Ts ,则在尺度为 2 m 时,间隔可以取 2m Ts ,此时 ?α τ , (t ) 可以表示为

t ? 2m n ? Ts 1 t ?m,n (t ) ? ?( )? ? ( m ? nTS ); m, n ? Z m 2 2m 2m 2 1

基于 MATLAB 的图像融合算法
m

为了简化起见,把 t 轴用 Ts 归一化,于是上式就变为 ?m,n (t ) ? 2 2 ? (2?m t ? n) 。 任意函数 f(t)的离散小波变换为:

?

WT f (m, n) ? ? f (t ) ? ?m,n (t )dt
R

设函数族 (? j ) ? H ,H 为 Hilbert 空间,如果存在常数 0<A≤B<+∞,使得

A f

2

??
f

f ,? j

2

?B f

2

则称

?? ?

j j?Z 为一个框架,其中 A,B 分别称为框架的下界和框架的上界。当 A=B 时,则称该

框架为紧框架,也就是说离散小波序列 ? j ,k

? ?

j , k?Z

构成一个框架。

由框架概念可知离散小波的逆变换近似为

~ (t ) ? f (t ) ? ? f , ? j ,k ? ? j ,k
j ,k

2 ?WT f ( j, k ) ?? j ,k (t ) A ? B j ,k

当 A=B 时

f (t ) ?

1 ?WT f ( j, k ) ?? j ,k (t ) A j ,k

(3) 多分辨率分析 多分辨率分析(Multi-resolution Analysis,MRA),即“用多个分辨率提取出包含相 应细节的近似信号来进行分析” 。它是计算机视觉中常用的图像处理方法,提供了不同尺 度下分析函数的一种手段。经过多分辨率分析后的信号,其高频包含了低频所不具有的细 节信息,而小波分析正是要提取这些细节信息,因此,Mallat 于 1989 年将多分辨率分析引 入小波领域,建立了多分辨率分析与小波分析之间的联系,解决了小波领域的许多问题。 多分辨率分析可以形象地表示为一组嵌套的多分辨率子空间,小波变换是一种多分辨率分 析的强有力工具。
V0
V2
V3
V3
W3

V1

W2

W1

V 3 ?V 2 ?V 1 ?V 0

W1⊥W2⊥W3⊥V1

图 3-3 嵌套的多分辨率子空间

假设原信号的频率空间为 V0 ,经第一级分解后 V0 被分解成两个子空间:低频的 V1 和高

毕业设计

频的 W1 ;经第二级分解后 V1 又被分解为低频的 V2 和高频的 W2 。上图是对 V0 空间的三级分 解示意图。这种子空间的分解过程可以记为:

V0 ? V1 ?W1,V1 ? V2 ?W2 ,V2 ? V3 ?W3 ,...,VN ?1 ? VN ?WN
其中符号⊕表示两个子空间的“正交和” ; V j 代表与分辨率 2-j 对应的多分辨率分析 子空间;与尺度函数相对应的小波函数的伸缩和平移构成的矢量空间 W j 是 V j 的正交补空 间;各 W j 是反映 V j ?1 空间信号细节的高频子空间, V j 是反映 V j ?1 空间信号概貌的低频子空 间。由式(3-1)可得各子空间之间的以下特性:

V0 ? V1 ?W1 ? V2 ?W2 ?W1 ? ... ? VN ?WN ?WN ?1 ? ...?W2 ?W1
这个结果说明,分辨率为 20 =1 的多分辨率分析子空间 V0 可以用有限个子空间来逼近。 由以上分析,可以采用一对 FIR 滤波器来实现上述的多分辨率分解。设 G 和 H 分别为 理想的低通和高通滤波器,用这对滤波器对原始信号进行多分辨率分解,则信号经 G 和 H 滤波后两支路输出必定正交(因为频带不重叠),且两支路输出的带宽均减半,因此采样率 可以减半而不会引起信息丢失(带通信号的采样率决定于其带宽,而不受限于其频率的上 限)。正因为这样,在一级滤波后就可以加入降 2 采样。然后再对低频输出分量再一次分 别应用 G 和 H 进行滤波, 再降 2 采样, 如此重复滤波就实现了对原始信号的多分辨率分解, 如图 3-2 所示,图中↓2 表示降 2 采样。 W1

H

↓2

V0
G ↓2
V1

H G

↓2 ↓2

W2

V2

图 3-4 多分辨分析的滤波器组成分解过程
cDj-1 cVj-1 cHj-1

h20 h10 2↓ 1 g20

1↓ 2 1↓ 2 1↓ 2 1↓ 2

cAj
g10 2↓ 1

h20 g20

cAj-1

2↓ 1 按列两个采样值取一

1↓ 2 按行两个采样值取一

基于 MATLAB 的图像融合算法

图 3-5 二维离散小波分解示意图
cAj-1 cHj-1 cVj-1 cDj-1

2↑ 1 2↑ 1 2↑ 1 2↑ 1

g21 h21 g21 h21 1↑ 2 两列之间插零

⊕ ⊕

1↑ 2

g11


1↑ 2 h11

cAj

2↑ 1

两行之间插零

图 3-6 二维离散小波重构示意图

(4)图像的小波变换 图像是二维信号,它的二维多分辨分析和一维多分辨分析相类似,但这里的空间由一维扩 展到二维。按照二维 Mallat 算法,在尺度 j-1 上有如下的 Mallat 分解公式:

cAj ? H m H n cAj ?1 cH j ? Gm H n cAj ?1 cV j ? H mGn cAj ?1 cD j ? GmGn cAj ?1
相应的重构公式如下:
? ? ? ? ? ? ? ? cAj ? Hn Hm cAj ? Hn GmcH j ? Gn Hm cVj ?1 ? Gn GmcDj

其中 cAj , cH j , cVj , cDj 分别对应于图像 CAj 的低频成分、水平方向上的高频成分、垂直方向 上的高频成分、对角方向上的高频成分;

H ? 、 G ? 分别为 H、G 的共辘转置矩阵。

将图像做一次小波分解,即将图像分解成低频近似分量、水平高频分量、垂直高频分 量和对角高频分量,二维图像数据经三次小波分解的塔形框架如图 3-3 所示,图中下标表 示小波分解的层数。在这种分解方式下,每一层均被分解为四个频带,三个高频和一个低 频,下层的分解只对上一层的低频分量 LL 进行分解。

LL2 LL1
原图像

LH2 HH
2

LH1

HL

2

LH1

L

H HL1 HH1 HL1 HH1

毕业设计

图 3-7 图像的二级小波分解示意图

其中 L 为图像的低频部分,集中了其主要能量,H1j , H 2j , H3j , ( j ? 1,2,3) 分别表小第 j 层 水平、垂直与对角方向的高频分量,它们都是图像的细节部分。图像的三级小波分解示意 图有:

二级小波分解

图 3-8 图片的二级小波分解图示

3.5.2 基于小波变换的图像融合方法原理 对于图像融合,在频率域比在时间域更为有效,融合算法的设计必须把融合的技术目 的和图像的频率域表现(即融合理论基础)结合起来考虑。对一幅灰度图像进行 N 层的小波 分解,形成 3N+1 个不同频带的数据,其中有 3N 个包含细节信息的高频带和一个包含近似 分量的低频带。分解层数越多,越高层的数据尺寸越小,形成塔状结构,所以图像的小波 分解也称之为小波金字塔分解。它也是一种图像的多分辨率、多尺度分解。 基于小波变换的图像融合的基本思想是对每一副源图像进行小波变换,得到它们的小 波表小,然后用这些小波表示作为输入根据特定的融合法则构造融合图像的小波表示。通 过在这种融合图像的小波表示逆变换即可得到融合图像。这个过程如图 2-4 所示。 设 A,B 为两幅原始图像,F 为融合图像。A,B 两幅图像融合的基本步骤如卜: 1、对 A,B 两幅图像分别进行小波变换,建立各自待融合图像的小波金子塔图像序列; 2、分别使用不同的融合算子作用于各个分解层的不同高频子图像以及最高层的低频 子图像,从而得到融合后的小波金子塔图像序列。 3、对各分解层进行小波反变换,上一层的小波反变换的结果就是下一层小波金子塔 图像序列的低频子图像,依次类推,最终所得到的图像就是融合图像。

基于 MATLAB 的图像融合算法

融 合 规 则

融合图像

小波逆变换
源图像

小波变换
图 3-9 小波融合的原理图

利用小波变换将图像分解为低频和高频两部分,小波分解后,可以在小波域内分别对 图像的低频和高频进行处理,既能提升图像信息的高频分量,同时保留图像低频分量的一 致性和相关性,最后通过找出更有效的加权因子对小波系数重构得到融合结果。这种方法 既简化了计算,同时又具有很好的融合结果。 3.5.3 图像融合规则及融合因子 设 A、B 分别为两幅原始图像,F 为融合的图像。在本融合实验中图像融合过程中,融 合规则及融合算子的选择如下。 对于边缘分量,即小波分解中的高频分量 LHj,HLi,HHi,取两幅图像相应系数矩阵中 对应项的最大值(i=1,2,3,...,N);对于低频分量 LL,由于这部分对恢复图像质量影响 很大,采用: F(j,k)=(A(j,k)+K×B(j,k)) ×α-|A(j,k)-K×B(j,k)| ×β 计算。其中 K、α、β 为加权因子。前半 部分 A(j,k)+K×B(j,k) ×α 表示取两幅图像的加权均值,影响融合后图像的能量,对融合 后图像的高度起决定作用; 后半部分|A(j,k)-K×B(j,k)| ×β 表示取两幅图像的加权差值,包含 两幅图像的模糊信息。 因子 K 调节两幅图像的战优比例, 使两幅亮度不同的图像达到均衡。 随着 α 因子的增大,图像加亮;随着因子 β 增大,图像的边缘加强。对于不同的图像,适 当调整 K、α、β,可以消减模糊边缘并确保在消减时不过度地丧失边缘信息。对其他高频成 分,取两组系数的最大值,可以得到最强的边缘信息,从而得到质量良好的输出图像。

毕业设计

第四章 图像融合效果评价
图像融合效果的评价问题是一项重要而有意义的工作。目前,图像融合效果的客观、 定量评价问题一直未得到很好解决,原因是同一融合算法,对不同类型的图像,其融合效 果不同;同一融合算法,对同一图像,观察者感兴趣的部分不同,则认为的效果不同;不同 的应用方面,对图像各项参数的要求不同。因此,探究图像融合效果的客观、定量评价方 法十分必要。

4.1 主观评价
图像融合处理的目的一是改善图像的质量,以改善人的视觉效果 ;二是增加融合图像 中的信息量或信息的精度及可靠性,为人的决策提供更丰富、更准确、更可靠的图像信息。 图像的主观评价是以人作为观察者,对图像的优劣做出主观定性评价。观察者根据一些事 先规定的评价尺度或自己的经验,对被评价的图像提出质量判决。 主观评价并没有具体的指标。尽管主观评价通过大量的统计,可以获得比较准确的判 断结果,这个结果主要是针对人的视觉感受做出的,但是这种评价方式最大的不足是整个 过程非常烦琐,如果没有进行大量的统计,所获得的结论可能不准确。另外,目前对人的 视觉特性还没有充分了解,对人的心理因素也还找不出定量描述的方法,对图像评价结论 的差异会很大,所以我们就需要给出客观的评价方法

4.2 客观评价
客观评价指标没有绝对的指标,它要依赖于融合图像的用途做出决定,但是也可以提 出一些客观量来简单的衡量融合图像的质量。客观评价可分为两类 :一类是用来评判融合 图像所保持的光谱特征情况的评价指标,主要有偏差指数,光谱扭曲程度和相关系数等 ; 另一类是用来评价融合图像所包含空间信息的评价指标,主要有信息嫡,均值,标准差, 均方根误差,平均梯度等。 4.2.1 基于光谱特征的评价 (1)偏差指数 偏差指数是用来比较融合图像和低分辨多光谱图像偏离程度的。融合图像的偏差指数 定义为融合后图像的亮度分量 I 与原始多光谱图像亮度分量 I 差值的绝对值与原始多光 谱图像亮度分量 I 的比值,定义为:
?

1 d index ? MN

??
i ?1 j ?1

M

N

I ? (i, j ) ? I (i, j ) I (i, j )

其中图像的大小为 M×N。偏差指数的大小,反映了融合结果保持的光谱程度,偏差指数越 大,说明融合图像的光谱失真越大,融合效果差。 (2)光谱扭曲程度 它直接反映了多光谱图像的光谱失真程度,光谱扭曲定义为:

基于 MATLAB 的图像融合算法

1 M N ? D? ?? V (i, j) ? V (i, j) MN i ?1 j ?1
其中 V (i, j ) 和 V (i, j ) 分别为原始图像和融合图像在 (i, j ) 点上的灰度值。扭曲程度的大小, 同样也是用来反映融合结果保持的光谱程度,扭曲程度越小,说明融合图像的光谱失真越 小,融合效果越好。 (3)相关系数 图像的相关系数是描述两幅图像相关程度的统计量,反映两幅图像所含信息量的重叠 程度。设 f (i, j ) 和 g (i, j ) 分别为大小 M×N 的两幅图像在 (i, j ) 点处的灰度值,两幅图像的相 关系数定义为
M ?1 N ?1
?

C( f , g) ?

?? ?( f (i, j) ? e ) ? ( g (i, j) ? e )?
i ?0 j ?0 f g 2 2 f g i, j

? ?( f (i, j) ? e ) ?? ? ?( g (i, j) ? e ) ?
i, j

其中, e f 与 eg 分别为两幅图像的平均灰度值。 图像的相关系数反映了两幅图像的相关程度,通过比较融合前后的图像相关系数,可 以知道多光谱图像的光谱信息的改变程度。相关系数越大,说明融合后的图像的光谱信息 保持程度越好。

4.2.2 基于信息量的评价 熵是指平均信息量,对于图像来说,即有

H ? ?? Pi log Pi
i ?0

L ?1

其中, L 为灰度级总数, pi 为灰度级为 i 的像素出现的概率。图像的信息熵是衡量图 像信息丰富程度的一个重要指标,通过对图像信息熵的比较可以对比出图像的细节表现能 力。如果融合图像的熵越大,说明融合图像的信息量增加。 (1) 交叉墒: 也称为相对熵。直接反映了两幅图像对应像素的差异,是对两幅图像所含信息的相对 衡量。

CER, F ? ? PR (i) log2
i ?0

L ?1

PR (i) PF (i)

其中 PR (i ) 和 PF (i ) 分别反映了 R 与 F 图像中灰度值为 i 的像素的概率分布。参考图像 e 与融

毕业设计

合图像 g 之间交叉熵越小,说明参考图像和融合图像之间差异越小,即融合效果越好。 (2)相关熵 也称为互信息。它可作为两个变量之间相关性的量度,或一个变量包含另一个变量的 信息量的量度,因此,融合图像与原始图像的相关熵(互信息)越大越好。 互信息是反映两副图像之间的统计依赖性,互信息越大,说明从两副图像中提取的信 息越多。其定义为:
I ( F , S ) ? ? pFS ( f , s) log
f ,s

pFS ( f , s) p F ( f ) ? ps ( s )

其中 pFS ( f , s) 、 pF ( f ) 和 ps ( s ) 分别是融合图像和参考图像的联合分布、融合图像及源 图像的边缘分布。 4.2.3 基于统计特性的评价 (1)均值 在统计理论中,统计均值 ? 定义为:
?

1 n ? ? ? xi n i ?1
?

对于一幅图像, n 为像素总数, xi 为第 i 个像素的灰度值。均值为像素的灰度平均值, 对人眼反映即为平均亮度。如果均值适中(灰度值在 128 附近),则视觉效果良好。 (2)标准差 在统计理论中,统计均值 ? 定义为:
? 1 n ? ? ( x ? ? )2 ? i n ? 1 i ?1 ?2
?2

图像的标准差为:
M ?1 N ?1

??

?? ?F (i, j ) ? F ?
i ?0 j ?0

2

M ?N

其中 F 为融合图像的均值。方差和标准差反映了灰度相对于灰度均值的离散情况,方 差或标准差越大,灰度级分布越分散,此时图像中所有灰度级出现的概率越趋近相等,从 而包含的信息量越趋近最大。 (3)均方根误差 RMSE

基于 MATLAB 的图像融合算法

设两幅图像 (i, j ) 处对应像素分别为 R(i, j ) 和 F (i, j ) , 图像大小为 M×N, 均方根误差为:

RMSE ?

?? ?R(i, j) ? F (i, j)?
i ?1 j ?1

M

N

2

M ?N

均方根误差的大小反映了两幅图像对应像素差异的多少,均方根误差越小,两幅图像 差异越小,反之则差异越大,我们可以求融合后的图像与融合前的图像的均方根误差。

4.2.4 基于信噪比的评价 (1)信噪比(SNR)

SNR ? 10 log

?? ?R(i, j ) ? F (i, j )?
i ?1 j ?1

M

i ?1 j ?1 N

?? ?F (i, j )?

M

N

2

2

R(i, j ) 为参考图像, F (i, j ) 为融合后图像。信噪比越高,说明融合效果和质量越好。

(2)峰值信噪比(PSNR)

Maxi (2n ? 1) PSNR ? 10log ? 10l o g MSE RMSE2
其中 n 是信号每个采样值的比特数 MAXI 是表示图像点颜色的最大数值,如果每个采样

2

2

点用 8 位表示,那么就是 255 峰值信噪比是衡量两幅图像差别的重要指标,它反映了两幅图像对应像素的差异,我 们可以对融合前的原始图像和融合后的图像求峰值信噪比,也可以对融合后的图像和理想 图像求峰值信噪比, 峰值信噪比越大, 表明融合后的图像从原始图像提取的信息量就越多, 或者是融合后的图像越接近理想图像,当然融合后图像的效果就越好。 PSNR 是最普遍, 最广泛使用的评鉴画质的客观量测法, 不过许多实验结果都显示, PSNR 的分数无法和人眼看到的视觉品质完全一致,有可能 PSNR 较高者看起来反而比 PSNR 较低 者差。这是因为人眼的视觉对于误差的敏感度并不是绝对的,其感知结果会受到许多因素 的影响而产生变化(例如:人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比 差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响) 。

毕业设计

总结与展望
近年来,图像融合已成为图像理解、计算机视觉以及遥感领域中的一个研究热点,并 广泛应用于医学、测量、工业及军事领域。而像素级图像融合获取的原始信息量最多、检 测性能最好、应用范围最广,且是各级图像融合的基础。因此,对像素级图像融合的研究 具有着重要的理论意义与应用价值 本文的研究内容主要是像素级图像融合的方法。涉及图像融合的概念、图像融合的目 的和意义、图像融合的应用、图像融合的常用方法及评价标准。先后介绍了图像融合的简 单方法(像素灰度选大、选小、加权平均算法) 、图像的多尺度分解、基于塔形分解的图 像融合方法、图像的小波变换、基于小波变换的图像融合方法。最后应用已知的图像融合 效果主观和客观的评价准则。 本论文主要归纳总结了像素级图像融合方面的研究成果,研究工作的深度和还有待于 进一步的深入。未来的发展方向主要包括: (1) 有必要针对具体的应用领域对图像融合的预处理技术进行深入研究。 本文中所用的 待融合源图像大多为不含噪声干扰且经过精确配准的理想图像。然而在实际应用中,图像 噪声或图像未达到要求的配准精度将阻碍融合的进行或者严重影响融合效果。 (2) 虽然当前的图像融合算法种类不少, 但是多处于对不同的图像源分别采用相应算法 的状态,也就是说融合算法各有优劣。如果我们能结合融合图像的评价标准,提出新的评 价标准并建立一个相对完善的评价体系,针对不同的图像源,让计算机能自动选用合适的 融合方法。这对图像融合在实际工程中的应用将有很大的帮助。 (3) 对实时图像融合方法进行研究。目前,图像融合的大多数方法是针对静态图像的, 在一些实时性要求高的场合缺乏必要的实时性, 就限制了应用范围。 随着遥感技术的发展, 用户对信息的要求正从静态非实时向动态实时转化,开发实时处理多源图像数据的算法也 将成为一个研究热点。 (4)现有的融合算法大多数是以软件形式实现的。为了提高图像融合系统的实时性,在 研究高效图像融合算法的同时,如何采用硬件实现实时的图像融合系统是一个很有价值的 研究方向。 (5)当前并不存在一套比较系统而有效的图像融合理论和框架,如果能在这方面做一些 思考和探索,也将是十分有意义的事情。如何实现更高级别的特征层和决策层的融合方法 也是今后研究的一个方向。

基于 MATLAB 的图像融合算法

谢辞
毕业设计是对我大学四年的总结,因而投入了极大的热情和很高的积极性。 有幸得到 XXX 老师的全程指导,她以无比的热心和耐心为我解决设计过程中的疑惑和 迷茫,在本课题的设计、写作以及论文结构的设计,内容的安排,总体篇章的写作都得到 了余老师的真诚指导和关注,再次感谢余老师长期以来悉心的指导和在设计过程提供的大 量资料、修改意见,使得毕业设计能顺利完成,圆满结束了四年的大学生活。 同时我要感谢感谢身边同学在我的毕业设计过程中对我莫大鼓励与帮助。我从他们身 上也学到了很多的东西。 再次感谢四年来给予我支持和帮助的所有老师和同学。

毕业设计

参考文献
[1] SUN ,J .,and XU W.B..A global search strategy of Quantum-behaved Particle Swarm Optimization[C].Proceedings of IEEE conference on Cybernetics and Intelligent Systems,2004:111-116 [2] SUN,J.,FENG B. , and XU W .B ..Particle Swarm Optimization with Particles Having Quantum Behavior[C].Proceedings of 2004 Congress on Evolutionary Computation,2004:325-331 [3] 杨 烜 , 梁 继 民 , 杨 万 海 , 裴 继 红 . 基 于 进 化 策 略 和 IHS 变 换 的 图 像 融 合 方 法 [J]. 电 子 学 报,2001,29(10):1388-1391 [4] 覃征,鲍复民,李爱国等.数字图像融合[M].西安:西安交通大学出版社,2004,7-46 [5] 吴连喜,王茂新.一种基于 IHS 变换的改进型图像融合的算法[J].农业工程学报,2003,19(6): 163-166 [6] 李弼成,彭天强,彭波等.智能图像处理技术[M].电子工业出版社,2004:269-284 [7] [美]RAfAEL C. GONZALEZ ,Richard E.WOODS 著,阮秋崎阮宇智等译.数字图像处理第二版中文版 [M].电子工业出版社,224-265. [8] 陈书海,傅录祥.实用数字图像处理.北京:科学出版社[M],2005.1-7,140-145 [9] 章毓晋.图像处理和分析基础.北京:高等教育出版社[M],2002.7,1-118 [10] 王静云,李绍林.医学影像图像融合技术的新进展[J].第四军医大学学报,2004, 25(20):1918-1920 [11] 王海晖 , 彭嘉雄 , 吴巍等 . 多源遥感图像融合效果评价方法研究 [J]. 计算机工程与应用 ,2003 , 25:33-37 [12] Aggarwal J K. Multi-sensor fusion for computer vision[M].Berlin : Springer-Verlag. 1993. [13] Varshney P K. Multi-sensor data fusion[J].Electronics and Communication Enginering Journal, 1997, 9(12):245-253. [14] Zhang Z, Blum R S.A categorization of multiscale-decomposition-based image fusion scheme with a performance study for a digital camera application[J].Proceedings of the IEEE,1999,87(8):1315-1326. [15] 贾永红.数字图像处理[M].武汉:武汉大学出版社,2003.9. [16] D. L. Donodo . De-noising by Soft-thresholding [J].IEEE Transactions on Information Technology,1995,41(3):613-627. [17] B. Zitova, J. Flusser. Image registration methods :a survey[J].Image and Vision Computing,2003 ,21:977-1000. [18] 王小睿,吴信才.遥感多图象的自动配准方法[J].中国图象图形学报,1997,2(10): 733-739. [19] 郭骜.基于多传感器数据融合的目标识别[D]:[硕士学位论文].西北工业大学,2000.2. [20] L. G. Brown. A survey of image registration technique [J].ACM Computing Surveys, 1992,24(4):326-376. [21] 王东峰.多模态和大型图像配准技术研究.中国科学院电子学研究所博士学位论文[D].2002. [22] 舒丽霞.图像配准方法研究[D]:[硕士学位论文].华中科技大学,2003. [23] 李峰,周源华.基于小波变换的图像匹配算法[J].上海交通大学学报,1999,33(9):1161-1163. [24] 李弼程,罗建书.小波分析及其应用[M].北京:电了工业出版社.2003:28-40. [25] 彭玉华.小波变换与工程应用[M].北京:科学出版社.1999:3840. [26] Saim Muhammad , Moniea Wachowicz , Luis .M. T. de Carvalho .Evaluation of Wavelet Transform Algorithms for Multi 一 Resolution Image Fusion [C].Proceedings of the Fifth International Conference on Information Fusion ,vol 2,2002:1573 一 1580. [27] 邱明国综述, 巫北海, 王健审校.医学图像融合.国外医学临床放射学分册[J].2005, 28(l):56-59。

基于 MATLAB 的图像融合算法

[38] 阮春,李月卿,医学图像融合技术及其应用研究概况[J].医学影像学杂志,2001,VOI.11(6):408 碑 10。


相关文章:
图像融合的方法研究
基于 MATLAB 的图像融合方法姓名:朱学欢学号: 姓名:朱学欢学号:1101139 一、图像融合算法 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合 ...
显微图像融合算法研究及实现
基于Matlab的图像融合研... 27页 免费 电子目镜显微镜景深的确... 暂无评价 ...中北大学 2012 届毕业设计说明书 显微图像融合算法研究及实现摘 要 显微图像融合...
多源图像融合系统设计
5.能够利用 MATLAB 或 C++实现基于小波分析的两幅或多幅图像的融合。 6.能够对融合结果进行简单的定量评价。 三. 实验原理多源光电图像融合试讲多源信道所采集的...
基于Matlab的图像融合研究设计毕业论文
基于Matlab的图像融合研究设计毕业论文_理学_高等教育_教育专区 暂无评价|0人阅读|0次下载基于Matlab的图像融合研究设计毕业论文_理学_高等教育_教育专区。毕业论文 ...
基于小波变换的图像融合算法研究开题报告
了解基于小波变换的图像融合算法研究的基本概念, 研究的步骤: 研究目的和意义; ...做好 MATLAB 专业知识准备; 4、在 Matlab 开发平台下编写基于小波变换的图像...
多曝光图像融合算法研究2
多曝光图像融合算法研究2_数学_自然科学_专业资料。基于多曝光图像的融合研究赵静...(2.14) 2.2 基于金字塔式分层融合结果通过 matlab 仿真工具对本算法进行了...
基于Matlab的小波域图像融合算法实现 (1)
附件2 毕业设计工作任务书 论文题目: 基于 Matlab 的小波域图像融合算法 实现 学生姓名: 院专别: 业: 张靖 信息与通信工程学院 通信工程 闫保双 指导教师: ...
基于目标识别的图像融合方法研究
28 4 Matlab 仿真结果分析 ... 29 5 总结与展望......图像融合是采用一定的算法将两幅或多幅图像融合成一个新的图像, 这种融第 1 页共 37 页 [1] 中北...
基于统计学的图像融合方法
基于统计学的图像融合方法_工学_高等教育_教育专区 暂无评价|0人阅读|0次下载|举报文档 基于统计学的图像融合方法_工学_高等教育_教育专区。MATLAB的图像融合...
图像融合
图像融合 15页 2下载券 基于Matlab的图像融合研... 27页 免费 (1983)The Laplacian...目前,在图像融合方面有关算法的发展可以说是日新月异,具有广阔的发展前景...
更多相关标签:
图像融合算法 matlab | 图像融合算法 | opencv图像融合算法 | 图像融合算法有哪些 | 加权平均图像融合算法 | 金字塔图像融合算法 | 图像融合算法代码 | 图像拼接融合算法 |