电子科技大学 实 验 报 告 无图 学生姓名： 学 号： 指导老师： 日 期： 2012 年 X 月 X 日 一、实验室名称： 光电楼327、329学生机房 二、实验项目名称： 图像融合 三、实验原理： 图像融合的方法很多，大致可分为以下几类：基于颜色空间变换的融合方法，典型的如HIS变换的融合方法；基于多尺度变换的融合方法，如小波变换、拉普拉斯变换；基于加权平均的融合方法等。这些方法并不是严格区分的，有的方法是几类方法的结合。 基于离散小波变换的图像融合方法一般分为3个步骤。首先将两幅图像分别进行小波变换分解，得到分解系数，然后对不同频率系数进行不同方法的融合，最后通过反变换可得到融合后的图像。 图像融合的融合策略是图像融合技术的关键，是影响融合图像质量的主要因素。针对不同类型和特征的图像，主要有以下一些融合规则（详细内容可参看《光电图像及应用》教材中的相关章节）： 1.最大/最小系数法 2.加权平均法 主要分为以下几步： (1)对源图像进行尺度为L的小波分解； (2)对各个分解层根据图像特征选择不同加权系数，得到融合图像小波系数； (3)反变换，得到融合图像。 3.局部能量准则 主要分为以下几步： (1)计算一个像素点周围区域的能量E； (2)计算归一化互相关测度； (3)给定阈值T，确定融合系数。 4.方差协方差准则 主要分为以下几步： (1)计算以(x, y)为中心的P点的区域均值，区域大小一般取3×3或5×5； (2)计算以(x, y)位置为中心的区域方差； (3)计算图像A以(x, y)中心与图像对应区域的协方差； (4)构造匹配度； (5)确定加权系数； (6)对两幅图像中的对应子带像素进行融合计算。 5.空间频率准则 四、实验目的： 1.了解图像融合的目的、意义和用途，理解和掌握图像融合的基本原理； 2.熟练掌握图像融合的实现步骤和流程； 3.能够利用Matlab工具或VC++语言实现两幅图像融合的融合； 4.能够利用课堂讲授的方法对融合结果进行简单的定量评价。 五、实验内容： 1.空间域代数运算（或逻辑运算）像素级图像融合； 2.基于小波变换的图像融合。 六、实验器材（设备、元器件）： 微型计算机、Matlab工具及相应的开发环境。 七、实验步骤： （一）空间域代数运算（或逻辑运算）像素级图像融合 1.对以下两幅图像（图1），分别进行像素取最小准则和加权平均准则，进行像素级的融合处理，并对两种方法得到的结果进行必要的分析。 Tank01（头部遮挡） Tank02（尾部遮挡） 图1 待融合的两幅图像一 2.根据以下图像（图2）的特点，自行选择融合准则，对其进行融合，以校正图像左右部分聚焦的非均匀性。 camera_fusL（右下部模糊） camera_fusR（左上部模糊） 图2 待融合的两幅图像二 （二）基于小波变换的图像融合 1.针对如图3所示的可见光和红外两幅图像，分别进行1级小波变换（可根据需要自行选择小波函数），然后根据实际图像的特点，选择平均、加权平均或对应像素取大、取小等融合规则，进行对应小波系数的融合（注：对变换后的高频和低频系数均要求进行融合）。 TV_001（可见光） IR_001（红外） 图3 待融合的可见光及红外图像 2.根据课堂讲授的方法，分别对融合前、后的图像进行定量评价（可任意选择一种评价标准）。 八、实验数据及结果分析： 本实验的Matlab代码如下： clear all; clc; %% 空间像素级图像融合 I=double(imread(＇E:＼tank01.bmp＇)); J=double(imread(＇E:＼tank02.bmp＇)); %像素最小准则 K=I;[m,n]=size(I); for i=1:m for j=1:n if I(i,j)<J(i,j) K(i,j)=I(i,j); else K(i,j)=J(i,j); end end end %加权平均准则 k=1;P=I*1/(1+k)+J*k/(1+k); subplot(2,2,1),imshow(I,[]),title(＇头部遮挡＇) subplot(2,2,2),imshow(J,[]),title(＇尾部遮挡＇) subplot(2,2,3),imshow(K,[]),title(＇最小准则＇) subplot(2,2,4),imshow(P,[]),title(＇加权平均＇) %校正图像聚焦的非均匀性 I=double(imread(＇E:＼camera_fusL.bmp＇)); J=double(imread(＇E:＼camera_fusR.bmp＇)); k=1;P=I*1/(1+k)+J*k/(1+k); figure subplot(2,2,1),imshow(I,[]),title(＇右下模糊＇) subplot(2,2,2),imshow(J,[]),title(＇左上模糊＇) subplot(2,2,3),imshow(P,[]),title(＇加权平均融合＇) %% 基于小波变换的图像融合 X1=imread(＇E:＼TV_001.bmp＇); X2=imread(＇E:＼IR_001.bmp＇); [c1,l1]=wavedec2(X1,1,＇sym4＇); [c2,l2]=wavedec2(X2,1,＇sym4＇); c=0.5*(1.2*c1+0.8*c2); Y=waverec2(c,l1,＇sym4＇); figure subplot(2,2,1),imshow(X1),title(＇电视图像＇) subplot(2,2,2),imshow(X2),title(＇红外图像＇) subplot(2,2,3),imshow(Y,[]),title(＇融合结果＇) %图像融合质量评价 XX1=double(X1);XX2=double(X2); hist=imhist(X1)/numel(XX1); HX1=-hist＇*log2(hist); hist=imhist(X2)/numel(XX2); HX2=-hist＇*log2(hist); YY=mat2gray(Y); hist=imhist(YY)/numel(YY); HY=-hist＇*log2(hist); disp([＇电视图像的信息熵为＇,num2str (HX1),＇bit＇]) disp([＇红外图像的信息熵为＇,num2str (HX2),＇bit＇]) disp([＇融合图像的信息熵为＇,num2str (HY),＇bit＇]) 运行结果如下： 1.空间域代数运算（或逻辑运算）像素级图像融合 (1)空间像素级图像融合 图4 空间像素级图像融合 结果分析：由于采用像素最小准则时，融合图像中每一个像素都选自待融合的两幅图像中对应像素的较小值，因此较暗的坦克部分可以很好地显示出来；而采用加权平均准则时，融合图像中每一个像素都是待融合的两幅图像中对应像素的加权平均值，因此坦克部分可以显示出来，但是整体偏亮。综上，对于这幅图像的融合，采取像素最小准则比较好。 (2)校正图像聚焦的非均匀性 此处为校正图像左右部分聚焦的非均匀性，采用了加权平均的融合策略，最后得到的融合图像如下图5所示。 图5 校正图像聚焦的非均匀性 2.基于小波变换的图像融合 图6 基于小波变换的图像融合 图像融合质量评价：电视图像和红外图像的融合，主要是为了在红外图像的高清晰度下获得更大的信息量，因此这里以信息量为目标，采用熵作为评价指标来评价融合质量。运行Matlab代码（见“%图像融合质量评价”），得到如下图7所示的结果。 图7 图像融合质量评价 结果分析：融合图像的信息熵虽然不及电视图像，但是远比红外图像好；而且融合图像的清晰度相比电视图像有了很大的提高。因此，可以说融合图像集结了其他两幅图像的优点，图像质量有了很大的提高。 九、实验结论： 本实验使用像素最小准则、加权平均准则以及小波变换进行了图像融合，改善了图像质量（包括去遮挡、校正图像聚焦的非均匀性等）。 十、总结及心得体会： 本实验通过多种方法实现了两幅图像的融合，使我对图像融合的方法和意义有了更深刻的体会。 思考题： 1.简述图像的融合的目的、意义及其主要应用领域。 答：目的：使融合后的图像对场景有更全面、清晰的描述； 意义：使融合后的图像更加有利于人眼的识别和机器的自动探测； 应用领域：遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报等。 2.小波变换的分解层数对融合图像的光谱质量和空间质量有什么影响？ 答：随着小波分解尺度的增大，有小波变换方法得到的融合图像会出现明显的方块效应，同时，融合图像的光谱信息也会出现损失。当小波分解尺度达到最大时，虽然方块效应消失，但融合图像的光谱信息的损失亦达到最大。 十一、对本实验过程及方法、手段的改进建议： 可以尝试使用更多的融合准则来进行图像融合，并比较各种方法的优缺点。 报告评分： 指导老师签字： 本文档由香当网(https://www.xiangdang.net)用户上传
