1、ftermath .29Chapter4 Summary.31References.32Acknowledgement .33基于用户感兴趣区域的图像检索1第一章 绪论1.1 图像检索的现状近年来，随着多媒体技术和计算机网络的飞速发展，全世界的数字图像的容量正以惊人的速度增长。无论是军用还是民用设备，每天都会产生容量相当于数千兆字节的图像。这些数字图像中包含了大量有用的信息。然而，由于这些图像是无序地分布在世界各地，图像中包含的信息无法被有效地访问和利用。这就要求有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。自从 20 世纪 70 年代以来，在数据库系统和计算机视觉两大
2、研究领域的共同推动下，图像检索技术已逐渐成为一个非常活跃的研究领域。数据库和计算机视觉两大领域是从不同的角度来研究图像检索技术的，前者基于文本的，而后者是基于视觉的。基于文本的图像检索技术（text-based image retrieval）的历史可以追溯到 20 世纪 70 年代末期。当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用关键字或自由文本对其进行描述。查询操作是基于该图像的文本描述进行精确匹配或概率匹配，有些系统的检索模型还是有词典支持的。另外，图像数据模型、多维索引、查询评价等技术都在这样一个框架之下发展起来。然而，完全基于文本的图像检索技术存在着严重的问题。首先，
3、目前的计算机视觉和人工智能技术都无法自动对图像进行标注，而必须依赖于人工对图像做出标注。这项工作不但费时费力，而且手工的标注往往是不准确或不完整的，还不可避免地带有主观偏差。也就是说，不同的人对同一幅图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失配错误。此外，图像中所包含的丰富的视觉特征（颜色或纹理等）往往无法用文本进行客观地描述的。90 年代初期，随着大规模数字图像库的出现，上述的问题变得越来越尖锐。为克服这些问题，基于内容的图像检索技术（content-based image retrieval）应运而生。区别于原有系统中对图像进行人工标注的做法，基于内容的检索技术自动提取每
4、幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。此后几年中，这个研究领域中的许多技术发展起来，一大批研究性的或商用的图像检索系统被建立起来。基于用户感兴趣区域的图像检索2应该认识到，基于内容的图像检索系统具有与传统基于文本的检索系统完全不同的构架。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特征的相似度进行。用户通过选择具有代表性的一幅或多幅例子图像来构造查询，然后由系统查找与例子图像在视觉内容上比较相似的图像，按相似度大小排列返回给用户。这就是所谓的通过例子图像的检索（query by image example） 。另外，基于内容的检索系统一般通过可视化界面和
5、用户进行频繁的交互，以便于用户能够方便地构造查询、评估检索结果和改进检索结果。1.2 本文的主要工作本文的工作主要分为两个部分：1. 介绍基于内容的图像检索技术的发展状况，并描述几种主要的图像检索算法。2. 讨论研究感兴趣区域的提取技术和算法，并实现感兴趣区域的初步提取。基于用户感兴趣区域的图像检索3第二章 基于内容的图像检索技术茹芳，冀小平在文献1中将基于内容图像检索的体系结构划分为特征提取和查询两个子系统，见下图:图 2-1 体系结构图基于内容的图像检索方法主要分为两大类：基于全局特征的方法和基于区域的方法。基于全局特征的方法用全局直方图、颜色矩等全局特征表示和检索图像。这种方法的优点是计
6、算简单，对平移和旋转不敏感。但是全局特征无法描述图像内容在空间上的差异。所以基于全局特征的方法只能比较图像全局的统计相似性，不能在物体层次比较图像的相似性，检索效率不高。图像的不同区域所含的信息量是不同的，因此它们的重要程度也不同。为了考虑区域在重要程度上的差别，近年来一些研究者提出了基于感兴趣区域的图像检索方法。感兴趣区域(Regions of Interest)是指图像中最能引起用户兴趣、最能表现图像内容的区域 。基于感兴趣区域的图像描述和检索方法既利用了图像的局部特征，又消除了次要信息的干扰，从而更准确地概括了图像的内容。2.1 感兴区域提取基于用户感兴趣区域的图像检索4感兴趣区域是图象
7、中最能引起用户兴趣、最能表现图象内容的区域。区域是图象底层物理特征与高层语义特征之间的中层描述。它在低层特征的基础上对图象进行更深一步的处理；在分割的区域层次上再进行分析和理解就有可能获取图象的某些语义特征。区域分割方法是最常采用的提取区域的方法，在一定程度上描述了图象的语义特征，但是区域分割只是一个集合划分过程，它不能有效地减少图象的冗余信息。感兴趣区域是图象的部分区域，并不构成一个划分。但是感兴趣区域是图象中最能体现内容的部分，含有的信息量大，所以用这些区域足以描述图象的内容。基于感兴趣区域的图象表示方法是用部分概括整体，减少了冗余信息。更重要的是，它区分了图象各部分的重要程度，突出了图象
8、的主要内容，从而消除了次要内容带来的干扰。同时，基于感兴趣区域的图象内容表示方法回避了图象的精确分割的困难。基于感兴趣区域的图象检索技术是一种新兴的有效的图象检索技术，它很好地体现了图象的语义特征；基于感兴趣区域的图象检索技术分为如下几步：(1) 感兴趣区域的检测与提取，(2) 感兴趣区域的特征描述，(3) 图象间相似度计算。其中，感兴趣区域的检测与提取是核心问题。感兴趣区域的提取是基于用户感兴趣区域的图象检索技术的一个核心内容，根据感兴趣区域的提取方法不同，现有的基于感兴趣区域的检索方法分为三大；a) 基于交互的方法，b) 基于变换的方法以及刚刚出现的，c) 基于视觉特征的方法。2.1.1
9、基于用户交互的提取方法在理想的情况下提取图象中的感兴趣区域应该以用户的评价为标准，选择用户感兴趣的区域作为图象的感兴趣区域。而且用户是图象的最终使用者，不同的用户有不同的背景和要求，所以最省事，最灵活的方法是把感兴趣区域的定义交给用户来完成。通过人机交互由用户选择图象中的若干区域作为感兴趣区域。这样的方法以用户为中心，能充分发挥用户在检索过程中的作用，准确捕获用户检索意图，有简单高效的优点。这种方法适合于卫星遥感图象，医学图象等内容比较单一的图象库中。在一定程度上基于用户交互的感兴趣区域选基于用户感兴趣区域的图像检索5取获得了成功。 但是，这种方法中，区域搜索和特征提取需要实时完成，所以检索速
10、度较慢。最好的方法是能让系统自动地完成感兴趣区域的提取和索引，并有较高的速度，所以感兴趣区域的自动提取方法成为研究的重点。2.1.2基于变换的提取方法基于变换的方法主要有 a) 基于拐点的方法，b) 基于灰度变化的方法。2.1.2.1基于拐点的方法有的研究者(如Friedrich) 认为,拐角点(corner) 是图象的重要部分。因为拐角点能够很好的概括图象中物体的轮廓。Schmid 等用拐点检测器提取拐点作为感兴趣点，并应用于图象检索。他们对不同的拐点检测器做了评价，发现用Harris 拐点检测器提取感兴趣点效果最好。Harris 拐点检测器是对Moravec 拐点检测器的一种改进。Mora
11、vec 拐点检测器是由H.P.Moravec提出的， 其基本思想是通过图象局部的灰度变化量来判断拐点。Moravec 采用一个方形移动窗口W 内图象灰度的变化量Ew 来衡量图象的局部灰度变化：Ew (x,y) = wu,v|Ix+u,y+v - Iu,v|2.(2-1)其中， I 是输入图象， W是移动窗口，x，y是窗口的移动量。如果图象某个区域的灰度几乎不变，窗口在这个区域内移动时变化量E很小。在边缘附近，如果窗口垂直于边缘移动，无论哪个方向上E都很大。Harris 和Stephens 对上述方法做了改进。首先相对于移动量x，y对E 做泰勒展开：Ew(x,y)= (2-2)vu,2),(yx
12、OIyxEw(x,y) =Ax2+2Cxy+By2.(2-3)本 科 毕 业 论 文图像感兴趣区域提取技术研究系统实现Region of Interest Extraction ResearchSystem Implementation姓 名：学 号：学 院：软件学院系：软件工程专 业：软件工程年 级：指导教师： 年 月摘 要随着信息化社会的到来，多媒体技术、通信技术的发展，人们越来越多的接触到图像信息。每天都有海量的图像数据产生，并且在因特网上流动着。因此怎样有效地管理,检索这些庞大的数据成为了当今越来越多的人关注并研究的主题。如今传统的基于关键字的信息检索技术因为不能按照图像本身的特点搜索
13、，已逐渐不能满足要求。因此，基于内容的图像检索技术成为了当今的一个研究热点。基于感兴趣区域（Region of Interest，简称 ROI）的搜索技术是基于内容的图像搜索技术的一个重要的分支，也是图像检索技术的最新发展形式之一。这种图像检索技术，以图像中最能体现其特点和价值的区域来检索，因此更能体现用户检索的目的。基于感兴趣区域的检索技术已经被越来越多的人关注并研究着。感兴趣区域是最能引起用户兴趣、最能表现图像有价值内容的区域，因此这项检索技术中，如何正确提取感兴趣区域，变得尤其重要。感兴趣区域的提取方法由视觉特征的提取和图像分割两个部分组成。视觉特征的提取是根据人类的视觉注意从图像中提取
14、特征量。图像分割则根据视觉特征，从原图中提取感兴趣区域。本文对目前主流的基于感兴趣区域的图像搜索技术中提及的感兴趣区域提取算法进行了全面的综述后，对提取感兴趣区域的算法进行了新的研究与实践。关键词：感兴趣区域；视觉注意；图像分割AbstractAs the advent of the information society, Multimedia and Communication technologies have developed. Everyone contact with image information more frequently. Every day, a mass of
15、image information was produced and flowed though the Internet. Therefore, how to manage and search for these enormous information efficiently has become a focus all around the world.By far, the traditional information search technique which is based on keywords could not meet the current need, becau
16、se it can not search according to characteristics of the images. Therefore, image search technique based on contents has become a hot topic. Whats more, search technique based on region of interest (ROI) is one important branch, and one of the latest evolving forms. It meets the users objective bett
17、er as its proceeded according to the most valuable and important characteristic of the image. So this technique has been catching the attention of more people and is being researched.ROI is the region that users are most interested in and presents the value of the image, therefore, how to extracts t
18、he ROI correctly is very important. The method of extracting ROI is made up of two parts. The extracting of visual characteristic gets characteristic value based on human sight. Meanwhile, image segmentation extracts ROI from source based on visual characteristic. After summarizing the extracting al
19、gorithm which is referred in the mainstream of image search technique based on interested region, this paper is focused on researching and practicing on the new algorithm of extracting interested region.Keywords: region of interest; visual attention; image segmentation目录第一章 绪论 .11.1 选题背景和研究意义 .11.2
20、国内外研究现状 .11.3 本文的主要工作和论文结构 .3第二章 背景知识 .42.1 图像在计算机中的表示 .42.2 高斯低通滤波器 .42.3 高斯高通滤波器 .52.4 中值滤波器 .72.5 高斯图像金字塔 .82.6 本章小结 .9第三章 图像感兴趣区域提取方法 .103.1图像分割算法 .103.1.1 边缘检测法 .103.1.2 区域生长法 .113.2基于用户交互的提取方法 .113.3基于视觉注意的提取方法 .123.3.1 视觉注意 .123.3.2 显著图概念 .133.3.3 显著度图的生成 .133.3.4 根据区域生长法提取图像区域 .153.4 本章小结 .1
21、6第四章 图像感兴趣区域提取软件系统的实现 .174.1系统结构 .174.2算法实现 .184.3界面实现 .194.3.1 缩略图浏览窗口 .204.3.2 详细图像浏览窗口 .234.3.3 控制窗口 .244.3.4 主框架窗口 .254.3.5 主框架窗口分隔条 .264.3.6 程序实例类 .264.4 最终效果 展示 .264.5 本章小结 .27第五章 总结 .28致谢 .29参考文献 .30Contents Chapter1 Introduction.11.1 Research Topics Background and Significance.11.2 The Statu
22、s Quo at Home and Abroad .11.3 The main work and contents of this paper .3Chapter2 Background.42.1 The expression of image in computer .42.2 Gaussian low-pass filter .42.3 Gaussian high-pass filter.52.4 Median Filter.72.5 Gaussian Pyramid.82.6 Chapter Summary .9Chapter3 The method of extracting ROI.
23、103.1 Algorithem of image segmentation.103.1.1 Edge detection method .103.1.2 Region growing method .113.2 The extracting method based on user interaction .113.3 The extracting method visual attention .123.3.1 Visual attention.123.3.2 The concept of saliency map .133.3.3 The generation of saliency map.133.3.4 Extract image region based on Region growing method .153.4 Chapter Summary .16Chapter4 The implementation of system on extracting ROI of image.174.1 Structure of application .174.2 The implementation of algorithem .
个人主页
