第２７卷第１０期 电子测量与仪器学报 ％ ２７Ⅳ０．１０ ２０１３年１０月 ＪＯＵＲＮＡＬ ＯＦ ＥＬＥＣＴＲＯＮＩＣ ＭＥＡＳＵＲＥＭＥＮＴ ＡＮＤ ＩＮＳＴＲＵＭＥＮＴ ・９６３・ ＤＯＩ：１０．３７２４／ＳＰ．Ｊ．１ １８７．２０１３．００９６３ 基于尺度限制ＳＵＲＦ的图像配准米 詹 曙 王少武 蒋建国 （合肥工业大学计算机与信息学院合肥２３０００９） 摘要：图像配准是数字图像处理中一个重要研究领域，是图像拼接、图像超分辨率重建的基础，基于尺度不变特征的图像 配准已成为最近几年的热门研究领域，ＳＵＲＦ算法是其中之一。对于具有尺度差异（ｓＤ）同时满足仿射变换的图像，传统 ＳＵＲＦ算法存在较大误匹配，从而影响最后的配准精度。针对误匹配问题，采用基于尺度限制（ＳＲ）的ＳＵＲＦ算法并利用样 本统计的方法来剔除误匹配，实验结果表明基于尺度限制的ＳＵＲＦ算法能够有效的剔除误匹配，从而提高图像配准的精度。 关键词：尺度不变；图像配准；仿射变换；ＳＵＲＦ算法；尺度差异 中图分类号：ＴＮ９２９．５２ 文献标识码：Ａ 国家标准学科分类代码：５１０．５０１５ Ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｒｅｓｔｒｉｃｔｅｄ ＳＵＲＦ Ｚｈａｎ Ｓｈｕ Ｗａｎｇ Ｓｈａｏｗｕ Ｊｉａｎｇ Ｊｉａｎｇｕｏ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ，Ｈｅｆｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｈｅｆｅｉ ２３０００９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｅｓｅａｒｃｈ ｆｉｅｌｄ ｉｎ ｄｉｇｉｔａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ，ｗｈｉｃｈ ｉｓ ｔｈｅ ｂａｓｉｓ ｏｆ ｉｍａｇｅ ｓｔｉｔｃｈｉｎｇ ａｎｄ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｒｅｃｅｎｔｌｙ，ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｂｅｃｏｍｅｓ ａ ｈｏｔ ｓｔｕｄｙ ｔｏｐｉｃ，ａｎｄ ＳＵＲＦ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｎｅ ｏｆ ｈｏｔ ｔｏｐｉｃ．Ｆｏｒ ａｌｌ ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ａｎｄ ｓｃａｌｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｉｍａｇｅｓ，ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ＳＵＲＦ ａｌｇｏｒｉｔｈｍ ｈａｓ ａ ｌａｒｇｅ ｍｉｓｍａｔｃｈ，ｗｈｉｃｈ ａｆｆｅｃｔｓ ｔｈｅ ｆｉｎａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｃｃｕｒａｃｙ．Ａｉｍｉｎｇ ａｔ ｔｈｅ ｍｉｓ－ ｍａｔｃｈ ｐｒｏｂｌｅｍ，ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｓｃａｌｅ ｒｅｓｔｉｒｃｔ ａｎｄ ｓａｍｐｌｅ ｓｔａｔｉｓｔｉｃｓ ａｒｅ ｕｓｅｄ ｔｏ ｒｅｊｅｃｔ ｍｉｓｍａｔｃｈ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅ— ｓｕｉｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｊｅｃｔ ｍｉｓｍａｔｃｈ ａｎｄ ｉｍｐｒｏｖｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｔｈｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ， ｔｈｅｒｅｆｏｒｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｃｏｕｌｄ ｂｅ ｉｍｐｒｏｖｅｄ． Ｋｅｙｗｏｒｄｓ：ｓｃａｌｅ ｉｎｖａｒｉａｎｔ；ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ；ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ；ＳＵＲＦ ａｌｇｏｒｉｔｈｍ；ｓｃａｌｅ ｄｉｆｆｅｒｅｎｃｅ 重建 的基础。 １ 引 言 在图像配准中，对于存在尺度差异（ｓＤ）同时 图像配准是图像处理的一个热点研究话题， 满足仿射变换 的图像，ＳＵＲＦ算法存在比较多 其定义为：将在不同时段、不同视角或不同传感 的误匹配，通过尺度限制能够很好的剔除误匹 器下获得的同一场景的两幅或多幅图像进行叠加 配。首先通过ＳＵＲＦ算法得到粗匹配点，然后通 的过程…。有关图像配准的方法主要分为 Ｊ：基 过尺度限制得到更加精确的匹配点，最后通过最 于灰度和基于特征的方法，其中特征点的图像配 小二乘法算法求解出匹配点之间的几何关系，从 准方法鲁棒性更高 Ｊ，比如ＳＵＲＦ 算法。基于 而完成图像配准。 ＳＵＲＦ算法图像配准已经得到广泛应用，比如在 ２基本原理介绍 应用医学图像配准 中，遥感图像 等。目前国 内外的配准精度已经满足应用的状态，但还有待 ２．１ ＳＵＲＦ特征检测及匹配 于提升，图像配准是图像拼接ｒ ，超分辨率图像 ＳＵＲＦ算法特征检测主要步骤有：特征提 收稿１３期：２０１２－０７ Ｒｅｃｅｉｖｅｄ Ｄａｔｅ：２０１２－０７ 基金项目：国家自然科学￣（６１１７４１７０）、安徽省高校自然科学研究重点项目（ＫＪ２０１０Ａ１９３） 电子测量与仪器学报 第２７卷 取，确定特征方向，确定特征描述，特征匹配。 在尺度空间中比较Ｈｅｓｓｉａｎ矩阵行列式值的大 小确定特征点位置并通过三维二次曲线拟合求 出亚像素级的特征点。通过计算特征点的 和 Ｙ方向的Ｈａｒｒ小波并形成矢量，确立最长矢量为 其特征点的主方向。通过特征点的周围子区域 的像素点的Ｈａａｒ小波响应得到６４维的特征向 量。利用特征向量进行特征点之间的匹配，实 验中满足最近邻与次近邻的比值小于０．７，认为 此对特征点匹配。 ２．２仿射变换 仿射变换是指参考图像的直线经过变换后依 然是直线，并且能够在待配准图像上面保持原有的 平行关系，主要有平移、旋转、缩放等情况。 由于本算法研究的图像必须满足仿射变换， 故采用仿射变换来模拟两幅图像之间的几何关 系。特征点匹配好之后，利用匹配点对应关系 求解出仿射变换参数并应用到所需配准的图 像，从而完成图像之间的配准。仿射变换数学 表达式为： ｌ ｍ１ ｍ２ ｍ。Ｊ Ｍ＝ｌＬ －ｍ ｍ ｍ ｌ０ ０ ｌ Ｊ （１） 设Ｐ＝（ 。，Ｙ ），ｑ＝（ ：，Ｙ：）是匹配特征点集， ｍ２ Ｙ２］ 评价标准，采用主客观结合来评价本算法的好坏， 更加具有说服力。客观评价方法为归一化互信息 （ＮＭ１），是信息论互信息 加 的延伸，Ｓｔｕｄｈｏｌｍｅ “ 等提出ＮＭＩ评价配准结果，其值越大表示配准效 果越好。主观评价方法为图像差值法，即参考图像 减去配准后的图像得到差值图像，差值图像越黑表 ３ 尺度限制的ＳＵＲＦ算法（ＳＲ— ＳＵＲＦ） ３．１尺度限制算法实现 本算法解决存在尺度差异并满足仿射变换的 图像之间匹配问题。先通过ＳＵＲＦ算法得到特征 点的粗匹配，通过尺度限制处理粗匹配特征点，得 到更加精确的匹配特征点，从而完成图像配准。 基于尺度限制的ＳＩＦＴ＿ 】算法能够提高正确匹 配点的比例被成功应用到具有尺度差异的遥感图 像的配准中¨ 。 ，要求为两幅配准的图像具有尺 度差异同时满足仿射变换。所谓尺度差异（ＳＤ）就 是两幅图像某个匹配点Ｐ （Ｘ ， ，Ｓ ），Ｐ （ ， ， ５，）的尺度相减，即： ＳＤ＝Ｓｌ一．ｓ２ （３） 式中： ，ｙ表示特征点的坐标，Ｓ表示特征点所在的 尺度。经过ＳＵＲＦ算法得到的粗匹配点，当对应点 之间的尺度差异满足式（４）的时候，保留此对对应 的特征点，否则剔除此对对应的特征点。 ＳＤ—Ｗ＜ＳＤ＜ＳＤ＋ （４） 在实验中发现，大部分匹配点的ＳＤ主要集中 在一个固定常数附近，接近两幅图像之间的尺度差 异，故建议ＳＤ为所有粗匹配点的均值， 为所有粗 匹配点的标准方差。 为了使本算法具有普遍性，本实验采用的图像 来自像素为３００万的手机拍摄（噪声比较明显，更 加具有说服力），ＳＵＲＦ算法得到粗匹配点之间的 尺度差异的直方图如图１所示。尺度限制后得到 图１ ＳＵＲＦ尺度差异直方 Ｆｉｇ．１ Ｓｃａｌｅ ｄｉｆｆｅｒｅｎｃｅ ｈｉｓｔｏｇｒａｍ ｏｆ ＳＵＲＦ 第１０期 基于尺度限制ＳＵＲＦ的图像配准 ・９６７・ ｎｉｑｕｅｓ［Ｊ］．ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ（ＣＳＵＲ）， １９９２，２４（４）：３７６－３８０． ［９］ 傅卫平，秦川，刘佳，等．基于ＳＩＦＩ＂算法的图像目标匹 配与定位［Ｊ］．仪器与仪表学报，２０１１，３２（１）： １６３．１６９． ＦＵ Ｗ Ｐ，ＱＩＮ ＣＨ，ＬＩＵ Ｊ，ｅｔ ａ１．Ｍａｔｃｈｉｎｇ ａｎｄ ｌｏｃａｔｉｏｎ ｏｆ ｉｍａｇｅ ｏｂｊｅｃｔ ｂａｓｅｄ ｏｎ ＳＩＦＩ＂ａｌｇｏｒｉｔｈｍ［Ｊ］．Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ，２０１１，３２（１）：１６３—１６９． ［１０］ 朱雪龙．应用信息论基础［Ｍ］．北京：清华大学出版 社，２００１：２９．３１． ＺＨＵ Ｘ Ｌ．Ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｈｅｏｒｙ［Ｍ］．Ｂｅｉｊｉｎｇ：Ｐｒｅｓｓ ｏｆ ＴｓｉｎｇｈＨａ Ｕｎｉｖｅｒｓｉｔｙ， ２００１：２９－３１． ［１１］ ＳＴＵＤＨＯＬＭＥ Ｃ，ＨＩＬＬ Ｌ Ｇ，ＨＡＷＫＥＳ Ｄ．Ａｎ ｏｖｅｒｌａｐ ｉｎｖａｒｉａｎｔ ｅｎｔｒｏｐｙ ｍｅａｓｕｒｅ ｏｆ ３Ｄ ｍｅｄｉｃａｌ ｉｍａｇｅ ａｌｉｇｎ・ ｍｅｎｔ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９８８，３２（１）：４３４６． ［１２］ ＳＴＵＤＨＯＬＭＥ Ｃ，Ｈｉｌｌ Ｄ，ａｎｄ ＨＡＷＫＥＳ Ｄ．Ａｕｔｏｍａｔｅｄ ３Ｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ＭＲ ａｎｄ ＰＥＴ ｂｒａｉｎ ｉｍａｇｅｓ ｂｙ ｍｕｌｔｉ． ｒｅｓｏｌｕｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｖｏｘｅｌ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ［Ｊ］． Ｍｅｄ．Ｐｈｙｓ．１９９７，２４（１）：５５－６０． ［１３］ ＬＯＷＥ Ｄ Ｇ．Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ．ｉｎ． ｖａｒｉａｎｔ ｋｅｙ ｐｏｉｎｔｓ［Ｊ］．Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓ．，２００４， ６０，（２）：９１—１１０ ［１４］ ＹＩ Ｚ，ＧＵＯ Ｃ ＺＨ。ＹＡＮＧ Ｘ．Ｍｕｌｔｉ—ｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｉｍ． ａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ＳＩＦＦ［Ｊ］．ＩＥＴ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｅｔ． ｔｅｒｓ，２００８，４４（２）：１７－２２． ［１５］ＶＵＲＡＬ Ｍ Ｆ，ＹＡＲＤＩＭＣＩ Ｙ，ＴＥＭＩＺＥＬ Ａ．Ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｓａｔｅｌｌｉｔｅ ｉｍａｇｅｓ ｗｉｔｈ ｇｒａｄｉｅｎｔ—ｃｏｒｒｅｃｔｅｄ ＳＩＦＴｆ Ｃ］．Ｐｒｏｃｅｅｄｉｎｇ ｆｏ ＩＥＥＥ Ｉｎｔｅｎｒａｔｉｏｎａｌ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍ￣ｅ Ｓｅｎｓｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＩＧＡＲＳＳ），２００９。 作者简介 詹曙，１９６８年出生，博士，现为合肥工业大学副教授， 主要研究方向为三维图像处理和分析、医学图像分析、模 式识别。 Ｅ—ｍａｉｌ：ｓｈｕ＿ｚｈａｎ＠ｈｆｕｔ．ｅｄｕ．ｃｎ Ｚｈａｎ Ｓｈｕ ｗａｓ ｂｏｒｎ ｉｎ １９６８，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅ ｐｒｏｆｅｓｓｏｒ ｉｎ Ｈｅｆｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ａｒｅ ３ Ｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａｎａｌｙｓｉｓ，ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ，ｐａｔ． ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ． 王少武，１９８８年出生，毕业于合肥工业大学，现为合肥 工业大学硕士研究生。目前主要研究方向为图像配准。 Ｅ—ｍａｉｌ：ｗａｎｇｓｈａｏ＿ｗｕ＠１２６．ｃｏｍ Ｗａｎｇ Ｓｈａｏｗｕ ｗａｓ ｂｏｒｎ ｉｎ １９８８，ｇｒａｄｕａｔｅｄ ｆｒｏｍ Ｈｅｆｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｍ．Ｓｃ．ｃａｎｄｉｄａｔｅ ｉｎ Ｈｅｆｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｆｏ Ｔｅｃｈｎｏｌｏｇｙ．Ｈｉｓ ｐｒｅｓｅｎｔ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔ ｉｎｃｌｕｄｅｓ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ＳＯ ｏｎ，