- 相關(guān)推薦
基于典型相關(guān)分析方法的尺度不變特征變換誤匹配剔除
摘要：針對(duì)尺度不變特征變換(SIFT)描述子僅利用特征點(diǎn)的局部鄰域灰度信息而對(duì)圖像內(nèi)具有相似灰度分布的特征點(diǎn)易產(chǎn)生誤匹配的問(wèn)題，提出一種基于典型相關(guān)分析(CCA)的SIFT誤匹配剔除方法。該方法首先利用SIFT算法進(jìn)行匹配，得到初始匹配對(duì); 然后根據(jù)典型相關(guān)成分的線性關(guān)系擬合直線，利用點(diǎn)到直線的距離剔除大部分誤匹配點(diǎn)對(duì); 對(duì)剩余的匹配點(diǎn)對(duì)，逐一分析其對(duì)典型相關(guān)成分的共線性的影響，剔除影響程度大的特征點(diǎn)對(duì)。實(shí)驗(yàn)結(jié)果表明，該方法能夠在剔除誤匹配的同時(shí)保留更多的正確匹配，提高了圖像配準(zhǔn)的精度。
關(guān)鍵詞：誤匹配;尺度不變特征變換;隨機(jī)采樣一致性算法;典型相關(guān)分析;圖像配準(zhǔn)
引言
圖像配準(zhǔn)是圖像處理和計(jì)算機(jī)視覺(jué)中的一個(gè)基本問(wèn)題，是諸如圖像融合、變化檢測(cè)等許多應(yīng)用中的重要技術(shù)環(huán)節(jié)。基于特征的圖像配準(zhǔn)方法需要從待配準(zhǔn)圖像中提取一些共同的特征，然后建立這些特征之間的對(duì)應(yīng)關(guān)系，求解變換模型參數(shù)來(lái)完成配準(zhǔn)。所以，特征匹配是基于特征的圖像配準(zhǔn)方法中的關(guān)鍵步驟，匹配效果直接影響變換模型的求解。
現(xiàn)有的特征匹配方法主要包括圖匹配方法[1-2]、譜方法[3-4]和基于局部描述子的方法[5-8]等。近年來(lái)，大量基于局部描述子的特征匹配算法被提出，此類方法首先對(duì)每個(gè)特征點(diǎn)進(jìn)行描述，然后通過(guò)計(jì)算特征描述之間的相似性來(lái)判斷特征點(diǎn)是否匹配。在現(xiàn)有的局部描述子中，尺度不變特征變換(Scale Invariant Feature Transform， SIFT)方法[5]應(yīng)用最為廣泛。大多數(shù)情況下，SIFT 方法都可以得到滿意的匹配結(jié)果，然而對(duì)具有相似灰度分布的圖像進(jìn)行匹配時(shí)會(huì)產(chǎn)生大量的誤匹配點(diǎn)。為了消除誤匹配，提高匹配精度，常用的方法是對(duì)最近描述子和次近描述子之間的歐氏距離比設(shè)定閾值剔除誤匹配。此外，隨機(jī)采樣一致性(RANdom Sample Consensus， RANSAC)方法[9]在剔除誤匹配問(wèn)題上得到了廣泛應(yīng)用[10]。近來(lái)，Kupfer等[11]提出了模式尋求(Mode Seeking， MS)方法，利用SIFT特征點(diǎn)中的尺度、方向和位置屬性建立尺度比、方向差和位移差直方圖，通過(guò)對(duì)位移差設(shè)定閾值剔除誤匹配。為了降低RANSAC算法的隨機(jī)性，Moisan等[12]提出了最優(yōu)化的RANSAC(Optimized RANSAC， ORSA)算法，該方法具有較低的隨機(jī)性且能保留更多正確的匹配關(guān)系。文獻(xiàn)[13]通過(guò)比較對(duì)應(yīng)k最近鄰圖的鄰接矩陣消除誤匹配，該方法需要在每次剔除誤匹配后重新建立k最近鄰圖，計(jì)算較復(fù)雜。文獻(xiàn)[14]利用偏最小二乘成分之間的共線關(guān)系擬合直線，根據(jù)點(diǎn)到直線的距離剔除誤匹配。但這些方法在剔除誤匹配的同時(shí)易丟失正確匹配，不利于圖像配準(zhǔn)。
因此，在誤匹配剔除過(guò)程中需要解決兩個(gè)問(wèn)題：1) 剔除盡可能多的錯(cuò)誤匹配;2) 保留盡可能多的正確匹配。針對(duì)這兩個(gè)問(wèn)題，本文在文獻(xiàn)[14]的基礎(chǔ)上利用典型相關(guān)分析(Canonical Correlation Analysis， CCA)的仿射不變性提出一種由粗到細(xì)的誤匹配剔除方法，首先利用典型相關(guān)成分之間的共線關(guān)系擬合直線并對(duì)點(diǎn)到直線的距離設(shè)定閾值剔除大部分誤匹配，改進(jìn)了文獻(xiàn)[14]中的直線擬合方法;其次，利用一種共線度量確定剩余的匹配中有無(wú)誤匹配，并通過(guò)分析每一對(duì)匹配對(duì)共線度的影響進(jìn)一步剔除誤匹配。
一、誤匹配剔除的CCA方法
1.1誤匹配剔除的典型相關(guān)成分直線擬合方法
假設(shè)經(jīng)過(guò)SIFT匹配后的特征點(diǎn)坐標(biāo)分別為X=[x1，x2，…，xn]∈R2×n和Y=[y1，y2，…，yn]∈R2×n， μx和μy分別為它們的均值向量，CCA算法的目標(biāo)是找到兩個(gè)投影方向u、v∈R2，使得si=uT(xi-μx)和ti=vT(yi-μy)(1≤i≤n)的相關(guān)系數(shù)達(dá)到最大，其中si和ti分別表示特征點(diǎn)xi和yi對(duì)應(yīng)于投影方向u和v的典型相關(guān)成分。u和v可通過(guò)式(1)和式(2)的特征值問(wèn)題求解：
C-1xCxyC-1yCTxyu=r2u(1
v=(1/r)C-1yCTxyu(2)
其中：Cxy是X和Y之間的協(xié)方差矩陣，Cx和Cy分別是X和Y各自的協(xié)方差矩陣，r為典型相關(guān)系數(shù)。
根據(jù)文獻(xiàn)[14]，利用CCA算法求得所有匹配的第一典型相關(guān)成分{(si，ti)，i=1，2，…，n}后，則可利用點(diǎn)集{(si，ti)，i=1，2，…，n}擬合直線t=ks+b，其中k和b分別為直線的斜率和截距。然后計(jì)算每個(gè)點(diǎn)(si，ti)到直線t=ks+b的距離di，若di大于給定的閾值T1，則(xi，yi)為一對(duì)誤匹配。
為增強(qiáng)直線擬合的穩(wěn)健性，本文采用直方圖的方法求解斜率k和截距b。首先計(jì)算點(diǎn)集{(si，ti)，i=1，2，…，n}中每對(duì)點(diǎn)確定的直線的傾斜角：
θij=arctan tj-tisj-si; 1≤i， j≤n
根據(jù)傾斜角直方圖的峰值確定最優(yōu)傾斜角θ0，從而得到斜率k0=tan θ0。然后構(gòu)造截距bi=ti-k0si(1≤i≤n)的直方圖，根據(jù)直方圖的峰值確定最優(yōu)截距b0。
1.2基于典型相關(guān)成分共線程度的誤匹配剔除
設(shè)經(jīng)過(guò)1.1節(jié)誤匹配剔除后剩余m對(duì)匹配仍記為X和Y，其均值向量仍記為μx和μy。計(jì)算這些匹配的典型相關(guān)成分{(si，ti)，i=1，2，…，m}，由于直線擬合方法不能剔除所有的誤匹配，后續(xù)將通過(guò)分析每一對(duì)匹配對(duì)典型相關(guān)成分共線率的影響逐個(gè)剔除誤匹配。共線率描述了點(diǎn)集{(si，ti)，i=1，2，…，m}在其兩個(gè)主要方向上的分布。
定義1 共線率。設(shè)點(diǎn)集{(si，ti)，i=1，2，…，m}的協(xié)方差矩陣為Cst，其特征值為λ1≥λ2，則共線率定義為：
τ=1-λ2/λ1(3
當(dāng)點(diǎn)集{(si，ti)，i=1，2，…，m}構(gòu)成直線時(shí)，τ=1。若點(diǎn)集{(si，ti)，i=1，2，…，m}當(dāng)前的共線率τc小于給定的閾值T2，則說(shuō)明當(dāng)前的匹配關(guān)系中仍然存在誤匹配，可通過(guò)分析每對(duì)匹配對(duì)典型相關(guān)成分共線率的影響剔除誤匹配。
令i和i分別表示從X和Y中刪除第i對(duì)匹配關(guān)系(xi，yi)之后的點(diǎn)集，它們之間的協(xié)方差更新為：
Cixy=mm-1Cxy-m(m-1)2(xi-μx)(yi-μy)T (4
i和i各自的協(xié)方差矩陣Cix和Ciy具有相似的更新格式：
Cix=mm-1Cx-m(m-1)2(xi-μx)(xi-μx)T(5
Ciy=mm-1Cy-m(m-1)2(yi-μy)(yi-μy)T(6)
得到協(xié)方差矩陣Cixy，Cix和Ciy后，將其代入式(1)和式(2)計(jì)算刪除第i對(duì)匹配關(guān)系之后的投影方向u，v和相關(guān)系數(shù)r。為得到當(dāng)前的共線率，只需利用當(dāng)前的相關(guān)系數(shù)r。這是因?yàn)楫?dāng)前典型相關(guān)成分的協(xié)方差矩陣Cist可按式(7)計(jì)算：
Cist=uTCixuuTCixyv
uTCixyvvTCiyv(7)
其中uTCixyv=ruTCixu=rvTCiyv， 所以其特征值分別為1+r和1-r。根據(jù)式(3)得刪除第i對(duì)匹配關(guān)系之后的共線率τi=2r/(1+r)。當(dāng)考慮點(diǎn)集i和i的兩對(duì)典型相關(guān)成分時(shí)，共線率為第一典型相關(guān)成分共線率和第二典型相關(guān)成分共線率的平均值，即：
τi=r11+r1+r21+r2(8)
其中r1和r2分別為點(diǎn)集i和i的第一和第二典型相關(guān)系數(shù)。
檢驗(yàn)所有的匹配對(duì)1≤i≤m，選出共線率最大的序號(hào)i0，則(xi0，yi0)是一對(duì)誤匹配，將其從原點(diǎn)集中刪除，此時(shí)協(xié)方差矩陣Cxy，Cx和Cy更新為Ci0xy，Ci0x和Ci0y，均值向量更新為：
μx=mm-1 μx-1m-1 xi0(9
μy=mm-1 μy-1m-1 yi0(10
重復(fù)上述過(guò)程直到當(dāng)前的共線率超過(guò)閾值T2。
二、由粗到細(xì)的誤匹配剔除算法
給定參考圖像和待配準(zhǔn)圖像，首先用SIFT算法提取特征點(diǎn)并建立匹配關(guān)系。CCA誤匹配剔除算法如下：
1) 利用式(1)和式(2)計(jì)算點(diǎn)集X和Y的典型相關(guān)成分{(si，ti)，i=1，2，…，n}，并按1.1節(jié)的方法擬合直線并對(duì)點(diǎn)到直線的距離與平均距離的比值設(shè)定閾值T1剔除部分誤匹配;
2) 對(duì)剩余的m對(duì)匹配關(guān)系，初始化均值向量μx，μy和協(xié)方差矩陣Cx，Cy和Cxy，利用式(1)、(2)和(8)計(jì)算當(dāng)前的共線率τc;
3) 若τc≥T2，則返回當(dāng)前的匹配關(guān)系，否則按式(4)、(5)、(6)、(1)和(2)計(jì)算刪除每對(duì)匹配關(guān)系后的共線率τi(1≤i≤m);
4) 若i0=arg maxi∈{1，2，…，m}τi，則刪除第i0對(duì)匹配關(guān)系(xi0，yi0)，令τc=τi0，更新Cxy、Cx和Cy為Ci0xy、Ci0x和Ci0y，并按式(9)和(10)更新均值向量μx和μy。令m=m-1，返回第3)步。
三、實(shí)驗(yàn)結(jié)果與分析
實(shí)驗(yàn)分為兩部分：首先通過(guò)模擬數(shù)據(jù)對(duì)算法的有效性進(jìn)行檢驗(yàn);然后將算法應(yīng)用到實(shí)際光學(xué)圖像和合成孔徑雷達(dá)(Synthetic Aperture Radar， SAR)圖像SIFT特征點(diǎn)的誤匹配剔除中，對(duì)算法的應(yīng)用性進(jìn)行檢驗(yàn)。
3.1算法的有效性檢驗(yàn)
為檢驗(yàn)算法的有效性，在200×200的范圍內(nèi)產(chǎn)生100個(gè)均勻分布的點(diǎn)作為待配準(zhǔn)點(diǎn)集，然后構(gòu)造仿射變換由待配準(zhǔn)點(diǎn)集得到參考點(diǎn)集，如圖1(a)所示。將這100對(duì)點(diǎn)進(jìn)行隨機(jī)匹配，使得其中分別有10， 20， …， 90對(duì)正確匹配，然后將這9組數(shù)據(jù)作為誤匹配剔除算法RANSAC[10]、ORSA[12]和CCA的輸入。RANSAC算法閾值參數(shù)設(shè)置為0.004，最大迭代次數(shù)為1000。CCA算法的閾值T1設(shè)為所有距離的均值，可以保留更多的正確匹配，傾斜角和斜率直方圖的窗寬為各自取值范圍的0.01倍。閾值T2決定了最后匹配對(duì)的精度，T2越大，匹配對(duì)越少，精度越高;反之，匹配對(duì)越多，精度越低。本次實(shí)驗(yàn)中在已知正確匹配數(shù)目的條件下，以最大迭代次數(shù)取代閾值T2。
圖1給出了正確匹配對(duì)數(shù)為10時(shí)CCA算法剔除誤匹配的過(guò)程，其中(b)和(c)為傾斜角和截距直方圖，(d)中實(shí)線是由(b)和(c)中的峰值確定的直線，虛線是由穩(wěn)健最小二乘方法擬合的直線[14]。通過(guò)(d)中的直線及點(diǎn)到直線的距離剔除誤匹配后，剩余53對(duì)匹配。圖1(e)給出了剩余43對(duì)錯(cuò)誤匹配的迭代消除過(guò)程。
實(shí)驗(yàn)以匹配對(duì)數(shù)和均方根誤差(Root Mean Square Error， RMSE)作為評(píng)價(jià)標(biāo)準(zhǔn)，分別衡量最后匹配的數(shù)量和質(zhì)量。由于RANSAC和ORSA均具有隨機(jī)性，對(duì)每組數(shù)據(jù)進(jìn)行10次實(shí)驗(yàn)，并統(tǒng)計(jì)匹配對(duì)數(shù)與RMSE的均值和標(biāo)準(zhǔn)差。當(dāng)正確匹配對(duì)數(shù)為30～90時(shí)，RANSAC和ORSA都能得到正確的匹配結(jié)果，3種算法無(wú)差別。當(dāng)正確匹配對(duì)數(shù)為10和20時(shí)，ORSA算法優(yōu)于RANSAC算法，CCA算法均能得到與真實(shí)對(duì)應(yīng)關(guān)系一致的結(jié)果，如表1所示。
圖片
圖1CCA誤匹配剔除模擬結(jié)果
表格(有表名)
表13種方法不同正確匹配對(duì)數(shù)時(shí)的對(duì)比
方法
10對(duì)正確匹配
匹配對(duì)數(shù)RMSE/像素
20對(duì)正確匹配 匹配對(duì)數(shù)RMSE/像素
RANSAC5.9±1.52164.9±339.412.6±7.8027.78±43.36
ORSA32.6±30.4034.51±39.22200
CCA100200
3.2算法的應(yīng)用性檢驗(yàn)
本節(jié)分別針對(duì)光學(xué)圖像和SAR圖像進(jìn)行匹配實(shí)驗(yàn)，并將CCA方法實(shí)驗(yàn)結(jié)果與ORSA[12]及MS[11]方法進(jìn)行比較。匹配過(guò)程如下：首先用SIFT方法提取特征點(diǎn)并用閾值為0.9的距離比方法得到初始匹配，然后分別用3種方法進(jìn)行誤匹配剔除。實(shí)驗(yàn)中，光學(xué)圖像采用的是具有仿射變換的城堡圖像，大小分別為492×486和613×523。圖2為兩幅光學(xué)圖像的CCA誤匹配剔除結(jié)果，其中SIFT算法給出502對(duì)匹配，如圖2(c)。圖2(d)給出了CCA方法找到的263對(duì)匹配，其對(duì)應(yīng)的均方根誤差為RMSE=2.2716。最后的配準(zhǔn)結(jié)果如圖2(e)。
SAR圖像使用的是“5・12”汶川地震前后綿陽(yáng)市獅兒河水庫(kù)的ALOSPALSAR圖像，震前圖像拍攝于2008年2月17日，震后圖像拍攝于2008年5月19日。震前震后圖像的大小分別為500×400和450×350。圖3為獅兒河水庫(kù)圖像的CCA誤匹配剔除結(jié)果，其中圖3(c)中SIFT算法給出331對(duì)匹配。CCA方法找到85對(duì)匹配，如圖3(d)所示，對(duì)應(yīng)的均方根誤差為RMSE=2.0071。為進(jìn)行對(duì)比，圖2和圖3對(duì)應(yīng)的閾值T2分別設(shè)置為1-6.8×10-5和1-6×10-5。增大這兩個(gè)閾值會(huì)減小RMSE，同時(shí)也會(huì)減少匹配對(duì)數(shù)。將由ORSA和MS方法的結(jié)果列于表2，從表2中可以看出，CCA方法找到的匹配對(duì)在數(shù)量和質(zhì)量上優(yōu)于ORSA和MS。
圖片
圖2光學(xué)圖像誤匹配剔除結(jié)果
表格(有表名)
表2不同方法在SIFT誤匹配剔除上的對(duì)比
圖像對(duì)
ORSA方法
匹配對(duì)數(shù)RMSE/像素
MS方法
匹配對(duì)數(shù)RMSE/像素
CCA方法
匹配對(duì)數(shù)RMSE/像素
圖22162.36012592.28252632.2716
圖3832.2003443.0080852.0071
圖片
圖3SAR圖像誤匹配剔除結(jié)果
四、結(jié)語(yǔ)
本文針對(duì)SIFT描述子對(duì)具有相似灰度分布區(qū)域的圖像易產(chǎn)生誤匹配的缺點(diǎn)，提出了一種基于典型相關(guān)分析的誤匹配剔除方法。該方法首先通過(guò)典型相關(guān)分析對(duì)SIFT匹配后的特征點(diǎn)對(duì)的位置關(guān)系進(jìn)行重新描述，利用典型相關(guān)成分?jǐn)M合直線剔除大部分誤匹配; 然后通過(guò)分析每對(duì)匹配對(duì)典型相關(guān)成分共線率的影響迭代剔除誤匹配，克服了過(guò)度剔除正確匹配的缺點(diǎn); 最后，模擬和真實(shí)實(shí)驗(yàn)的結(jié)果驗(yàn)證了方法的有效性和可行性。閾值T2與匹配精度之間的定量關(guān)系有待進(jìn)一步研究。
參考文獻(xiàn)：
[1] LIU Z， QIAO H， YANG X， et al.Graph matching by simplified convexconcave relaxation procedure[J]. International Journal of Computer Vision， 2014， 109(3)： 1-18.
[2] FENG W， LIU Z， WAN L， et al.A spectralmultiplicitytolerant approach to robust graph matching[J]. Pattern Recognition， 2013， 46(10)： 2819-2829.
[3] KANG U， HEBERT M， PARK S. Fast and scalable approximate spectral graph matching for correspondence problems[J]. Information Sciences， 2013， 220(20)： 306-318.
[4] WANG H， HANCOCK E R. A kernel view of spectral point pattern matching[J]. Structural， Syntactic， and Statistical Pattern Recognition， 2004， 3138： 361-369.
[5] LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision， 2004， 60(2)： 91-110.
[6] BAY H， ESS A， TUYTELAARS T， et al.SpeededUp Robust Features (SURF)[J]. Computer Vision and Image Understanding， 2008， 110(3)： 346-359.
[7] TEKE M， VURAL M F， TEMIZEL A， et al.Highresolution multispectral satellite image matching using scale invariant feature transform and speeded up robust features[J]. Journal of Applied Remote Sensing， 2011， 5(1)： 53553.
[8] YANG L， TIAN Z， ZHAO W. A new affine invariant feature extraction method for SAR image registration[J]. International Journal of Remote Sensing， 2014， 35(20)： 7219-7229.
[9] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM， 1981， 24(6)： 381-395.
[10] KIM T， IM Y. Automatic satellite image registration by combination of matching and random sample consensus[J]. IEEE Transactions on Geoscience and Remote Sensing， 2003， 41(5)： 1111-1117.
[11] KUPFER B， NETANYAHU N S， SHIMSHONI I. An efficient SIFTbased modeseeking algorithm for subpixel registration of remotely sensed images[J]. IEEE Geoscience and Remote Sensing Letters， 2015， 12(2)： 379-383.
[12] MOISAN L， MOULON P， MONASSE P. Automatic homographic registration of a pair of images， with a contrario elimination of outliers[J]. Image Processing On Line， 2012， 2： 56-73.
[13] AGUILAR W， FRAUEL Y， ESCOLANO F， et al.A robust graph transformation matching for nonrigid registration[J]. Image and Vision Computing， 2009， 27(7)： 897-910.
[14] YAN W， TIAN Z， WEN J， et al.SIFT mismatching correction based on partial least squares[J]. Journal of Computer Applications， 2012， 32(5)： 1255-1268.(延偉東， 田錚， 溫金環(huán)， 等. 基于偏最小二乘的SIFT誤匹配校正方法[J]. 計(jì)算機(jī)應(yīng)用， 2012， 32(5)： 1255-1268.)
【基于典型相關(guān)分析方法的尺度不變特征變換誤匹配剔除】相關(guān)文章：
基于FPGA的指紋特征點(diǎn)集匹配的設(shè)計(jì)與實(shí)現(xiàn)03-07
基于IHS變換的遙感影像融合方法研究11-22
求矩陣的特征值和特征向量的變換方法01-01
基于顧客價(jià)值的服務(wù)戰(zhàn)略特征分析03-22
基于人眼視覺(jué)特性的多尺度DR圖像增強(qiáng)方法03-07
圖像紋理特征的分析方法研究03-07
基于FPGA的快速傅立葉變換03-19