一種實時的分塊跟蹤算法
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
尚 堃， 張同賀， 李 威
（中國空空導(dǎo)彈研究院，河南洛陽471000）
摘要：為有效地處理目標(biāo)跟蹤中的目標(biāo)尺度變化、光照變化和局部被遮擋問題，采用分塊跟蹤策略，跟蹤目標(biāo)上的多個跟蹤點，通過前后兩幀圖像間多對對應(yīng)跟蹤點之間的距離變化量確定目標(biāo)尺度的變化量和位移量。在目標(biāo)被遮擋的情況下，利用未受遮擋影響的跟蹤點的位置信息和時空上下文信息計算目標(biāo)跟蹤點位置。采用高效而精確的STC( Spatial Temporal Context)跟蹤算法跟蹤單個跟蹤點，保證算法的實時性和跟蹤點定位的準(zhǔn)確性。實驗結(jié)果表明，提出的分塊跟蹤算法不但實時性較好，跟蹤精度較高，具有抗光照變化和抗局部遮擋能力，而且算法原理簡單，能夠適應(yīng)多種跟蹤環(huán)境。
0 引言
自動目標(biāo)跟蹤是計算機視覺研究領(lǐng)域的一個重要分支，自其誕生以來，研究人員提出了大量的具有重要影響和應(yīng)用價值的研究成果，但是，由于應(yīng)用領(lǐng)域的復(fù)雜性和特殊性，特定的跟蹤算法很難同時處理各種復(fù)雜的問題。在目標(biāo)跟蹤過程中存在目標(biāo)被部分遮擋、目標(biāo)發(fā)生形變、光照變化、背景混亂以及目標(biāo)尺度變化等現(xiàn)象，這些問題都對目標(biāo)跟蹤算法提出了挑戰(zhàn)。其中，目標(biāo)尺度變化、光照變化和目標(biāo)被遮擋等是自動目標(biāo)跟蹤應(yīng)用中常見并且難以處理的問題。因此，研究自動目標(biāo)跟蹤中的目標(biāo)尺度變化、光照變化和目標(biāo)被遮擋問題具有重要的應(yīng)用價值。為了克服目標(biāo)尺度變化、光照變化和目標(biāo)遮擋對目標(biāo)跟蹤的影響，人們提出了大量的算法，如粒子濾波算法、TLD算法、LK算法、SIFT[4算法、STC算法、CT算法、Mean-Shift算法、馬爾可夫隨機場算法、序列蒙特卡羅方法、Hausdorff距離法以及KLT算法等。
Lucas-Kanade提出的LK算法能夠利用圖像灰度信息精確計算視頻前后兩幀之間的幾何變換關(guān)系，精確定位跟蹤點，但該方法是基于目標(biāo)與場景的灰度不隨時間變化的假設(shè)，因此對光照變化比較敏感。另外該方法使用迭代的方式計算幾何變換關(guān)系，當(dāng)變換參數(shù)較多時，其運算量較大。
TLD( Tracking Learning Detection)算法將目標(biāo)跟蹤和檢測相結(jié)合，發(fā)揮各自長處，彌補彼此不足，并加入在線學(xué)習(xí)機制不斷更新目標(biāo)模型和檢測模塊。由于使用了在線學(xué)習(xí)機制和分塊跟蹤策略，當(dāng)目標(biāo)發(fā)生形變或者部分被遮擋時，TLD算法仍能跟蹤目標(biāo)，但其對光照變化仍比較敏感。
基于局部特征匹配的跟蹤算法也是一類常用的跟蹤算法。由于采用局部特征匹配的方式進(jìn)行跟蹤，該類算法具有一定抗局部遮擋和抗目標(biāo)幾何變換的能力，但是有時無法從目標(biāo)上提取足夠多的局部特征，不滿足跟蹤條件。另外，通過特征點對應(yīng)關(guān)系計算圖像幀之間的幾何變換關(guān)系需要一定的約束條件，限制了跟蹤算法的使用范圍。
STC算法利用相鄰兩幀圖像間對應(yīng)目標(biāo)的時空相關(guān)性對目標(biāo)進(jìn)行跟蹤。STC跟蹤算法不但跟蹤精度較高，實時性較強，具有較好的抗局部遮擋能力，而且其使用條件比LK算法和局部特征匹配方法有明顯放寬，但是其適應(yīng)目標(biāo)尺度變化的能力有待提高。本文利用STC算法對跟蹤點定位精度較高的特點，同時借鑒TLD算法中的分塊跟蹤策略，提出了基于STC算法的分塊跟蹤算法，該算法綜合STC算法和TLD算法的優(yōu)點，同時彌補了彼此的不足，具有較好的抗光照變化能力、抗遮擋能力和抗尺度變化能力。
1 分塊跟蹤算法原理
1.1 基于STC算法的多塊跟蹤策略
分塊跟蹤算法采用分塊跟蹤策略對目標(biāo)框內(nèi)多個跟蹤點進(jìn)行STC算法跟蹤。如圖1所示，首先在目標(biāo)上取多個跟蹤點，使用STC算法對單個跟蹤點進(jìn)行跟蹤，得到每個跟蹤點在當(dāng)前幀中的位置，利用前后幀多對對應(yīng)跟蹤點之間的位置關(guān)系確定目標(biāo)尺度的變化量和位移量，更新目標(biāo)尺度，確定目標(biāo)跟蹤點的位置。
由于跟蹤目標(biāo)上的多個跟蹤點，當(dāng)目標(biāo)被局部遮擋時，仍能根據(jù)未被遮擋的跟蹤點對目標(biāo)進(jìn)行跟蹤，從而使算法具有較強的抗局部遮擋能力。STC算法對單個跟蹤點的定位精度較高，跟蹤點之間的距離變化量能夠準(zhǔn)確地反映目標(biāo)尺度的變化，因此通過計算跟蹤點之間的距離變化量得到目標(biāo)的尺度變化量，不但原理簡單，而且精度較高。
1.2算法步驟介紹
首先對第一幀圖像進(jìn)行分塊STC跟蹤，初始目標(biāo)框作為算法的先驗知識由人為選定。對初始信息跟蹤框進(jìn)行均勻分塊，根據(jù)計算得到的橫向和縱向均分點坐標(biāo)，使點陣均勻分布在跟蹤框內(nèi)。
合理選擇分塊數(shù)量，保證跟蹤效果的同時也能確保實時性，當(dāng)目標(biāo)突變或被遮擋時，跟蹤點會出現(xiàn)位置異常，此時取大多數(shù)趨勢相近的點作為可靠點，綜合結(jié)果對目標(biāo)位置尺度進(jìn)行更新，不會因為分塊太少而提升跟蹤的偶然性，保證目標(biāo)跟蹤正常進(jìn)行；也不會因為分塊太多，使每個分塊所含區(qū)域有較多的重疊，在計算量增加的同時，算法的跟蹤精度沒有得到明顯提升。因此，進(jìn)行多次實驗后，本文最終選擇將目標(biāo)分為25塊進(jìn)行跟蹤。當(dāng)目標(biāo)區(qū)域較大或較小時，應(yīng)酌情對分塊數(shù)量進(jìn)行加減。
對每塊中心點進(jìn)行STC跟蹤。遍歷劃分出的所有點，以單點為中心，取每個小塊背景區(qū)域的圖像進(jìn)行預(yù)處理，得到加權(quán)后的圖像頻域信息，然后計算每塊的窄間上下文信息，對單點進(jìn)行STC跟蹤。
根據(jù)每個點的位置得到對應(yīng)的圖像信息，并對圖像進(jìn)行加權(quán)處理，得到加權(quán)后的圖像的頻域信息。計算置信圖，找出置信圖中最大的點，記錄最大點對應(yīng)位置坐標(biāo)，該坐標(biāo)作為下一幀跟蹤點。輸出分塊后每個網(wǎng)格中心點的坐標(biāo)數(shù)組。
如圖2所示，在前一幀初始化跟蹤點坐標(biāo)Pn={P1，P2，…，Pn}，計算相鄰兩跟蹤點之間的距離Sn-1={S12，S23，…，S(n-1)n}，對初始跟蹤點進(jìn)行跟蹤，得到跟蹤點在當(dāng)前幀的坐標(biāo)P'n={P'n，P'2…，P'n}，計算兩跟蹤點之間的距離S'n-1={S'12,S'23,…，S'(n-1)n}。距離變化率K=S’/S反映了目標(biāo)的尺度變化量。
由于計算出的K值有多個，而目標(biāo)尺度變化率是一個數(shù)值，因此K值不能直接使用，需要根據(jù)多個K值計算出合理的尺度變化率。為了消除跟蹤誤差較大點的影響，提高尺度變化率的計算精度，分塊跟蹤算法對多個K值進(jìn)行聚類。其具體步驟如下所述。
1)對K中的每個點分別計算其行距離變化率和列距離變化率，得到統(tǒng)計直方圖K[i][j]；對其做最大距離聚類，計算其均值k；計算K[i][j]內(nèi)每個點的行變化率和列變化率之和，減去k得到矩陣M。
2)找出M的最大值Mmax及其對應(yīng)位置，若Mmax大于0.9*k，認(rèn)為該點異常，將K[i][j]中對應(yīng)Mmax的位置置0，并重新進(jìn)行最大距離聚類直到消除異常點。
此時，通過計算有效跟蹤點的x軸位移、y軸位移、歐式距離及其平均尺寸變化率來計算當(dāng)前幀跟蹤框覆蓋區(qū)域。
綜合可信跟蹤點的結(jié)果，預(yù)測當(dāng)前幀跟蹤框位置和尺寸變化信息，再作為下一幀的先驗知識進(jìn)行計算。圖2中，右圖尺度變化為上一幀的1. 067 8倍。
對單塊跟蹤時采用的STC跟蹤問題可以表達(dá)為計算每個單塊位置點的似然置信圖，即
來確定每個點的位置。式中：x為目標(biāo)位置；o代表含有目標(biāo)的視頻幀。當(dāng)前幀中，目標(biāo)位置為x*（跟蹤目標(biāo)框中心點），上下文特征為Xc={c(z)=(I(z)，z)∣ZEΩc（x*）}。其中I(z)表示圖像灰度；Ωc(x*)為目標(biāo)位置x*的鄰域；P(c(z)∣o)是上下文先驗概率，P(x ∣c(z)，o)就成為了目標(biāo)位置和它的空間上下文概率的橋梁。
在視覺跟蹤中，由目標(biāo)和圍繞目標(biāo)緊挨的背景組成一個決策區(qū)域稱為空間上下文，這樣，在連續(xù)幀中目標(biāo)就存在一個強時空關(guān)系。假定上下兩幀間包含目標(biāo)的局部．上下文并沒有發(fā)生很大的改變，外部特征仍然保持相似，則可通過當(dāng)前幀所含有的空間上下文信息去推斷下一幀中的空間上下文信息，從而推斷目標(biāo)位置。這種性質(zhì)可以在目標(biāo)外觀明顯改變時用來幫助從背景中區(qū)分目標(biāo)。
空間上下文模型的描述定義為條件概率函數(shù)
式中，hsc（x-z）是一個關(guān)于目標(biāo)x和局部上下文位置z的相對距離和方向的函數(shù)，這樣它就確定了目標(biāo)與它的空間上下文間的關(guān)系。
通過計算空間上下文模型hsc（x），把hsc（x）的最大值作為計算得到的下一幀目標(biāo)跟蹤點進(jìn)行跟蹤，可以得到單個目標(biāo)點的位置改變情況。
2 實驗結(jié)果與分析
2.1抗遮擋能力實驗
本文進(jìn)行了3組抗遮擋能力實驗。
圖3是一組人物由正面轉(zhuǎn)為側(cè)面再轉(zhuǎn)回正面的實驗。可以看到，由于人物轉(zhuǎn)頭速度較慢，當(dāng)完全轉(zhuǎn)為側(cè)面時，圖像的樣本發(fā)生了改變，以致于當(dāng)人物再一次轉(zhuǎn)為正向時目標(biāo)樣本變?yōu)榘霃埬�。但分塊STC算法通過未被遮擋區(qū)域和人物身后背景，依然可以找到目標(biāo)，跟蹤效果良好。
由圖4可以看到，分塊跟蹤算法跟蹤效果穩(wěn)定，當(dāng)人臉被手遮擋時，跟蹤區(qū)域能夠穩(wěn)定地保持在人臉位置，跟蹤點穩(wěn)定，跟蹤效果良好。
為了檢驗本文算法的抗遮擋能力，對一組視頻序列進(jìn)行了刪減，采用不相鄰的兩幀進(jìn)行圖像跟蹤，并通過分塊跟蹤點位置說明效果。如圖5所示，人物由正面突變?yōu)閭?cè)向面對鏡頭，臉部的信息被遮擋，目標(biāo)的特征信息發(fā)生明顯改變，并伴有尺度改變。很多特征在上下兩幀中不連續(xù)，出現(xiàn)了單個跟蹤點的漂移。由于采用多塊跟蹤，算法排除了異常點的干擾，通過選取大多數(shù)運動趨勢相近的塊依舊可以準(zhǔn)確地跟蹤目標(biāo)。
2.2抗光照改變能力實驗
由圖6可以看出，光照改變情況下，分塊跟蹤算法能夠穩(wěn)定跟蹤目標(biāo)，跟蹤效果良好。
2.3抗圖像旋轉(zhuǎn)能力
圖7的鏡頭發(fā)生旋轉(zhuǎn)并伴隨目標(biāo)尺度縮放，在這種情況下，分塊跟蹤算法跟蹤表現(xiàn)良好，能夠適應(yīng)復(fù)雜環(huán)境。
2.4 與LK算法比較實驗
LK算法和本文算法一樣，均針對圖像灰度分布進(jìn)行計算，是一種非常經(jīng)典的跟蹤方法。通過比較可以發(fā)現(xiàn)，LK算法雖然精度高、定位能力強，但由于其對光照的敏感以及非幾何變換能力弱，本文算法在光照改變的情況下適應(yīng)性優(yōu)于LK算法，如圖8所示。
2.5 與原STC算法比較實驗
采用STC算法中的視頻幀進(jìn)行對比實驗，說明目標(biāo)運動造成的尺度改變對跟蹤結(jié)果的影響。由圖9可以看出，兩算法均可對目標(biāo)進(jìn)行實時跟蹤，跟蹤效果都很好。從跟蹤框的選取來看，本文算法對人臉的包絡(luò)更貼合，對目標(biāo)的尺度變化更敏感，尺度處理效果更好。
3結(jié)論
本文提出一種分塊目標(biāo)跟蹤方法。實驗表明，該算法對于目標(biāo)跟蹤有著良好的效果，達(dá)到了實時跟蹤，能夠充分利用圖像的STC信息判斷目標(biāo)位置，能夠抗遮擋、抗光照改變以及尺度變化。通過與LK算法和原STC算法對比，證明了本文算法在抗光照變化能力、抗遮擋能力以及抗尺度變化能力的優(yōu)越性。
下一篇:返回列表
