相關(guān)鏈接: 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
論文導(dǎo)讀::它試圖對包含人的視頻序列進行運動檢測并進行目標(biāo)分類。運動人體跟蹤。行為理解與描述。
論文關(guān)鍵詞:視覺分析,運動檢測,運動人體跟蹤,行為理解與描述
1 引 言
近年來,隨著計算機視覺和圖像處理技術(shù)的發(fā)展,由于其廣泛的應(yīng)用前景,運動人體行為分析吸引了廣泛的關(guān)注。運動人體行為分析是一個跨學(xué)科的研究課題,主要研究內(nèi)容涉及計算機視覺、圖像處理、模式識別、人工智能、計算機圖形學(xué)等多學(xué)科領(lǐng)域。它試圖對包含人的視頻序列進行運動檢測并進行目標(biāo)分類,提取出運動人體的輪廓,然后對檢測到的人體進行跟蹤,最后分析數(shù)據(jù)對運動人體行為進行理解及語義描述。對視頻序列中的運動人體行為的分析是一項非常具有挑戰(zhàn)性的課題,研究過程中會遇到許多的問題。難以選擇一個能準(zhǔn)確表示真實的人體的模型、人體的非剛性運動,人體的自遮擋和互遮擋等都會給人體行為分析研究帶來很大的挑戰(zhàn)[1]。
2 研究流程
運動人體行為識別是對視頻序列進行處理行為理解與描述,涉及到運動檢測、目標(biāo)分類、運動人體跟蹤、行為理解與描述這幾項研究流程。
其中,運動檢測、目標(biāo)分類、運動人體跟蹤屬于底層視覺模塊(low-level vision),而行為理解與描述則屬于高層視覺模塊(high-level vision)。
2.1 運動檢測
運動檢測的目的是在視頻序列中將運動的人體區(qū)域從復(fù)雜的背景中提取出來。視頻序列中的運動目標(biāo)檢測是運動人體行為分析系統(tǒng)中基礎(chǔ)而又關(guān)鍵的環(huán)節(jié),后續(xù)的目標(biāo)分類、運動人體跟蹤、行為理解與描述等環(huán)節(jié)極大地依賴于運動檢測的結(jié)果.后續(xù)的幾個研究流程是基于檢測出來的運動人體區(qū)域進行分析[2]。然而,由于光照變化、陰影等背景圖像動態(tài)變化的存在,給運動檢測帶來了一定的困難。目前主要用到的運動檢測方法包括背景減除法、時間差分法、光流法。
1)背景減除法
背景減除法是運動目標(biāo)分割中廣泛使用的一種方法,特別是當(dāng)背景是相對靜止的情況下論文下載。它是利用當(dāng)前幀和背景幀進行差分并閾值化來檢測出運動物體,它能得到運動物體很全面的特征數(shù)據(jù),但卻對由于光線和其他無關(guān)事件影響的動態(tài)場景變化非常敏感。近來,有很多文獻闡述了很多不同的背景減除方法,來盡量減少場景動態(tài)變化對運動目標(biāo)分割的影響。這些方法主要是背景模型的類型和背景模型更新的方法不同。最簡單的背景模型是時間平均圖像,它是當(dāng)前靜止場景的近似。將最后N幀的中值作為背景模型,該算法在一定程度上能夠適應(yīng)光照變化帶來的影響。Haritaoglu等[3]利用最小、最大強度值和最大時間差分值為場景中每個像素進行統(tǒng)計建模,并且進行周期性的背景更新;McKenna等[4]利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來解決影子和不可靠色彩線索對于分割的影響;Karmann與Brandt[5]、 Kilger[6]采用基于卡爾曼濾波(Karmanfiltering)的自適應(yīng)背景模型以適應(yīng)天氣和光照的時間變化;Stauffer與Grimson[7]利用自適應(yīng)的混合高斯背景模型(即對每個像素利用混合高斯分布建模),并且利用在線估計來更新模型,從而可靠地處理了光照變化、背景混亂運動的干擾等影響。
2)時間差分法
時間差分方法是在連續(xù)的圖像序列中兩個或三個相鄰幀間采用基于像素的時間差分并閾值化來提取圖像中的前景區(qū)域的方法。
3)光流法
光流方法采用了運動目標(biāo)隨時間變化的光流特性。例如Meyer等【8】通過計算位移向量光流場來初始化基于輪廓的跟蹤算法。該方法的優(yōu)點是在攝像機運動存在的前提下也能檢測出獨立的運動目標(biāo)。然而,大多數(shù)的光流計算方法相當(dāng)復(fù)雜,且抗噪性能差,如果沒有特別的硬件裝置則不能被應(yīng)用于全幀視頻流的實時處理。
當(dāng)然,在運動變化檢測中還有一些其它的方法,如Friedman與Russell[9]利用擴展的EM(Expectation Maximization)算法行為理解與描述,為每個像素建立了混合高斯分類模型,該模型可以自動更新,并能自適應(yīng)地將每個像素分類為背景、影子或者運動前景,在目標(biāo)運動速度緩慢的情況下亦能較好地完成運動區(qū)域的分割,同時可以有效地消除影子的影響;Toyama等[10]人國使用wiener濾波器對背景進行建模,在像素級運算的同時,考慮了區(qū)域與區(qū)域以及幀與幀之間的關(guān)系。該算法可以很好的提取運動緩慢的目標(biāo)。
2.2目標(biāo)分類
不同的運動區(qū)域可能對應(yīng)于不同的運動目標(biāo)。目標(biāo)分類是運動人體分析的必要過程,它可以將其他運動物體與運動人體區(qū)分開。一般來說,目標(biāo)分類的方法可以分為兩種:
1)基于形狀信息的分類方法
基于形狀信息的分類方法首先描述運動區(qū)域的形狀信息,例如點、框、塊等.它通常被認為是一個標(biāo)準(zhǔn)的模式識別的問題。例如Lipton等[11]利用分散度和面積信息對二維運動區(qū)域進行分類,主要是區(qū)分人、車及混亂擾動,時間一致性約束使其分類更加準(zhǔn)確。Kuno與 Watanabe[12]使用簡單的人體輪廓模式的形狀參數(shù)從圖像中檢測運動的人。然而,由于(人體)彎腰等關(guān)節(jié)性運動以及觀察視角不同導(dǎo)致人體形狀不同,使得利用基于形狀信息的分類方法精確地將運動人體與其他運動物體區(qū)分開變得很困難。
2) 基于運動特性的分類方法
基于運動特性的分類方法利用非剛性的人體運動的周期性區(qū)分運動人體與其他運動物體。例如,基于時間頻率的自相關(guān)特性技術(shù)被用于檢測和分析周期性的運動[13]。
此外,上述兩種方法經(jīng)常被結(jié)合使用,設(shè)計出一個更為可靠的、視角無關(guān)的目標(biāo)分類方法。實驗結(jié)果顯示了混合分類方法對于單獨的基于運動特性或者形狀信息分類方法的巨大優(yōu)越性。多特征混合正逐漸成為現(xiàn)實場景中實現(xiàn)精確目標(biāo)分類的重要方法[14]。
2.3運動人體跟蹤
運動人體跟蹤就是確定運動人體在每一幀中的位置,從而得到運動人體的時序運動軌跡論文下載。運動人體跟蹤是一項很復(fù)雜的工作,主要原因在于:運動人體的非剛性運動;噪聲干擾;運動過程中人體的互遮擋與自遮擋;三維空間向二維圖像空間投影過程丟失部分信息等。常用的數(shù)學(xué)工具有:卡爾曼濾波器,粒子濾波器以及貝葉斯網(wǎng)絡(luò)?柭鼮V波器常用于線性運動,且狀態(tài)參數(shù)的概率分布為單模高斯分布;粒子濾波器是針對非線性運動多模非高斯分布的情況.CONDENSATION算法是一種典型的粒子濾波器。以因子抽樣為基礎(chǔ)的條件密度傳播方法結(jié)合可學(xué)習(xí)的動態(tài)模型可完成魯棒的運動跟蹤。按照跟蹤所使用方法行為理解與描述,有很多不同的分類標(biāo)準(zhǔn)[15]:
l二維方法與三維方法
l有模型指導(dǎo)的方法與無模型指導(dǎo)的方法
l傳感器的模式(可見光,紅外光,深度數(shù)據(jù)等)
l傳感器的個數(shù)
l姿勢估計方法與跟蹤方法
l單個人的跟蹤與多個人的跟蹤
l運動類型(剛體運動。多關(guān)節(jié)運動和彈性運動)
我們可以把運動跟蹤過程分為三個階段:初始化、特征提取和跟蹤[15]。第一個階段,初始化是確定人在圖像中的位置,對于基于模型的方法,這個過程還包括出示的模型初始的模型參數(shù)估計以及采用什么方法來表示人體模型兩個問題。在第二個階段,特征提取是從圖像上提取感興趣的特征。進行運動人體跟蹤時,最常見的特征就是外輪廓、邊界、灰度、顏色等特征。第三個階段是跟蹤,即在時間序列上反復(fù)地確定圖像中人的位置,甚至是在每一時刻都要估計出表示人體模型的參數(shù),得到一個在時間序列上的人體運動描述。
2.4行為理解與描述
人體行為識別與理解是指對人的行為模式進行分析和識別,并用自然語言等加以描述。人體運動(Movement)可以分為三大類:運動(Movement),活動(Activity)和行為(Action)[16].運動是形成復(fù)雜和高級運動的基礎(chǔ);顒拥臅r間跨度更長,它反映了運動的目的。行為則是更高級別的運動,它反映了更大時間跨度的運動變化,也反映了人與人之間,人與環(huán)境及其他目標(biāo)之間的關(guān)系。從識別人體的運動,比如彎腰,跳躍等,到理解人體的行為并能夠進行語義的描述是漸進而復(fù)雜的過程。
人體行為識別可視為時序數(shù)據(jù)的分類問題,即將測試序列與預(yù)先標(biāo)注的代表典型行為的參考序列進行匹配。目前的方法主要被分為兩大類:
1)基于統(tǒng)計模型的方法(methods based on statistical model)
基于統(tǒng)計模型的方法是根據(jù)一定量的樣本數(shù)據(jù)學(xué)習(xí)產(chǎn)生一個統(tǒng)計模型行為理解與描述,基于模型進行行為匹配。最具代表性的統(tǒng)計模型是隱馬爾可夫模型(Hidden Markov Model)。其余還有條件隨機場(conditional random field)、最大熵馬爾可夫模型(maximum entropy Markov Model)以及動態(tài)貝葉斯網(wǎng)絡(luò)(DynamicBayesian Network)[17]等。
2)基于模板的方法(template-based methods)
基于模板的方法的基本思想是首先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式,然后在識別過程中和預(yù)先存儲的行為標(biāo)本相比較。主要的方法有:模板匹配(template matching),動態(tài)規(guī)劃(dynamic programming)以及動態(tài)時間規(guī)整(dynamic time warping)[18].
人體行為的語義描述是經(jīng)過對運動人體的連續(xù)跟蹤觀察,對運動人體的運動模式進行分析和識別,判斷該行為是否屬于異常行為,并利用自然語言進行描述。盡管可以用很多的行為識別方法識別比較復(fù)雜的動作,但是由于視頻中人體運動模式的理解和描述非常復(fù)雜,不僅需要識別和理解視覺輸入,還需要場景中相關(guān)知識和背景信息,因此以一種有效的方式傳達場景信息,用自然語言描述運動人體行為以進行行為分析是很困難的。目前人的行為描述還只局限于簡單的語義解釋,如Remagnino等[18]提出了一個基于視頻對象行為的視覺監(jiān)控系統(tǒng),該系統(tǒng)提供了三維場景中對象動態(tài)活動的文字性描述。
上一篇:在高校開展五人制足球勢在必行略談