光電成像信息處理仿真與評估系統(tǒng)設(shè)計(jì)
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
王飛 楊磊 朱士祥 史彩成
（1．中國人民解放軍93408部隊(duì)，河北承德068250；
2．北京理工大學(xué)生命學(xué)院，北京100081）
摘要：為驗(yàn)證光電成像器件性能及其成像處理算法在不同場景下的有效性，設(shè)計(jì)了一種以主控計(jì)算機(jī)為控制中心，F(xiàn)PGA +DSP+DSP為核心處理器的圖像處理仿真與評估系統(tǒng)。系統(tǒng)可實(shí)時(shí)采集視頻圖像，或利用預(yù)先存儲(chǔ)的仿真測試視頻數(shù)據(jù)，對不同的處理算法進(jìn)行考核，評估算法性能。系統(tǒng)內(nèi)部集成了多種圖像檢測識(shí)別算法，能夠?qū)D像特征進(jìn)行計(jì)算提取。系統(tǒng)具有回放功能，中間處理結(jié)果均具有可視性，方便對比處理效果。測試實(shí)驗(yàn)證明了該系統(tǒng)滿足實(shí)時(shí)性要求，已成功運(yùn)用于工程實(shí)踐中。
關(guān)鍵詞：光電成像；圖像處理；FPGA；DSP
O 引言
光電成像是利用雷達(dá)、紅外及可見光等光電傳感器通過光電變換獲取目標(biāo)圖像的技術(shù)。由于其能夠提供豐富的目標(biāo)和背景信息，具有分辨率高、隱蔽性好、抗干擾能力強(qiáng)等特點(diǎn)，廣泛應(yīng)用于光電制導(dǎo)、光學(xué)偵察等武器裝備中，在現(xiàn)代戰(zhàn)爭中起到越來越重要的作用。隨著光電技術(shù)的發(fā)展，其應(yīng)用環(huán)境日益復(fù)雜，目標(biāo)類型呈現(xiàn)多樣化，各種光電防御及干擾技術(shù)也層出不窮，給光電目標(biāo)檢測帶來新的挑戰(zhàn)。如何在復(fù)雜背景及干擾條件下精確檢測目標(biāo)，成為評價(jià)光電裝備性能的重要因素，它不僅依賴于成像器件的性能，還取決于后續(xù)圖像處理算法的選擇。
目前，對光電設(shè)備的考核評估主要依靠實(shí)物驗(yàn)證或靶試檢驗(yàn)實(shí)行，需要較長的周期并投入大量人力、財(cái)力，且難以針對各種復(fù)雜環(huán)境做出全面檢測。而采用仿真設(shè)備考核裝備性能，可以降低實(shí)驗(yàn)耗費(fèi)，縮短研制周期，通過加入不同場景圖像，全面評估成像設(shè)備性能�，F(xiàn)有的仿真評估系統(tǒng)，一般為針對某特定型號(hào)裝備而研制，多側(cè)重于目標(biāo)系統(tǒng)的仿真，具有一定局限性。綜合國內(nèi)外該系統(tǒng)的發(fā)展，主要有以下特點(diǎn)1-2：
1)發(fā)展更為逼真的目標(biāo)仿真系統(tǒng)，利用虛擬技術(shù)完成多類型目標(biāo)全頻段仿真；
2)建立完善的背景、目標(biāo)、大氣環(huán)境和設(shè)備的數(shù)字模型，實(shí)現(xiàn)全數(shù)字仿真； 3)適應(yīng)成像器件的發(fā)展，采用更加快速的實(shí)時(shí)處理系統(tǒng)及更高效的圖像處理算法；
4)信息獲取向多傳感器信息融合方向發(fā)展。
1 系統(tǒng)設(shè)計(jì)方案
基于前述考慮，本文設(shè)計(jì)一個(gè)半實(shí)物仿真系統(tǒng)，系統(tǒng)由主控計(jì)算機(jī)、圖像實(shí)時(shí)處理系統(tǒng)組成。主要功能為通過實(shí)時(shí)或事后方式完成光電圖像的采集、預(yù)處理，檢測與識(shí)別，可考核成像器件及圖像處理算法的性能，評估成像系統(tǒng)對硬件資源的需求，并可模擬生成視頻數(shù)據(jù)，具有數(shù)據(jù)存儲(chǔ)和回放功能。
系統(tǒng)通過上位機(jī)控制兩路圖像采集輸入、預(yù)處理、檢測識(shí)別及顯示，對不同成像器件的采集圖像進(jìn)行直觀比較，對不同算法進(jìn)行評估驗(yàn)證。鑒于系統(tǒng)實(shí)現(xiàn)功能較多，圖像處理算法復(fù)雜、計(jì)算量大，并且是兩路獨(dú)立并行運(yùn)行，本文采用FPGA+ DSP+ DSP結(jié)構(gòu)。主處理器DSP實(shí)現(xiàn)結(jié)構(gòu)復(fù)雜的圖像處理功能。協(xié)處理器FPCA實(shí)現(xiàn)圖像采集控制、圖像預(yù)處理、視頻信號(hào)合成、底層通訊協(xié)議生成等時(shí)序邏輯控制較多、對處理速度要求高但結(jié)構(gòu)簡單的功能。
實(shí)時(shí)工作方式下，系統(tǒng)輸入可在兩路模擬視頻信號(hào)、兩路數(shù)字圖像數(shù)據(jù)共4路中任選2路進(jìn)行處理及顯示。事后工作方式下，能夠?qū)ι衔粰C(jī)下傳的圖像進(jìn)行處理。圖像處理模式，數(shù)據(jù)輸入通道均可任意切換，以便進(jìn)行不同圖像、不同處理方法的對比。系統(tǒng)組成如圖1所示。
2關(guān)鍵模塊設(shè)計(jì)
本系統(tǒng)選擇容量充足、性價(jià)比高的FPGA芯片VC4VFX60-10FF6721作為時(shí)序及數(shù)據(jù)交換控制芯片，具有352個(gè)10，4176 kbit的塊RAM，41 904個(gè)邏輯單元，用于并行處理大量耗時(shí)的乘加運(yùn)算，實(shí)現(xiàn)復(fù)雜的時(shí)鐘管理，能夠滿足系統(tǒng)要求且有較大的冗余量，可以進(jìn)一步擴(kuò)展新功能。采用兩片TI公司的TMS320C6416為主處理器，具有1000 MHz時(shí)鐘頻率及4800 MI/s最高處理能力，豐富的外設(shè)和并行處理能力，性能優(yōu)越，成本較低，能夠滿足本設(shè)計(jì)的要求。
2.1視頻采集電路設(shè)計(jì)
由成像器件輸入的視頻信號(hào)經(jīng)過電纜傳輸及電路的交流耦合后，丟失了信號(hào)的直流分量，為了保證采集的圖像不失真，必須將輸入視頻信號(hào)的直流電平恢復(fù)并箝位到原始圖像的電平，因此輸入的視頻信號(hào)要經(jīng)過去直流、直流恢復(fù)和放大使得輸入的視頻信號(hào)損失最小。本系統(tǒng)采用Elantec公司高性能單片視頻“直流恢復(fù)”與“箝位”芯片F(xiàn)LA390。信號(hào)經(jīng)放大后輸入AD進(jìn)行采樣。采用同步分離芯片EL4583進(jìn)行行、場等同步信號(hào)的分離，由FPGA根據(jù)同步信號(hào)產(chǎn)生控制信號(hào)和采樣時(shí)鐘給12位低功耗A/D芯片AD9224，保證每視頻行間的采樣有相同的相位關(guān)系，完成視頻采集輸入。電路結(jié)構(gòu)如圖2所示。
2.2數(shù)字圖像接收電路
數(shù)字圖像接收發(fā)送采用上升沿鎖定的LVDS芯片DS90LVDS215/216，具有低功耗、高速率的優(yōu)良特性。數(shù)據(jù)位為21位，其中12位可以用作圖像數(shù)據(jù)傳輸，其余位可用于同步信號(hào)及標(biāo)志位的傳輸�？刂茣r(shí)序簡單，控制信號(hào)較少。FPGA只需根據(jù)不同時(shí)序，配置不同數(shù)據(jù)，具有很大靈活性。
2.3 FPGA模塊設(shè)計(jì)
FPGA主要完成時(shí)序及數(shù)據(jù)交換控制。包含圖像采集、傳輸、預(yù)處理，下傳圖像數(shù)據(jù)的接收，視頻輸出、疊加，通訊接收、解析、發(fā)送及伺服數(shù)據(jù)的接收與轉(zhuǎn)換等模塊。
圖像采集部分利用輸入同步信號(hào)來同步采集時(shí)鐘，即利用FPGA生成的基準(zhǔn)時(shí)鐘進(jìn)行計(jì)數(shù)，用場同步信號(hào)進(jìn)行異步清零，通過多次異步清零來調(diào)整兩者的相位關(guān)系。FPGA根據(jù)輸入的行、場、奇偶等同步信號(hào)，產(chǎn)生采樣時(shí)鐘送至AD。在場有效期問，每一個(gè)行同步信號(hào)的上升沿開始行計(jì)數(shù)。根據(jù)ODD/EVEN信號(hào)決定計(jì)數(shù)的起始值，可根據(jù)系統(tǒng)要求取中問有效行數(shù)作為本系統(tǒng)處理部分。在每一行有效期問，以采集時(shí)鐘進(jìn)行計(jì)數(shù)，采集數(shù)據(jù)采取乒乓方式輸入FPGA內(nèi)部生成的兩個(gè)雙口RAM中。當(dāng)一個(gè)RAM處于寫狀態(tài)時(shí)，一個(gè)處于讀狀態(tài)，以滿足實(shí)時(shí)性要求。
圖像預(yù)處理模塊主要包括圖像的濾波、校正等，算法結(jié)構(gòu)簡單但運(yùn)算量大，對速度要求高，適合FPGA處理。在濾波運(yùn)算中一般會(huì)用到卷積運(yùn)算，需對圖像進(jìn)行窗口處理。在FPCA中，可利用內(nèi)部FIFO生成窗口，F(xiàn)IFO深度為一行數(shù)據(jù)，之后進(jìn)行處理。系統(tǒng)中所用3 x3窗口如圖3所示。
FPGA與DSP之間的數(shù)據(jù)傳輸通過DSP的外部存儲(chǔ)器接口EMIFA口進(jìn)行，將FPGA內(nèi)部存儲(chǔ)空間映射到DSP的CEO，CEI存儲(chǔ)空間。分別用于接收預(yù)處理后的視頻采集數(shù)據(jù)、DSP下傳的回灌數(shù)據(jù)以及控制指令的接收和發(fā)送，實(shí)現(xiàn)DSP與FPGA的高速數(shù)據(jù)傳輸。利用FPGA內(nèi)部IPcore生成雙口RAM來緩存數(shù)據(jù)�？梢员苊庠偻饨哟鎯�(chǔ)器，降低了成本，減少了系統(tǒng)面積。圖像上傳采用中斷方式，將每場圖像分8次上傳。當(dāng)采集數(shù)據(jù)存滿RAM時(shí)，向DSP發(fā)送中斷，DSP響應(yīng)中斷，通過QDMA傳輸實(shí)現(xiàn)數(shù)據(jù)搬移，其硬件接口如圖4所示。
經(jīng)過處理后的圖像數(shù)據(jù)或回灌數(shù)據(jù)，相對于原始圖像有一定延時(shí)。直接采用分離出的同步信號(hào)進(jìn)行顯示會(huì)造成時(shí)序錯(cuò)亂，因此需要進(jìn)行視頻合成，生成標(biāo)準(zhǔn)視頻信號(hào)進(jìn)行顯示。本系統(tǒng)由FPGA內(nèi)部時(shí)鐘計(jì)數(shù)生成行、場同步信號(hào)及消隱信號(hào)、跟蹤框并進(jìn)行視頻合成，其結(jié)構(gòu)圖及時(shí)序仿真結(jié)果如圖5、圖6所示。
RS-422模塊采用串行通信協(xié)議，空閑時(shí)，數(shù)據(jù)線上一直為“1”，開始發(fā)數(shù)據(jù)時(shí)，先發(fā)一位起始位“0”，接著將并行數(shù)據(jù)按低位先出的方式連續(xù)串行發(fā)出，最后再發(fā)一位結(jié)束位“1”。采用狀態(tài)機(jī)進(jìn)行收發(fā)，其發(fā)送仿真時(shí)序如圖7所示。
2.4 DSP模塊設(shè)計(jì)
DSP完成FPGA上傳圖像的分割、檢測識(shí)別、特征提取，并上傳給上位機(jī)進(jìn)行顯示；接收上位機(jī)下傳的回灌圖像數(shù)據(jù)，送往FPGA；根據(jù)計(jì)算得到的目標(biāo)信息，將圖像處理結(jié)果及跟蹤信息送至FPGA及上位機(jī)；接收RS422命令，并將發(fā)送命令下傳給FPGA。上電復(fù)位后，DSP從FJJASH中加載程序，并進(jìn)行初始化，等待上位機(jī)下傳控制指令及FPCA上傳的中斷信號(hào)，進(jìn)入中斷處理程序。通過EDMA控制器實(shí)現(xiàn)與FPGA、上位機(jī)的數(shù)據(jù)交互。每個(gè)DSP負(fù)責(zé)一路圖像的處理。
中斷程序有行中斷和場中斷兩種。場中斷主要用于行計(jì)數(shù)清零，目標(biāo)的檢測識(shí)別跟蹤，接收上位機(jī)回灌數(shù)據(jù)等功能；行中斷主要用于接收FPGA送來的圖像數(shù)據(jù)，進(jìn)行圖像分割，向上位機(jī)上傳圖像數(shù)據(jù)等功能，收到上位機(jī)命令后，根據(jù)上位機(jī)的命令選擇相應(yīng)的工作方式。根據(jù)上位機(jī)的命令，DSP可以選擇不同的圖像進(jìn)行處理，圖像的濾波、檢測、跟蹤等都可以選擇不同的處理方法，也可多種方法同時(shí)使用。
2.5 PCI電路設(shè)計(jì)
實(shí)現(xiàn)PCI接口與主機(jī)直接互聯(lián)，直接采用DSP內(nèi)部集成33 M/32 bit的PCI接口控制器，不需額外的PCI控制芯片。圖像處理器通過內(nèi)部EDMA實(shí)現(xiàn)PCI與DSP接口的集成。
3 上位機(jī)軟件設(shè)計(jì)
上位機(jī)設(shè)計(jì)主要是為了完成人機(jī)接口、輸入信號(hào)源選擇、檢測、識(shí)別算法設(shè)置、算法性能測定等功能。主要由主控單元、兩路圖像顯示與控制單元3部分組成。
主控單元主要是用來控制整個(gè)系統(tǒng)應(yīng)用軟件的運(yùn)行、暫停和退出，設(shè)置圖像數(shù)據(jù)的分辨率，顯示DSP上傳的伺服信息，同時(shí)還能夠設(shè)置軟件的工作模式，實(shí)現(xiàn)整個(gè)系統(tǒng)的自檢功能。圖像選擇與控制單元主要用來控制圖像的顯示與存儲(chǔ)，設(shè)置目標(biāo)特征選取與濾波方式，接收并顯示DSP上傳的圖像目標(biāo)的跟蹤坐標(biāo)等。系統(tǒng)應(yīng)用軟件能夠控制操作界面實(shí)時(shí)顯示、采集、存儲(chǔ)與回灌圖像數(shù)據(jù)，接收并顯示DSP上傳的每一路目標(biāo)的跟蹤
坐標(biāo)，在目標(biāo)位置加上跟蹤框，設(shè)置軟件的工作模式，實(shí)現(xiàn)系統(tǒng)板卡的自檢功能。軟件流程如圖8所示。
4 實(shí)驗(yàn)結(jié)果及結(jié)論
系統(tǒng)集成了圖像處理算法庫，能夠?qū)δ繕?biāo)的面積、灰度、質(zhì)心、方差等特征進(jìn)行計(jì)算，并可以對運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤，產(chǎn)生伺服數(shù)據(jù)。算法調(diào)試及中間結(jié)果都具有可視性。利用該系統(tǒng)可以通過外接光電成像儀或從圖像數(shù)據(jù)庫中選取不同場景的圖像進(jìn)行處理，比較各算法性能，評估算法對軟、硬件的資源要求，對算法處理效果進(jìn)行記錄并回放，具有良好的靈活性及擴(kuò)展性，亦可進(jìn)行新算法的開發(fā)。
運(yùn)用本系統(tǒng)對海背景下艦船目標(biāo)進(jìn)行檢測識(shí)別，輸入圖像大小為320×240．幀頻為25/s，其中，自適應(yīng)閾值分割與OTSU分割圖像的效果對比如圖9所示。對目標(biāo)檢測識(shí)別時(shí)間均在40 ms以內(nèi)，滿足了實(shí)時(shí)性要求。目前已成功運(yùn)用于某艦載武器系統(tǒng)紅外干擾背景下，真、假目標(biāo)模式識(shí)別算法對比研究實(shí)驗(yàn)中，為光電成像導(dǎo)引頭抗干擾性能的研究與驗(yàn)證提供了理論幫助和技術(shù)支持。系統(tǒng)具有良好的靈活性與擴(kuò)展性，亦可作為通用圖像實(shí)時(shí)處理平臺(tái)，完成視頻數(shù)據(jù)的處理。
