FPGA圖像處理系統(tǒng)在棉種分選中的應(yīng)用實現(xiàn)
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
（天津光學精密機械研究所，天津300384）
摘要：為滿足新疆脫絨棉種對外觀品質(zhì)如紅種、破碎棉種、開口棉種及癟籽異型的檢測分選要求，以FPCA為核心處理器構(gòu)建棉種圖像處理系統(tǒng)的硬件平臺。具體通過建立樣品圖像的HSV色彩空間模型，分析正常種、紅種在色相H、飽和度S特征量的差異，以及破碎粒、開口粒在色度H的差異。同時建立面積一外圍周長比因子及相應(yīng)的不合格品分離度量參數(shù)，進一步通過閾值分割算法實現(xiàn)對異色、破碎、開口物料的判定。試驗結(jié)果表明，該方法對棉種中的不合格品識別率達99%，為進一步完善種子類外觀品質(zhì)檢測提供了理論依據(jù)。
0引言
優(yōu)質(zhì)棉種是先進技術(shù)的載體，是新疆生產(chǎn)建設(shè)兵團推廣精量播種技術(shù)和發(fā)展精準農(nóng)業(yè)的基礎(chǔ)。近年來，新疆棉種的成熟度明顯降低，發(fā)芽率較低，外觀呈紅褐色的脫絨棉種（紅種）所占的比例增大，而棉種在加工過程中經(jīng)過軋花機、剝絨機、離心滾筒、提升機、拋光機等工序，造成了棉種的大量破損。紅種和破碎棉種將嚴重影響棉種的質(zhì)量，明顯降低棉種的發(fā)芽率，阻礙了精量播種技術(shù)的發(fā)展。而由于紅種顏色差異作為一個分選的定性指標，人工評判很難達到統(tǒng)一的評判原則。目前市場上主流的棉種色選機分選精度較低，尤其對破裂、裂口的識別分選效果有限。本文針對原料中紅種、破碎、去皮、裂口等的加工分選需求，建立基于FPGA硬件平臺的嵌入式高速圖像處理平臺，完成HSV彩色空間模型的搭建，并利用對色相、飽和度、亮度分量的具體分析，實現(xiàn)對紅種、碎種、開口粒的圖像判定，為進一步提高棉種精選設(shè)備的外觀品質(zhì)檢測提供了理論依據(jù)。
1 系統(tǒng)檢測方案及原理
棉種分選系統(tǒng)利用光電原理，采用高速線陣CCD相機把高速流動的物料信息轉(zhuǎn)換成RGB彩色圖片數(shù)據(jù)信息，并利用FPGA圖像處理平臺，通過實時分析瑕疵產(chǎn)品與正常產(chǎn)品表現(xiàn)出的特征數(shù)據(jù)差異確定剔除規(guī)則，實現(xiàn)對不合格品的分選。以新疆棉種為例，不合格品與合格品差異分為顏色差異與形狀差異兩類。顏色差異主要體現(xiàn)在針對不成熟紅種的特征識別上，利用紅種與正常種對光線吸收與反射強度的不同，采用CCD光電傳感器將光信號轉(zhuǎn)換成電信號，并傳送到圖像處理系統(tǒng)，通過數(shù)字信號處理系統(tǒng)實現(xiàn)異色判定分析。形狀差異缺陷主要針對破碎、開口等不正常形狀，由于這些表面缺陷都表現(xiàn)為棉種表面存在較亮的區(qū)域，因此在算法分析上與異色識別具有一定的互通性。處理平臺針對彩色線陣CCD數(shù)據(jù)格式的RGB空間分量對顏色描述不符合人們對顏色感受的特點，以及每個分量的特征與物料外部信息的相關(guān)性，提出了建立物料的HSV色選空間模型。通過對棉種圖像在HSV空間向量特性的分析，采用色相H、飽和度S作為種子顏色判定的特征向量，實現(xiàn)紅種的判定。而對形狀缺陷包括破碎、開口等不正常形狀，采用色相H作為輸入向量，通過利用閾值分析及面積一周長比作為特征量分析，實現(xiàn)判定規(guī)則。
2硬件平臺
測試系統(tǒng)相機采用東芝CCD彩色線陣相機，其核心感光芯片為TCD2566，5340×4像素，支持高達40 MHz的像素時鐘，采樣行頻10.5 kHz，光源采用白光LED，色溫5 000 K，聚光設(shè)計，物料檢測線照度超過20 000 lux．雙面檢測。測試樣品為新陸早32號，原料中異色率10% N15%，破碎及開口率5%~10%。通過CAMLINK電纜將FPGA圖像處理平臺與采樣相機連
接，實現(xiàn)RGB彩色成像數(shù)據(jù)及控制指令的傳輸。因此，硬件設(shè)計處理平臺包括Camera link接口模塊、SRAM外部數(shù)據(jù)緩存模塊、FPGA核心處理模塊以及執(zhí)行和通信接口控制單元等。Camera link通信接口采用LVDS差分傳輸保證圖像數(shù)據(jù)傳輸?shù)膸捈胺�(wěn)定性，SRAM外部數(shù)據(jù)緩存模塊采用乒乓存儲機制解決嵌入式圖像的采集及存儲問題，F(xiàn)PGA核心處理模塊采用硬件處理算法架構(gòu)，實現(xiàn)物料特征信號的分析及控制操作。FPGA圖像處理系統(tǒng)硬件架構(gòu)實現(xiàn)框圖如圖1所示。
Camera Link信號包括圖像數(shù)據(jù)信號、相機控制信號及異步串行通信信號3部分。圖像數(shù)據(jù)信號由24位彩色圖像數(shù)據(jù)和4位圖像數(shù)據(jù)同步信號組成，利用28位Channel Link芯片DS90CR286實現(xiàn)，F(xiàn)PGA通過其端口的28位數(shù)據(jù)信號和l位時鐘信號實現(xiàn)線陣相機圖像的采集。
相機控制信號包含4路LVDS信號，由DS90LV031實現(xiàn)FPGA控制指令對相機的操作。異步串行通信信號用于相機和FPGA圖像處理平臺的串行通信，由DS90LV049實現(xiàn)。Camera Link原理如圖2所示。
SRAM外部數(shù)據(jù)緩存模塊作為圖像數(shù)據(jù)輸入和輸出的高速緩存，系統(tǒng)采用兩片ZBT SRAM進行乒乓數(shù)據(jù)采集。ZBT SRAM為系統(tǒng)提供最大的吞吐量及系統(tǒng)帶寬，不存在總線延遲，利用FPGA內(nèi)部時鐘管理模塊產(chǎn)生控制時鐘。具體操作為：當FPCA接收到CAMLINK圖像數(shù)據(jù)時，將該數(shù)據(jù)根據(jù)FPGA內(nèi)部地址控制器存儲于外部SRAM1中，待指定行數(shù)接收完畢后，向FPGA處理單元傳送。同時，把后續(xù)行數(shù)據(jù)暫存于SRAM2中，等待后續(xù)行數(shù)接收完成發(fā)送到處理單元，依次循環(huán)。測試用CCD相機像素5 340 x3，單通道行頻達到10.5 kHz，數(shù)據(jù)通量1.2 GB/s，ZBT SRAM在250 MHz的操作頻率下，最大數(shù)據(jù)流通量可達4.5 GB/s，足夠滿足系統(tǒng)數(shù)據(jù)存取速度需求。
FPGA核心處理模塊控制芯片采用EP4CE30F23C6N，片上資源包括594 kB片上SRAM，28 848個邏輯單元，1 803個LABS，時鐘處理頻率可達200 MHz。FPGA作為主控制器實現(xiàn)數(shù)據(jù)處理平臺與相機的數(shù)據(jù)傳輸、控制及通信等任務(wù)；將Camera link接口傳來的圖像數(shù)據(jù)采用乒乓操作的方式，暫存于外部SRAM中，在預(yù)定的時間將數(shù)據(jù)輸入到圖像處理單元；由圖像處理單元通過對采樣數(shù)據(jù)的HSV空間轉(zhuǎn)換、閥值分割等算法實現(xiàn)物料外部特征的判定，并發(fā)出控制指令控制相應(yīng)的執(zhí)行機構(gòu)剔除動作。
3軟件平臺
FPGA圖像處理平臺的基本功能包括CCD相機圖像數(shù)據(jù)的讀取、相機控制，圖像數(shù)據(jù)的高速緩存，圖像空間的轉(zhuǎn)換，特征提取，閾值分割及剔除指令的控制等。棉種圖像信號的處理流程如圖3所示。
系統(tǒng)處理平臺啟動CCD檢測相機工作后，首先采用乒乓操作對CCD視頻數(shù)據(jù)進行高速讀取緩存；然后對進入處理通道的數(shù)據(jù)進行預(yù)處理濾除背景及雜散波；下一步對RGB格式數(shù)據(jù)進行HSV空間轉(zhuǎn)換，在HSV彩色空間下，利用H、S分量建立顏色特征向量模型，實現(xiàn)原料中紅種的識別；同時利用H分量二值化分析實現(xiàn)特征區(qū)域面積、周長的提取，利用預(yù)先建立的形狀模型庫實現(xiàn)破碎、開口、癟籽等異形的提��；最后將特征向量綜合到執(zhí)行控制器完成不合格品的剔除控制。
3.1顏色特征信息提取
由于彩色線陣CCD輸出紅色R、綠色G、藍色B分量間的不獨立性，使得在進行圖像處理時會造成各個屬性間的串擾，影響分選結(jié)果；HSV空間模型基于視覺原理建立，能符合人們的視覺習慣。尤其針對色選系統(tǒng)的顏色判定中，色度屬性H能準確地反映顏色種類，對外界光照條件的變化靈敏程度低，對同一顏色屬性物體，具有較穩(wěn)定和較窄的數(shù)值變化范圍，且可同時借助飽和度S作為輔助判定條件，能很好地實現(xiàn)棉種分選系統(tǒng)中對不成熟紅種的識別。HSV顏色空間模型如圖4所示，為六棱錐體，其中色相H用圓錐中心軸角度表示，即所處光譜顏色的位置，范圍從0～360°，紅、綠、藍分別間隔120。，互補色分別相差180°，即紅色對應(yīng)角度0°，綠色對應(yīng)角度120°，藍色對應(yīng)角度240°；飽和度S用圓錐橫截面的圓心到該點距離表示；明度V用圓錐橫截面圓心到頂點的距離表示。RGB空間圖像到HSV顏色空間轉(zhuǎn)換公式如下。
式中：R，G，B分別為CCD相機輸出的RGB通道像素值；H∈(0°，360°)，是角度的色相角；S∈(0，1)為飽和度；V∈(0，1)為亮度；Cmax為亮度最大值；Cmin為亮度最小值。
本文對脫絨棉種部分樣品圖像在Matlab下進行了RGB到HSV的顏色空間轉(zhuǎn)化，并同時給出了RGB空間對應(yīng)的直立方圖及HSV空間對應(yīng)直立方圖進行對比，如圖5所示。由圖5可以明顯看出，HSV空間在色度及圖像分析上具有明顯優(yōu)勢。其中，橫坐標依次對應(yīng)灰度值及相關(guān)HSV值，縱坐標為相應(yīng)的計數(shù)值。從HSV轉(zhuǎn)換結(jié)果可以看出，正常棉種A與紅種B在色度H的區(qū)別比較明顯，因此可以將H作為主要特征向量，S作為輔助向量來實現(xiàn)物料中紅種的判別。
我們也可以在HSV空間通過形狀模型算法，實現(xiàn)破碎、裂口、掉皮等種子的判別。
由于在FPGA的硬件圖像處理平臺下，F(xiàn)PGA作為一個二進制數(shù)字系統(tǒng)使用角度計算存在不便性，因此，設(shè)計采用2的冪表示60。（如64）來簡化乘法運算�？紤]到用硬件語言完成HSV空間轉(zhuǎn)換，除必須通過差值計算得到H、S算式中的分子外，還需要用多路復(fù)用器來選擇分母中的最大最小量，而更重要的復(fù)雜度是用來歸一化色度和飽和度的兩個除法器。本文中我們直接調(diào)用ALTER自身提供的硬件除法器lP核來實現(xiàn)，以減少資源的損耗；在計算色度偏移量時，最大像素為紅色時，色輪被旋轉(zhuǎn)以使得0色度與品紅色對應(yīng)保存求模歸一化。因此，色度偏移量可按照如下公式計算：
經(jīng)過HSV顏色空間轉(zhuǎn)換后，下一步就需要對像素點的顏色進行判定，檢測目標像素是否符合次品顏色要求；本文采用基于HSV空間的閾值分割法實現(xiàn)顏色特征的判斷。假如有N個像素點：P1，P2，P3,…Pn分別代表出現(xiàn)的Ⅳ種顏色的各分量范圍，理想情況下，它們的交集為空。但在實際應(yīng)用中，由于相機成像質(zhì)量及物料下落中光照角度的變化，每種顏色的閾值往往不是一個定值，為避免誤判每個分量由兩個閾值Pa，Pi界定，位于閾值之間的值可判定為該顏色；在HSV模型中對應(yīng)的每個像素點使用6個閾值：Ha，Hi,Sa，Si，Va，Vi識別某種特征顏色設(shè)定閾值應(yīng)滿足：
滿足上述條件則判定為該顏色。而在系統(tǒng)具體實現(xiàn)中，我們僅選取H、S特征量足以實現(xiàn)顏色判定。
3.2形狀信息提取
破碎及裂口棉種最基本的特征體現(xiàn)在邊緣長度急劇的變化，而對應(yīng)面積變化甚小，尤其裂口棉種，在邊緣長度急劇增加的情況下，有效面積基本不變或反向減小。因此，在破碎、裂口棉種的檢測中，可采用特征區(qū)域的面積一周長平方比作為一特征參數(shù)定義為圓弧度。通過對實驗樣品中合格種子及開口種子的特征參數(shù)的提取，發(fā)現(xiàn)合格種子的圓弧度集中在0.72~0.78之間，破碎、開口棉種的圓弧度集中在0.5~0.6之間，存在明顯差異，因此可以作為一有效特征參數(shù)。在FPGA硬件處理平臺上，有效面積的計算可通過在HSV空間對H分量的背景分割閾值化后對像素個數(shù)的累加計算獲得，邊緣長度的獲取看似相對復(fù)雜。本文中，我們充分利用FPGA的并行性及流水線處理方法，利用線陣CCD行掃描優(yōu)勢，僅僅通過物料連通區(qū)域的判定，利用線陣CCD在單粒棉種行掃描斷點像素個數(shù)的判定計算獲得。線陣CCD行掃面模擬圖如圖6所示，左側(cè)為正常棉種，右側(cè)為裂口棉種。
邊緣長度計算公式如下：
式中：Si為單行掃描遇到連通區(qū)域斷點的次數(shù)。連通區(qū)域斷點的判定可以通過有效特征區(qū)域內(nèi)是否有N×Ⅳ個連續(xù)像素值為非物料像素值確定，可以簡化為閾值化后的脈沖個數(shù)計算。如圖6為行掃描對應(yīng)的完整種子與裂口種子模擬圖，其中白線部分表示裂口區(qū)。由于裂口處內(nèi)核的外露導(dǎo)致裂口處相對像素值會有明顯的梯度變化，因此我們利用種子邊緣及裂口處都同時存在像素值的梯度變化現(xiàn)象，將存在較大梯度變化的像素個數(shù)累加和作為圓弧度對應(yīng)的邊緣周長。
體現(xiàn)在硬件編程語言可以通過信號二值化后邊沿脈沖計數(shù)的方式實現(xiàn)，如：
其中，lim_c表示色度H信號閾值分割后的二值化信號；acle表示單粒棉種掃描完成后計數(shù)復(fù)位信號；C nt_l表示H信號二值化后脈沖邊沿計數(shù)器。
4結(jié)束語
本文針對棉種分選系統(tǒng)研究實現(xiàn)的嵌入式高速圖像硬實時處理平臺，充分利用FPCA并行分布式處理系統(tǒng)的高效性，在滿足物料從檢測到執(zhí)行的時間約束前提下，最小處理速率可控制在30粒／s，處理系統(tǒng)的算法分析將被檢測棉種的表面特征信息中區(qū)域內(nèi)部像素的色度特征（如顏色、飽和度等）、形狀特征（破碎、裂口等）作為一個多維特征向量，輸出一個二元檢測判定方案：接受或者拒絕，并同時完成對相應(yīng)執(zhí)行機構(gòu)的驅(qū)動控制，實現(xiàn)棉種優(yōu)劣品的分選。該硬件平臺及算法設(shè)計已在實際的棉種分選系統(tǒng)中得到驗證，實驗測試原料中紅種及破碎、開口物料含雜率15%~20%，精度達到99%。同時，文章建立的FPGA硬實時圖像處理平臺及提到的HSV色度判定算法、形狀模型提取算法可同時使用于其他物料如茶葉、果品等的外觀品質(zhì)檢測分選過程中。
