基于NAND Flash的高速大容量存儲系統(tǒng)的設(shè)計(通訊)
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
基于NAND Flash的高速大容量存儲系統(tǒng)的設(shè)計(通訊)
趙亞慧1，2， 金龍旭1， 陶宏江1， 韓雙麗1， 張敏1，2
（1．小國科學(xué)院長春光學(xué)精密機械與物理研究所，長春130033；2．中國科學(xué)院大學(xué)，北京100049）
摘要：針對空間相機地面檢測設(shè)備數(shù)據(jù)信息量大、存儲速度快的特點，采用性能優(yōu)良的NAND型Flash為存儲介質(zhì)，FPGA為控制核心，實現(xiàn)了高速大容量存儲系統(tǒng)的設(shè)計。針對數(shù)據(jù)存儲速度的提升，引入雙plane操作、并行及流水線的方式控制Flash陣列。通過對Flash芯片中壞塊特點的研究，引入了壞塊管理部分。實驗結(jié)果表明，該系統(tǒng)能夠完成空間相機大量原始數(shù)據(jù)的高速記錄工作，保證了數(shù)據(jù)記錄的實時性及可靠性。
關(guān)鍵詞：航空電子；空間相機；地面檢測設(shè)備；存儲系統(tǒng)；NAND Flash;并行技術(shù)
中圖分類號：TP391 文章編號：1671 - 637X( 2016) 05 - 0071 - 05
0 引言
隨著我國航空電子技術(shù)發(fā)展的日趨成熟，空間相機的數(shù)據(jù)采樣率大幅度提升，為了實時、穩(wěn)定地存儲原始數(shù)據(jù)，空間相機數(shù)據(jù)存儲系統(tǒng)的容量越來越大、存儲速度也越來越快。而地面檢測設(shè)備負(fù)責(zé)接收并存儲相應(yīng)數(shù)據(jù)便于后續(xù)分析處理，其存儲速度必然要與空間相機數(shù)據(jù)存儲系統(tǒng)的傳輸速度相匹配。為了保證記錄數(shù)據(jù)的有效性，就對地面檢測設(shè)備的性能提出了更高的要求。地面檢測設(shè)備不但要將空間相機所記錄的海量原始數(shù)據(jù)全部存儲，還要做到實時連續(xù)快速存儲，并且要保證數(shù)據(jù)的正確性。
高速大容量數(shù)據(jù)存儲技術(shù)的發(fā)展主要由存儲介質(zhì)的發(fā)展構(gòu)成。雖然傳統(tǒng)的磁存儲技術(shù)存儲成本低，但其機械特性使得設(shè)備體積大、功耗高、易損壞，而地面檢測設(shè)備需要經(jīng)常在外場進行維護，磁存儲技術(shù)顯然不能滿足設(shè)備攜帶方便和抗振動的要求。固態(tài)存儲技術(shù)是以半導(dǎo)體芯片作為存儲介質(zhì)的數(shù)字存儲技術(shù)，其設(shè)備不存在任何機械部件，環(huán)境適應(yīng)能力強，已成為高速大容量數(shù)據(jù)存儲系統(tǒng)設(shè)計方案的首選。
傳統(tǒng)的高速大容量存儲設(shè)備為了提高存儲速度，在系統(tǒng)中增加存儲芯片的使用數(shù)量，雖然操作簡便，但是增加了設(shè)計成本；同時由于半導(dǎo)體芯片Flash存在無效塊等存儲特性，影響了系統(tǒng)的可靠性。
針對以上問題，本文以FPGA為中央控制核心，NAND型Flash為存儲介質(zhì)，并引入雙plane操作、并行操作及流水線操作等存儲關(guān)鍵技術(shù)，在滿足系統(tǒng)設(shè)計指標(biāo)要求的前提下減少Flash芯片使用數(shù)量，同時對Flash芯片建立壞塊處理機制，提高系統(tǒng)可靠性，解決地面檢測設(shè)備中的數(shù)據(jù)存儲問題，完成數(shù)據(jù)高速海量存儲。
1 系統(tǒng)總體結(jié)構(gòu)設(shè)計
本系統(tǒng)針對空間相機地面檢測設(shè)備，旨在解決系統(tǒng)中高速大容量的數(shù)據(jù)存儲問題。系統(tǒng)具體的技術(shù)指標(biāo)主要體現(xiàn)在：1）存儲速度高，能實時連續(xù)記錄高速原始數(shù)據(jù)，存儲速度大于500 MB/s；2）存儲容量大，能夠存儲海量數(shù)據(jù)，容量不低于600 GB;3）系統(tǒng)的可靠性高，誤碼率小。
基于以上幾個方面，本設(shè)計采用以FPGA為控制核心、Flash芯片為存儲介質(zhì)的方案。系統(tǒng)主要由FP-GA控制模塊、Flash存儲陣列、壞塊管理模塊、串行通信接口電路和USB控制模塊幾部分組成，見圖1。
主控芯片是存儲系統(tǒng)的核心器件，主要負(fù)責(zé)完成的任務(wù)有：產(chǎn)生Flash控制陣列時序、管理Flash壞塊信息、實現(xiàn)通信接口等。這就要求相應(yīng)的FPGA擁有足夠的I/O數(shù)量用于數(shù)據(jù)傳輸，并有豐富的RAM資源便于緩存。綜合考慮設(shè)計成本、系統(tǒng)功耗、適用范圍等因素，主控芯片選擇美國Xilinx公司高性能Spartan-6系列的XC6SLX100T，該芯片含有101261個邏輯單元，內(nèi)置RAM容量多達4.71MB，為系統(tǒng)的邏輯設(shè)計提供了足夠的緩存空間。
存儲陣列模塊主要負(fù)責(zé)完成系統(tǒng)的高速數(shù)據(jù)讀寫。Flash存儲芯片作為半導(dǎo)體存儲芯片具有密度高、容量大、抗震性能好等特點，成為本次存儲系統(tǒng)中存儲芯片的不二之選。
壞塊管理模塊是針對Flash芯片的壞塊進行處理屏蔽，并將壞塊信息寫入非易失零出錯的NOR型Flash芯片中進行保存，保證壞塊信息的正確存儲，降低系統(tǒng)的誤碼率。
串行通信接口電路用于數(shù)據(jù)傳輸，主要負(fù)責(zé)將空間相機的數(shù)據(jù)通過接口電路傳送到地面檢測設(shè)備。接口電路選用RS422標(biāo)準(zhǔn)，支持點對多的雙向通信，抗干擾能力強。
USB接口模塊的主要任務(wù)是方便與USB接口的外設(shè)進行通信�？臻g相機的數(shù)據(jù)傳送到地面檢測設(shè)備進行存儲后，若PC機或其他帶有USB接口的設(shè)備需要對數(shù)據(jù)進行后續(xù)分析處理，可以通過USB接口模塊進行數(shù)據(jù)的高速傳輸。該模塊接口芯片選用美國Cypress公司的CY7C68013，此款芯片滿足USB2.0通信協(xié)議，功耗低、兼容性強。
2 系統(tǒng)關(guān)鍵技術(shù)
2.1 Flash陣列控制
根據(jù)Flash芯片采用的技術(shù)架構(gòu)的不同，主要將其分為NOR型和NAND型。其中：NOR型Flash作為存儲介質(zhì)，可靠性高、隨機讀取性強，適合編程和擦除操作較少的代碼存儲；NAND型Flash存儲密度高、讀寫擦除速度快，更適用于大量的數(shù)據(jù)存儲的場合。
本設(shè)計主要針對地面檢測設(shè)備的數(shù)據(jù)存儲，需要將空間相機產(chǎn)生的大量數(shù)據(jù)傳輸并存儲到地面檢測設(shè)備中，因此選用NAND型Flash作為存儲介質(zhì)。美國鎂光公司是著名的閃存生產(chǎn)公司，擁有SLC，TLC，MLC 3種結(jié)構(gòu)的閃存芯片，其中：SLC型的Flash可靠性好，但是價格高、密度低；TLC型的Flash價格低，但使用壽命短，性價比低。根據(jù)本設(shè)計的技術(shù)要求，綜合考慮芯片的密度、價格、使用壽命等因素，最終選取MLC型的NAND Flash作為本次設(shè)計的存儲芯片，具體型號為MT29F512G08CUCAB。芯片數(shù)據(jù)寬度為8 bit,單片存儲容量達到512 Gbit，共包含8個邏輯單元，每個邏輯單元包含2個plane，它們共用一套總線。每個plane由2048個塊組成，每個塊有256頁，每頁可以存儲8192字節(jié)。該芯片能夠完成復(fù)位、配置、編程、讀以及擦除等多種操作類型，本設(shè)計主要用到編程操作以及讀操作，此芯片完全能夠勝任。
2.1.1 頁編程操作
NAND型Flash的編程操作以頁為單位進行。傳統(tǒng)的頁編程方式為單plane頁編程操作：首先將寫指令80H和地址寫入相應(yīng)寄存器，等待一段時間后將一頁的數(shù)據(jù)發(fā)出，之后再發(fā)送確認(rèn)存儲指令10H。發(fā)送操作完成之后，Flash開始自動編程，進入等待狀態(tài)。芯片編程完畢后發(fā)送讀狀態(tài)指令，最后查看寫操作是否成功。根據(jù)芯片的數(shù)據(jù)手冊，同時為了保證數(shù)據(jù)讀取的正確性，在同步工作模式下取CLK平均周期t CK=10 ns，最大頁編程操作時間LPROC= 2600
。在這種情況下，單片Flash頁編程速度為3.1 MB/s。
本系統(tǒng)選用的Flash芯片每個邏輯單元都含有2個plane，因此為了提高單片Flash的頁編程速度，本設(shè)計采用雙plane編程的操作模式，先將第1個plane的寫指令和地址寫入寄存器，并將數(shù)據(jù)寫入其對應(yīng)的緩存中，然后將第2個plane重復(fù)之前的操作，最后將緩存中的數(shù)據(jù)一起寫入到數(shù)據(jù)存儲區(qū)。在雙plane頁編程下，2個plane操作之間的最短等待時間t DBSY=0.5Ls，此時頁編程速度約為5.4 MB/s。雙plane編程速度相對于普通的編程速度，提高了將近一倍，由此可以看出，本設(shè)計的雙plane編程模式優(yōu)于普通編程模式。
2.1.2 頁讀取操作
讀取操作同樣以頁為單位進行。普通的單plane頁讀操作先向命令寄存器寫入00H，然后輸入5個周期的地址數(shù)據(jù)，最后寫入讀指令30H確認(rèn)數(shù)據(jù)讀出。FPGA通過監(jiān)測R/B#管腳的輸出狀態(tài)判斷讀操作是否結(jié)束。根據(jù)芯片數(shù)據(jù)手冊，在同步工作模式下取t CK= 10 ns，讀
一頁工作時間t R=75。單plane操作模式下，讀取速度約為27.9 MB/s。
針對本次設(shè)計，采用雙plane的讀取結(jié)構(gòu)，先讀取第1個plane的控制命令及地址寫入寄存器，等狀態(tài)指示信號R/B#變高以后再讀取同一邏輯單元上第2個plane的命令使之進入讀操作，最后將所有數(shù)據(jù)依次讀出。在雙plane讀取的操作模式下，t DBSY=0.5，t CK= 10 ns，t R=75 ，此時讀取速度約為31.5 MB/s。相對于普通讀操作而言，本設(shè)計的雙plane讀操作模式同樣提高了讀取速度。
2.2 Flash并行技術(shù)
針對地面檢測設(shè)備高速大容量的設(shè)計，在Flash控制邏輯中通過雙plane操作將頁編程速度提高為5.4 MB/s，讀取速度約為31.5 MB/s。雖然每片Flash包含8個邏輯單元，但是每4個邏輯單元共用一套數(shù)據(jù)總線，整體速度只能增加4倍，由此看來，僅通過雙plane操作模式并沒有大幅度提高數(shù)據(jù)的讀寫速度，不能滿足系統(tǒng)的要求。
為了解決該問題，引入并行總線技術(shù)來提高系統(tǒng)的讀寫速度。并行總線技術(shù)是通過擴展帶寬的方式有效地提高數(shù)據(jù)的讀寫速度。在系統(tǒng)中，引入模塊化思想，將Ⅳ片Flash并行連接在數(shù)據(jù)總線上，它們的片選、控制、讀寫等信號均相連。并行的這組Flash進行相同的操作，存儲容量是單片Flash的N倍，理論上讀寫速度也是單片Flash的N倍。
根據(jù)本系統(tǒng)功能要求，存儲速度不低于500 MB/s，而每片Flash的寫入速度約為21.6 MB/s，在該情況下，至少需要24片Flash并行操作才能滿足系統(tǒng)存儲速度的要求。但24片Flash的存儲容量達到1.5 GB，超出了系統(tǒng)預(yù)期指標(biāo)太多，從而造成浪費，增加了設(shè)計成本。
2.3 Flash流水線技術(shù)
單純地對Flash芯片組采用并行操作雖然可以提高本系統(tǒng)的讀寫速度，但也增加了設(shè)計成本，因此在并行設(shè)計的基礎(chǔ)上，考慮在減少芯片數(shù)量的情況下能夠滿足系統(tǒng)功能要求的設(shè)計方案。
本設(shè)計中采用的Flash單個邏輯單元單頁編程時間為2600，而向芯片寫入命令、地址時間t CAD=25ns，寫入數(shù)據(jù)時間t DQSS=7.5 ns，這些時間相對編程時間都很短，并且在芯片編程時間內(nèi)不能對其進行其他的讀寫操作。因此，充分利用芯片內(nèi)部編程時間可以大幅度提高數(shù)據(jù)的寫入速度。
因此，針對本次存儲系統(tǒng)，采用流水線設(shè)計，當(dāng)一組Flash芯片編程，不能進行其他操作時，對另外一組芯片進行操作。本設(shè)計中NAND型Flash芯片的一個編程周期由數(shù)據(jù)加載和編程兩個階段組成。一頁數(shù)據(jù)加載時間約為43，最大編程時間為2600，假設(shè)將Flash分成Ⅳ組，加載時間為T1編程時間為T2當(dāng)滿足式(1)時，達到最大編程速度，即
對應(yīng)的流水線操作時序如圖2所示。
采用雙plane編程模式時，加載時間約為86，此時若令系統(tǒng)達到最大速度最高可采用30級流水操作，速度最大可達到3 GB/s。在本設(shè)計中，編程速度達到500 MB/s即可滿足系統(tǒng)功能要求，通過分析，系統(tǒng)用12片FIash芯片，芯片分成2組，每組6片并行操
作。由于每片Flash含有4個Target，流水級數(shù)可達到8級。當(dāng)采用雙plane編程模式時，系統(tǒng)編程速度為：
通過以上分析，本系統(tǒng)共采用12片NAND型Flash芯片，總存儲容量為768 GB，理論最高寫入速度達到585.6 MB/s。由此可見，采用流水操作控制Flash陣列時，相對于僅采用并行操作技術(shù)，節(jié)約了一半的芯片數(shù)量，但大大提高了編程速度，同時也完全滿足本存儲系統(tǒng)的技術(shù)指標(biāo)。2.4 Flash壞塊管理
本設(shè)計中采用的NAND型Flash芯片，雖然讀寫速度快，但由于它本身包含壞塊，并且在使用過程中也會出現(xiàn)新的壞塊，這些壞塊中的一位或多位均不能正常翻轉(zhuǎn)，因此它們會嚴(yán)重影響數(shù)據(jù)的存儲和讀寫操作的可靠性。為了提高數(shù)據(jù)存儲系統(tǒng)的可靠性，必須在對Flash的操作過程中屏蔽這些壞塊。本設(shè)計采用的方法為：對Flash進行讀寫操作前，首先建立初始壞塊列表，記錄壞塊信息，并且如果在使用過程中出現(xiàn)了新的壞塊，及時更新壞塊列表信息，避免使用壞塊。
在系統(tǒng)結(jié)構(gòu)設(shè)計中主控芯片選擇XC6SLX100T．該芯片內(nèi)置豐富的RAM，壞塊列表可以存儲在這些RAM中，但同時存在掉電后無法獲取壞塊列表信息的問題，而壞塊列表作為保存壞塊信息的關(guān)鍵，必須保證其正確存儲。與NAND型Flash不同，NOR型Flash雖然不如前者讀寫速度快，但其可靠性高，芯片中不含壞塊，可以保證數(shù)據(jù)寫入的正確性。因此，本設(shè)計將壞塊列表存儲在NOR型Flash中，方便實現(xiàn)更優(yōu)的壞塊管理機制，同時等待上電之后再將列表讀入FPGA內(nèi)置的RAM中，方便對Flash壞塊列表信息的調(diào)用。
2. 4.1 初始壞塊列表的建立
對于芯片中的初始壞塊，廠商會在芯片出廠時作相應(yīng)的標(biāo)記。本設(shè)計中選用的Flash芯片，其每塊第一頁的第8192個字節(jié)是該塊的出廠壞塊標(biāo)志，如果該字節(jié)為00H，表示此塊為壞塊。針對本設(shè)計建立的單片Flash壞塊信息列表流程如圖3所示。
由于NAND型Flash的壞塊是隨機分布的，所以每片Flash的壞塊列表都不相同。在本設(shè)計中，如果讓每片Flash都基于不同的壞塊列表進行操作，會占用系統(tǒng)大量的資源，并讓系統(tǒng)操作變得復(fù)雜。本次設(shè)計將12片Flash分成2組，每組6片并行操作，這6片芯片的操作相同，因此將每組內(nèi)的6片Flash的壞塊列表合并，由此建立新的壞塊列表。系統(tǒng)采用了并行操作技術(shù)，每組6片Flash的讀寫操作相同。但每片Flash的壞塊地址不可能完全相同，因此只要組內(nèi)的某片Flash的某一塊是壞塊，就將組內(nèi)其他Flash的該塊都認(rèn)為是壞塊，這樣的操作方案會對系統(tǒng)容量造成一部分損失。但本系統(tǒng)選用的NAND型Flash芯片的壞塊率最大不超過100/4096，若按照最大的壞塊率計算，組內(nèi)每片Flash都有800個壞塊，且位置各不相同，則每組Flash被視為存在28 800個壞塊，每塊容量為2 MB。整個系統(tǒng)將Flash芯片分成兩組，理論上，在最壞的情況下一共會損失112.5GB的容量，但實際中，每片Flash的實際壞塊數(shù)量不會超過50個，所以整個系統(tǒng)的容量損失不會超過7. 04GB，這在本設(shè)計的存儲系統(tǒng)中是完全可以接受的。
2.4.2塊列表的更新
在NAND型Flash芯片使用過程中，如果產(chǎn)生新的壞塊，要及時更新壞塊列表信息。對Flash進行編程操作以后讀取相應(yīng)狀態(tài)寄存器，如果其最低位為“1”，則說明編程失敗，要將此塊標(biāo)記為壞塊。
在Flash出現(xiàn)新的壞塊以后，及時更新暫時存放在RAM中的壞塊信息，待Flash操作結(jié)束之后，將更新的壞塊列表寫入NOR型Flash中。更新壞塊信息列表流程如圖4所示。
3 系統(tǒng)驗證與分析
本設(shè)計采用Verilog HDL硬件描述語言進行編程，并在Mode lsim環(huán)境下進行時序仿真。其中，雙plane頁編程時序以及頁讀取時序分別如圖5、圖6所示。
將系統(tǒng)連接到地面測試臺中，令測試臺以500 MB/s的速度發(fā)送脈沖信號，信號送入存儲設(shè)備進行實時存儲，通過USB2.0接口將數(shù)據(jù)讀出到上位機，其中A/D變換分辨率16位。經(jīng)過多次測試，測試數(shù)據(jù)量高達4.3TB yte(l TB yte=1024 GB yte)，數(shù)據(jù)傳輸速率最高達到550 MB/s，且每次存儲的數(shù)據(jù)均無誤碼，很好地實現(xiàn)了系統(tǒng)的性能指標(biāo)。
本系統(tǒng)通過采用新型高存儲容量NAND型Flash芯片作為存儲介質(zhì)，與以往的空間相機地面存儲系統(tǒng)相比，針對系統(tǒng)容量與讀寫速度的提升，引入了多plane操作、并行及流水線技術(shù)等控制Flash存儲陣列，在采用存儲芯片數(shù)量一定的情況下大大提高了系統(tǒng)的讀寫速度，本系統(tǒng)與未使用以上關(guān)鍵技術(shù)的設(shè)計參數(shù)對比見表1。
以上實驗與分析表明，本系統(tǒng)設(shè)計方案完全能夠滿足系統(tǒng)的技術(shù)指標(biāo)。本文對系統(tǒng)引入的壞塊管理機制可以在Flash芯片使用過程中有效地屏蔽壞塊，大大增加了系統(tǒng)的可靠性。在提出的壞塊管理方案中，針對并行的Flash組內(nèi)的一片Flash出現(xiàn)壞塊的情況，把該組每片Flash的該塊都做了屏蔽處理，在一定程度上簡化了操作方法，但損失了存儲系統(tǒng)一部分的存儲容量，針對該問題，今后可以考慮更加有效的壞塊管理方法。
4結(jié)束語
本文在對地面檢測設(shè)備數(shù)據(jù)存儲設(shè)計要求進行分析的基礎(chǔ)上，完成了系統(tǒng)總體方案的設(shè)計，通過采用NAND型Flash芯片作為存儲介質(zhì)，并引入系統(tǒng)存儲的關(guān)鍵技術(shù)，包括對Flash芯片的雙plane操作、并行操作、流水線技術(shù)等，大大提高了系統(tǒng)的存儲容量及讀寫速度。在實際硬件平臺上驗證了系統(tǒng)的各項功能機制，結(jié)果表明，該系統(tǒng)工作穩(wěn)定可靠，存儲容量達到768 GB yte，存儲速度最高達到550 MB/s，滿足系統(tǒng)設(shè)計任務(wù)的要求。目前，該系統(tǒng)已成功應(yīng)用于數(shù)據(jù)存儲任務(wù)。
