對(duì)Flash設(shè)備的性能優(yōu)化，微軟曾經(jīng)做過(guò)一份paper，但是里面很多東西比較局限：比如paper中將SSD作為了寫(xiě)入的buffer，而眾所 周知，寫(xiě)性能不會(huì)是任何一款NoSQL的瓶頸;比如SSD的索引采用了Hash的數(shù)據(jù)結(jié)構(gòu)，這樣在進(jìn)行cache evict的時(shí)候，粒度的控制也很有問(wèn)題。本文對(duì)其進(jìn)行了改進(jìn)，羅列如下：

　　Features of SSD

　　SSD對(duì)于傳統(tǒng)硬盤(pán)的優(yōu)勢(shì)在于它沒(méi)有機(jī)械裝置，介質(zhì)也由磁介質(zhì)變?yōu)榱穗娊橘|(zhì)，因此它具備直接按地址讀取數(shù)據(jù)的能力，沒(méi)有了尋道時(shí)間，這也是為什么SSD的IOPS可以達(dá)到數(shù)萬(wàn)的原因。

　　而SSD的寫(xiě)操作比較特殊，其最小寫(xiě)入單元是4K，當(dāng)寫(xiě)入空白位置的時(shí)候可以直接寫(xiě)入，但是當(dāng)需要改寫(xiě)某個(gè)單元時(shí)，則需要一個(gè)額外的擦出操作，擦除的操作一般是128個(gè)page，每個(gè)擦出的單元稱為一個(gè)塊。

　　Wear Leveling

　　因?yàn)镾SD的存儲(chǔ)單元壽命有限，因此，當(dāng)某個(gè)特定的部位被頻繁擦寫(xiě)，不僅會(huì)造成性能問(wèn)題，而且使得SSD壽命大幅降低，所以SSD做了Wear Leveling，即損耗均衡算法。這樣，當(dāng)需要改寫(xiě)某個(gè)page時(shí)，并不寫(xiě)入原有位置，而是讀取現(xiàn)有塊，合并需要改寫(xiě)的數(shù)據(jù)，然后一起寫(xiě)入新的空閑塊， 原有的塊被標(biāo)記為invalid，等待被擦除回收。這樣做的好處在于，一是不會(huì)反復(fù)擦寫(xiě)同一個(gè)block，二是寫(xiě)入的速度會(huì)比較快(省略了擦除的動(dòng)作)。

　　Write amplification

　　因?yàn)镾SD的erase-before-write的特性，所以就出現(xiàn)了一個(gè)寫(xiě)入放大的概念，比如你想改寫(xiě)4K的數(shù)據(jù)，必須首先將整個(gè)擦除塊 (512KB)中的數(shù)據(jù)讀出到緩存中，改寫(xiě)后，將整個(gè)塊一起寫(xiě)入，這時(shí)你實(shí)際寫(xiě)入了512KB的數(shù)據(jù)，寫(xiě)入放大系數(shù)是128。寫(xiě)入放大最好的情況是1，就 是不存在放大的情況。

　　Conclustion

　　綜合SSD的特性，我們需要做到以下兩點(diǎn)來(lái)合理使用SSD并且提高其使用壽命：

　　1. 盡量避免隨機(jī)寫(xiě)。由于損害均衡算法的存在，隨機(jī)寫(xiě)特定page將造成寫(xiě)入放大。

　　2. 避免每次寫(xiě)入過(guò)少的數(shù)據(jù)。如果每次寫(xiě)入的數(shù)據(jù)不足SSD的一個(gè)page大，那么當(dāng)前寫(xiě)入的數(shù)據(jù)將導(dǎo)致該page有浪費(fèi)，并且接下來(lái)對(duì)該文件邏輯上的append將導(dǎo)致，之前寫(xiě)的不足一個(gè)page的數(shù)據(jù)被讀取出來(lái)，并合并到新的page中去。

　　3. 不要使用完全部的空間。SSD的損耗均衡算法雖然一定程度上減少了對(duì)特定部位的頻繁擦寫(xiě)，但是如果空間不夠，這個(gè)還是很難避免，因此，最好預(yù)留至少50%的空間。

　　可以看到，不得不說(shuō)，絕大部分的NoSQL產(chǎn)品都做到了上述兩個(gè)特性。因此，在新型存儲(chǔ)設(shè)備上的嘗試將是NoSQL時(shí)代的主題。

　　SSD as Level2 Cache

　　雖然當(dāng)前SSD相比內(nèi)存便宜了很多，但目前SSD每存儲(chǔ)單元在價(jià)格上仍然比普通硬盤(pán)要貴很多，因此，在這個(gè)過(guò)渡時(shí)期，普遍的想法是把SSD當(dāng)做二級(jí) Cache。像Flashcache這樣利用Linux Device Mapper，將SSD等設(shè)備當(dāng)做Write Back block cache。關(guān)于其詳細(xì)介紹，這里就不多說(shuō)了，可以去//github.com/facebook/flashcache 看看官方的介紹。這里講述另外一種可能比較簡(jiǎn)單易實(shí)現(xiàn)的方式。

　　根據(jù)上面描述的SSD的性能特點(diǎn)，可以采用下面的設(shè)計(jì)：

　　上圖是邏輯上的結(jié)構(gòu)，物理的實(shí)現(xiàn)已經(jīng)把很多東西都合并了，比如讀cache和寫(xiě)buffer，以及SSD的索引B-tree，都可以進(jìn)行合并成為一 顆B-tree(Berkeley Db的方式)，另外，我需要強(qiáng)調(diào)的一點(diǎn)是，這里的SSD索引使用了B-Tree，相比于Hash是為了提供更粗粒度的SSD Cache失效機(jī)制，這一點(diǎn)的原因在上面的SSD特性中已經(jīng)講過(guò)了，下面講述get以及set操作的流程。

　　Get

　　首先，邏輯上先查詢內(nèi)存中的Read Cache，如果不存在，則查詢Write Buffer，然后是SSD Cache的B-Tree Index，然后是Bloom Filter確認(rèn)key的確在硬盤(pán)存在，最后查詢到硬盤(pán)。

　　Set

　　插入的時(shí)候，先寫(xiě)到write buffer里面，當(dāng)buffer到達(dá)一個(gè)臨界值的時(shí)候?qū)⑵渌⒌絊SD上，當(dāng)SSD到達(dá)一個(gè)臨界值的時(shí)候，將其踢出并移到硬盤(pán)，當(dāng)然整個(gè)過(guò)程Bloom Filter也要保持一致。

　　Delete

　　刪除操作首先檢查內(nèi)存中的各buffer和cache有沒(méi)有該值，如果有，直接在內(nèi)存中刪除其父節(jié)點(diǎn)對(duì)它的引用，隨后直接返回;如果沒(méi)有，那么先查看Bloom Filter是否該key存在，如果存在則去硬盤(pán)上刪掉。

　　這里需要強(qiáng)調(diào)的是，刪除操作只是一個(gè)標(biāo)記刪除，物理文件上的刪除會(huì)有后臺(tái)線程定時(shí)掃描，這樣能夠保證每次SSD的擦除操作能更加有效。

　　Evict strategy

　　既然SSD做為了二級(jí)Cache，那么其必然存在一個(gè)evict操作，evict操作的憑據(jù)是每個(gè)節(jié)點(diǎn)的 generation，generation會(huì)在每次節(jié)點(diǎn)被訪問(wèn)的時(shí)候+1，這里的+1是一個(gè)全局的+1，即整顆樹(shù)維護(hù)一個(gè)long型的 generation，A節(jié)點(diǎn)被訪問(wèn)一次則其generation為1，那么過(guò)一會(huì)B節(jié)點(diǎn)被訪問(wèn)那么generation為2，以此類推。

　　Evict的時(shí)候?qū)⑤^小的generation的節(jié)點(diǎn)刪除，將其踢到硬盤(pán)，這里需要注意，這里的節(jié)點(diǎn)我指的是非頁(yè)節(jié)點(diǎn)，因此，一般情況下，每次 evict至少有默認(rèn)128個(gè)葉節(jié)點(diǎn)被踢出，即使這128個(gè)節(jié)點(diǎn)物理上的位置不連續(xù)，由于我們有后臺(tái)的clean線程(參加海量數(shù)據(jù)存儲(chǔ)之Key- value存儲(chǔ)簡(jiǎn)介的過(guò)期數(shù)據(jù)清理一章)的參與，因此，我們總能保證，每次SSD的擦除操作都是連續(xù)并且是大塊的。

　　最后，很顯然，這樣的設(shè)計(jì)L1 Cache、L2 Cache以及Disk組成了一套完整的數(shù)據(jù)，因此，在掉電的時(shí)候，SSD的cache無(wú)需失效，當(dāng)然，前提是由于我們的系統(tǒng)有Write-ahead-log保證了內(nèi)存中的數(shù)據(jù)掉電不丟失。