在這篇文章中,我不打算帶入以往的恩怨,而是直接明了的闡述這個(gè)事情是什么、他可能帶來(lái)的影響,以及對(duì)于小米幾篇公關(guān)通稿的反駁和質(zhì)疑.
這篇文章不是給小白亦或是某些二極管看的,也不是為了讓小米名譽(yù)掃地或是為某些東西洗地,如果你想看到我在這篇文章中把小米批得一文不值,那我建議你趕緊離開(kāi).
另外,鑒于之前一堆水軍和半桶水對(duì)我的攻擊,我不接受任何沒(méi)有對(duì)閃存業(yè)界有過(guò)了解、還在拿著廠商通稿和奇葩文章做出的狗屁言論,換言之,我只接受以IEEE論文、原廠報(bào)告和SNIA/FMS展示作為論據(jù)的駁斥和反推.而作為對(duì)等,我在這篇文章中的一切論據(jù)都會(huì)標(biāo)注來(lái)源,做到公信力.
PART1：你需要了解什么
1.1什么是REW讀改寫(xiě)?
REW,READ-ERASE-WRITE.這個(gè)可以稱(chēng)之為讀改寫(xiě).當(dāng)然你也可以用copy-modify-write去稱(chēng)呼他,這是等效的:在NAND層面.
我們?cè)谶@里簡(jiǎn)短的說(shuō)一下為什么它會(huì)產(chǎn)生: 固態(tài)的擦除是以block為單位、讀寫(xiě)以page為單位,nand的物理特性決定了他不能覆蓋寫(xiě)入.因此如果我們要對(duì)一個(gè)已有數(shù)據(jù)的page進(jìn)行寫(xiě)入,那么必須先要把這個(gè)page所在的block中的數(shù)據(jù)讀出,block清空后再把所有數(shù)據(jù)寫(xiě)進(jìn)去.這個(gè)過(guò)程就是Read-Erase-Write
上面這個(gè)圖片是我自己做的,如果你對(duì)我表示懷疑,下面這個(gè)這是來(lái)自WD在FMS 2020的報(bào)告: How Zoned Namespaces Improve SSD Lifetime, Throughput, and Latency
這個(gè)過(guò)程出現(xiàn)在臟盤(pán)態(tài)下:在FOB也就是空盤(pán)狀態(tài)下,所有的PAGE與BLOCK都是干凈的,自然沒(méi)有REW過(guò)程.但這種情況在手機(jī)上是不可能出現(xiàn)的:即使你剛買(mǎi)回來(lái)開(kāi)機(jī),他也不是FOB態(tài):你的手機(jī)預(yù)裝了操作系統(tǒng),SLC cache經(jīng)歷了一輪寫(xiě)入與釋放,已經(jīng)有足夠多的block和page處于臟盤(pán)狀態(tài).
而在文件操作與寫(xiě)入上,不及時(shí)的GC回收與相對(duì)懶惰的TRIM機(jī)制、大量log小粒度文件的寫(xiě)入,這些都加劇了臟盤(pán)狀態(tài):不是你看到256G剩余100G他就沒(méi)有臟盤(pán).而這東西的分析絕大多數(shù)人包括我都沒(méi)有能力:必須要原廠或者有能力修改FTL的廠商進(jìn)行適配并測(cè)試.
1.2 WAF,寫(xiě)放大
寫(xiě)放大的來(lái)源有兩種:
第一種是File size文件粒度與Page size的不對(duì)齊造成的:由于我們只能向一整個(gè)page寫(xiě)入文件,在沒(méi)有數(shù)據(jù)打包和壓縮的前提下,無(wú)論這個(gè)文件是4KB還是512b,他都會(huì)占用這一整個(gè)Page,這也造成了所謂的存儲(chǔ)空間大小虛標(biāo):你看起來(lái)的256G固態(tài)剩余150G,但實(shí)際上只有合計(jì)50G的block/page是干凈,其他空間要使用,你都要進(jìn)行實(shí)時(shí)的GC回收.
這里由于太過(guò)低級(jí),我懶得找圖片和論文了
第二種是高負(fù)載下經(jīng)常出現(xiàn)的:在高度臟盤(pán)狀態(tài)下我們寫(xiě)入文件,往往會(huì)面臨著大量REW改寫(xiě),而此時(shí)為了刪除它我們不得不去對(duì)多個(gè)塊進(jìn)行GC回收,這增加了主控的負(fù)擔(dān)與NAND的損耗.
這個(gè)圖片來(lái)自IEEE的A closed-form expression for Write Amplification in NAND Flash
在實(shí)際情況中,我們?yōu)榱藢?xiě)入一個(gè)16KB的文件,可能需要對(duì)多個(gè)塊進(jìn)行REW改寫(xiě),以騰挪出足夠的空間.還是一樣來(lái)自于IEEE的A closed-form expression for Write Amplification in NAND Flash:
下面這個(gè)圖片來(lái)自于MEMBLAZE的技術(shù)文章:企業(yè)級(jí) SSD 壽命要怎么看？
不同的文件寫(xiě)入粒度、不同的GC策略、不同的SLC cache算法,都會(huì)得到不一樣的WAF曲線,但毫無(wú)疑問(wèn)的:對(duì)手機(jī)這種低級(jí)的UFS閃存系統(tǒng),WAF必然比enterprise要嚴(yán)重很多
1.3OP是什么,為什么有OP?
OP,即Over Provisioning.我們一般說(shuō)的enterprise的7%、28%、33%的OP比,實(shí)際上是指二級(jí)OP.
由于這個(gè)定義太過(guò)初級(jí),我就懶得贅述了
圖片來(lái)源于Understanding SSD Over Provisioning,于FMS2012
我們來(lái)看看二級(jí)OP對(duì)于性能的影響
這個(gè)數(shù)據(jù)來(lái)源于Over-Provisioning NAND-Based Intel? SSDs for Better Endurance
這個(gè)數(shù)據(jù)來(lái)源于Validating Analytic Write Amplification Models,于FMS2016
這個(gè)數(shù)據(jù)來(lái)源于Understanding SSD Over Provisioning,于FMS2012
這個(gè)數(shù)據(jù)來(lái)源于IEEE的A closed-form expression for Write Amplification in NAND Flash
但在更加原理的層面,即使所謂的client SSD,他們?cè)谑聦?shí)上也是有OP的,我們把它稱(chēng)之為一級(jí)預(yù)留或者是一級(jí)OP,這部分?jǐn)?shù)據(jù)就是操作系統(tǒng)中顯示與實(shí)際容量的差值.小米這次引發(fā)爭(zhēng)議的就是在動(dòng)用一級(jí)OP上.
1.4壞塊預(yù)留是什么?
任何SSD都有可能損壞,無(wú)論是出場(chǎng)的block中被屏蔽的部分,還是在使用中磨損過(guò)度與出現(xiàn)異常的部分.這些部分需要被補(bǔ)齊,因此除了一級(jí)OP之外,SSD還會(huì)有一定的空間預(yù)留以應(yīng)對(duì)這種情況.
1.5不就是動(dòng)一下塊映射嗎?為什么你們反應(yīng)那么大?
與絕大多數(shù)人想的所謂簡(jiǎn)簡(jiǎn)單單分個(gè)區(qū)不同,由于FTL交替非線性映射的特性,無(wú)法和HDD一樣簡(jiǎn)單的用戶(hù)層級(jí)的區(qū)塊的重映射與屏蔽.
例如我們要對(duì)某幾個(gè)新增加的塊進(jìn)行映射（我們先不討論這個(gè)塊是哪來(lái)的）,必須要在工程模式下將所有的物理區(qū)塊與文件引索重新標(biāo)記與映射,這個(gè)過(guò)程就是重建FTL表.
在這個(gè)規(guī)程中,無(wú)論是意外斷電或者極小概率的電荷翻轉(zhuǎn),都會(huì)導(dǎo)致數(shù)據(jù)丟失甚至整個(gè)閃存系統(tǒng)變磚不可用.這也就是為什么WD、INTEL、MICRON、SAMSUNG等原廠在固件升級(jí)時(shí)都會(huì)直接寫(xiě)上可能存在小概率數(shù)據(jù)丟失風(fēng)險(xiǎn)的原因：即使沒(méi)有軟件層面的BUG,各種不可知的意外都會(huì)造成嚴(yán)重的后果.
PART2：小米做了什么
這里不會(huì)涉及任何的解讀,僅僅做出必要的參數(shù)
[我們與存儲(chǔ)器廠商進(jìn)行了緊密的協(xié)作.首先,我們修改了空間管理策略,將OP區(qū)占用的空間從6.9%壓縮至約3%.這個(gè)過(guò)程需要深入了解存儲(chǔ)器的工作原理,以確保在壓縮OP區(qū)空間的同時(shí),不會(huì)影響到存儲(chǔ)器的性能和壽命.在多次的測(cè)試和優(yōu)化后,我們找到了一個(gè)理想的平衡點(diǎn). ]
小米承認(rèn)了修改一級(jí)OP,從7%/6.9%縮減到3%
來(lái)源于
https://card.weibo.com/article/m/show/id/2309404962180771742222?id=2309404962180771742222
[我們除了根據(jù)用戶(hù)習(xí)慣來(lái)預(yù)留充足的空間外, 還優(yōu)化Cache的管理以減少擦寫(xiě)及壞塊的產(chǎn)生, 并同時(shí)支持在長(zhǎng)時(shí)間使用后根據(jù)用戶(hù)情況來(lái)云控調(diào)整壞塊預(yù)留區(qū), 保證系統(tǒng)的穩(wěn)定性.]
小米使用了經(jīng)過(guò)修改的slc cache策略,并支持通過(guò)OTA和云控調(diào)整壞塊預(yù)留區(qū),這其中會(huì)涉及FTL的重建.
來(lái)源于https://m.weibo.cn/status/4962498407302086?jumpfrom=weibocom
是的,根據(jù)小米目前透露的消息,結(jié)合我對(duì)于閃存系統(tǒng)的認(rèn)知,他就有這兩點(diǎn).
PART3：為什么我對(duì)這個(gè)東西充滿(mǎn)懷疑和擔(dān)憂(yōu)
我在這里先擺明立場(chǎng)：我對(duì)于小米賣(mài)得好不好、其他廠商賣(mài)得好不好沒(méi)有任何興趣,作為一個(gè)存儲(chǔ)愛(ài)好者和前YMTC臨時(shí)工,我沒(méi)有任何與小米利益相關(guān)的立場(chǎng),無(wú)論是支持或是反對(duì).
我只是表明了我對(duì)這一技術(shù)的懷疑與擔(dān)憂(yōu),我衷心希望這個(gè)技術(shù)不會(huì)帶來(lái)更多的問(wèn)題、不會(huì)造成大面積的翻車(chē)：就如同888之于MI11一樣.
小米這樣做,可能帶來(lái)的兩個(gè)巨大問(wèn)題：
1 使用了大量的一級(jí)OP與備用塊作為存儲(chǔ)空間,無(wú)非就是討好部分容量需求大的用戶(hù).而一旦占用空間過(guò)高,以UFS閃存的主控能力與固件優(yōu)化,本來(lái)就會(huì)存在大量的性能缺陷、延遲飆升和零點(diǎn).在一級(jí)OP被占用的場(chǎng)景下,性能估計(jì)是堪憂(yōu)的.
由于上文已經(jīng)闡述了二級(jí)OP與性能、壽命之間的關(guān)系,這里就不再贅述.
數(shù)據(jù)來(lái)源于Reliability of 3D NAND Flash for Future Storage Systems (Invited),IEEE
而小米動(dòng)用的一級(jí)OP,其性能與壽命的關(guān)系函數(shù)關(guān)系不能直接用二級(jí)OP去推導(dǎo)：我們隨著二級(jí)OP的減少,可以看這是一條反比例函數(shù).而更加底層的一級(jí)OP,提供了必要的REW讀改寫(xiě)所需要的備用區(qū)塊,根據(jù)Intel的于8年前的內(nèi)部報(bào)告,每減少1%的一級(jí)OP,壽命是指數(shù)級(jí)下降,而性能是一條相對(duì)反常的曲線,到了0%和1%一級(jí)OP預(yù)留時(shí),閃存系統(tǒng)已經(jīng)實(shí)質(zhì)上不可用：使用128K填盤(pán)之后的4K穩(wěn)態(tài)性能,在1% 一級(jí)OP時(shí)已經(jīng)存在極大的延遲波動(dòng),到后期直接是一條零點(diǎn)直線：此時(shí)已經(jīng)沒(méi)有空間進(jìn)行讀改寫(xiě),自然沒(méi)有任何性能.
上面這個(gè)報(bào)告受限于NDA與各種因素我無(wú)法發(fā)出,如果不相信我也沒(méi)辦法,這也是本文中唯一一個(gè)無(wú)法提供出處的論據(jù).
2 小米現(xiàn)在特別喜歡開(kāi)SWAP,在造成SLC cache重復(fù)讀寫(xiě)、write back懲罰的情況下,這一小聰明是否會(huì)帶來(lái)更多的性能低位與過(guò)度磨損?甚至嚴(yán)重點(diǎn)說(shuō)：會(huì)不會(huì)出現(xiàn)幾年前中端機(jī)因?yàn)橛脖P(pán)IO太差,用一下就卡頓的情況?
3 為什么不能用順序?qū)懭霚y(cè)試?
答案很簡(jiǎn)單,因?yàn)?28K的讀寫(xiě)負(fù)載在Android上是極少存在的.
現(xiàn)實(shí)中的client workload是9R1W的4k/8k塊負(fù)載,而在page size=16k的今天,這種負(fù)載會(huì)帶來(lái)嚴(yán)重的寫(xiě)放大.使用128k負(fù)載進(jìn)行測(cè)試,無(wú)法還原出臟盤(pán)狀態(tài)下的真實(shí)性能,更與手機(jī)存在大量4k為單位的log日記寫(xiě)入情況不符合.
PART4：對(duì)小米通稿的駁斥與疑問(wèn)
“技術(shù)原理是啥?UFS會(huì)不會(huì)有壽命風(fēng)險(xiǎn)?完全不會(huì),大家放心使用,要相信小米和芯片廠商的專(zhuān)業(yè)程度,也不要被帶節(jié)奏”
沒(méi)有任何數(shù)據(jù)、沒(méi)有任何原廠公開(kāi)站臺(tái),是誰(shuí)在帶節(jié)奏?至于專(zhuān)業(yè)程度,任何一級(jí)OP與備用塊的動(dòng)用和調(diào)整,之前在事實(shí)上都是不可見(jiàn)的：由于他的重要性和底層性,除了原廠內(nèi)部報(bào)告之外沒(méi)有任何文章討論他的影響.一個(gè)小米說(shuō)他沒(méi)問(wèn)題就沒(méi)問(wèn)題了?MIUI12什么情況、888什么情況、小米金融什么情況?
“我們除了根據(jù)用戶(hù)習(xí)慣來(lái)預(yù)留充足的空間外, 還優(yōu)化Cache的管理以減少擦寫(xiě)及壞塊的產(chǎn)生,并同時(shí)支持在長(zhǎng)時(shí)間使用后根據(jù)用戶(hù)情況來(lái)云控調(diào)整壞塊預(yù)留區(qū), 保證系統(tǒng)的穩(wěn)定性.”
小米知道自己在說(shuō)什么嗎?云控調(diào)整壞塊預(yù)留區(qū)！?這個(gè)人是不是不知道他在說(shuō)什么.
如果小米真的做了,那么只需要一個(gè)OTA的BUG,就可以瞬間摧毀所有的數(shù)據(jù)安全！并且毫無(wú)后悔藥可言.
FTL對(duì)物理區(qū)塊的映射是非線性的,一旦變動(dòng)就需要進(jìn)行整體的重新調(diào)整,在任何的FW固件更新之前所有的廠商都會(huì)告訴你可能存在的丟失數(shù)據(jù)的風(fēng)險(xiǎn),并且在沒(méi)有BUG的前提下極少進(jìn)行FW固件的調(diào)整與升級(jí).
所有的壞塊統(tǒng)計(jì)和測(cè)試,都是一種推測(cè)、都是不完全可信的,Samsung和YMTC的0E事件已經(jīng)向我們證明了這點(diǎn).而小米在調(diào)整壞塊預(yù)留區(qū)的過(guò)程勢(shì)必會(huì)進(jìn)行FTL重建與升級(jí),而之前的標(biāo)記的壞塊時(shí)候還被正確屏蔽、磨損平衡是否還生效?這些全部都是未知數(shù)！
我再說(shuō)一次,這個(gè)事情沒(méi)有任何原廠、沒(méi)有任何例如金士頓、dapustor和memblaze之類(lèi)的高級(jí)第三方曾經(jīng)做過(guò),據(jù)我所知業(yè)界也完全沒(méi)有對(duì)這方面的研究.小米這樣做的潛在風(fēng)險(xiǎn)如何解決?甚至激進(jìn)點(diǎn)說(shuō),出了問(wèn)題誰(shuí)背鍋?
“按照目前重度用戶(hù)的模型來(lái)評(píng)估, 在每天寫(xiě)入40GB數(shù)據(jù)的條件下, 256GB的擴(kuò)容芯片依然可以保證超過(guò)10年, 512GB可以超過(guò)20年, 請(qǐng)大家放心.”
“重度用戶(hù)的模型是什么?”,剩余可用空間多大、已寫(xiě)入數(shù)據(jù)的隨機(jī)度如何?
“每天寫(xiě)入40G數(shù)據(jù)的條件下”,寫(xiě)入40G什么數(shù)據(jù),是BS=4K的隨機(jī)零碎文件還是BS=1m的大塊順序文件?這兩者造成的WAF以及性能下降完全不一樣！完全沒(méi)有可比的價(jià)值！
“256GB的擴(kuò)容芯片依然可以保證超過(guò)10年”,用什么模型推測(cè)的,依然可以保證超過(guò)10年是按照J(rèn)EDEC218B進(jìn)行的測(cè)試、還是平均速度明顯下滑就算不可用,亦或者是能點(diǎn)亮就算成功?
“要保障最佳的存儲(chǔ)體驗(yàn),需要實(shí)現(xiàn)主機(jī)文件系統(tǒng)和UFS的深度協(xié)同,這在之前FBO煥新存儲(chǔ)功能已經(jīng)體現(xiàn)過(guò),相同的理念,小米在主機(jī)端也基于文件管理深度介入了UFS的資源管理,通過(guò)軟件實(shí)現(xiàn)“數(shù)據(jù)非必要不寫(xiě)入(UFS)”,通過(guò)軟件+固件實(shí)現(xiàn)“寫(xiě)入數(shù)據(jù)非必要不遷移”,減少寫(xiě)入量的同時(shí)也實(shí)現(xiàn)了更好的wear-leveling和WAF”
前者是寫(xiě)到DRAM里面,是一個(gè)好事,這點(diǎn)值得表?yè)P(yáng)！
后者是SLC cache釋放不積極,在手機(jī)這個(gè)極小容量、實(shí)時(shí)回收極差的情況下,用戶(hù)可能下載幾個(gè)視頻就直接面臨slc cache write back懲罰,導(dǎo)致速度的極度下滑.當(dāng)然,具體的策略是小米來(lái)定奪.SLC釋放的積極程度是一個(gè)無(wú)解的難題：正如同股東SLC cache與全盤(pán)模擬的爭(zhēng)論一樣,是一把雙刃劍.
在這段中,沒(méi)有什么毛病,盡管他還是一樣沒(méi)有展示出任何的數(shù)據(jù),但最起碼沒(méi)有那么吹牛了.
“為了供應(yīng)鏈安全,我們采購(gòu)了多家存儲(chǔ)芯片,雖然小米向供應(yīng)商share了所有的技術(shù),但有些廠商還沒(méi)來(lái)得及適配, 其實(shí)上市前幾天還有反對(duì)意見(jiàn),最后是雷總拍板：好技術(shù)不要浪費(fèi),給大家講清楚就行,多8G/16G就當(dāng)是享受技術(shù)帶來(lái)的快樂(lè),沒(méi)有也是正常的,希望大家理解.
在小米的推動(dòng)下, 國(guó)內(nèi)外主流存儲(chǔ)芯片廠商會(huì)陸續(xù)適配.”
畫(huà)大餅環(huán)節(jié)來(lái)了：有些廠商沒(méi)有來(lái)得及適配、會(huì)陸續(xù)適配,這不就是領(lǐng)導(dǎo)畫(huà)大病時(shí)候的經(jīng)典再現(xiàn)嗎?原廠們誰(shuí)打算適配、誰(shuí)打算支持、誰(shuí)打算跟進(jìn),把名字寫(xiě)出來(lái),一起發(fā)論文、發(fā)展示,不要把這些東西停留在通稿的吹牛上！
“這個(gè)技術(shù)別的廠商可以用嗎?小米已經(jīng)把標(biāo)準(zhǔn)貢獻(xiàn)給了UFS協(xié)會(huì)組織,為了尊重原創(chuàng),我們要求芯片廠商做了一點(diǎn)時(shí)間保護(hù)期, 不久的將來(lái),各大手機(jī)廠商應(yīng)該都會(huì)適配這個(gè)功能.”
繼續(xù)畫(huà)大餅,應(yīng)該都會(huì)適配,說(shuō)話留余地的藝術(shù)來(lái)了：我努力一下應(yīng)該可以上清華,我在未來(lái)可能拿到諾貝爾獎(jiǎng),我們組明年不出意外的話應(yīng)該可以發(fā)114514篇SCI.語(yǔ)言的藝術(shù)就是如此,他的確沒(méi)有欺騙你,但和你想的也不一樣.
當(dāng)然,我不認(rèn)識(shí)做UFS那邊的朋友,我會(huì)通過(guò)我的消息來(lái)源與關(guān)系詢(xún)問(wèn)YMTC、Samsung、KIOXIA、solidigm的朋友,看看這個(gè)所謂的新技術(shù),是否能在JEDEC上通過(guò).
這些騙騙小白的東西,別把自己騙進(jìn)去了,沒(méi)有任何明確的數(shù)據(jù)、沒(méi)有任何明確的指向,是不是小米在手機(jī)圈這種水平的洼地混久只會(huì)發(fā)通稿,忘記了到底什么叫做科技公司、半導(dǎo)體廠商應(yīng)該做些什么?
通稿好發(fā),當(dāng)然可以請(qǐng)KOL一頓亂吹,畢竟所有的手機(jī)廠商都是那么做的：IQOO的獨(dú)顯、華為的GPU tubro、小米的攝影、Sony的拍攝電影感、一加的游戲針對(duì)優(yōu)化.但那些技術(shù)、事實(shí)不會(huì)因?yàn)橥ǜ宥淖?科學(xué)只看論文、只看有公信力的報(bào)告和展示,不會(huì)相信那些無(wú)意義的、充斥著營(yíng)銷(xiāo)和欺騙的通稿.
https:///SUPERNAND (二維碼自動(dòng)識(shí)別)
