3月末,多家海外存儲頭部企業,宣布從4月起提高部分產品報價,國內廠商也隨之上調價格,終結了DRAM內存與NAND閃存的降價勢頭。
多家廠商曾在近期表示,價格上漲速度高于此前預期。“供給側減產,原廠自年初實施了嚴格的控價減產,更主要的動因來自需求側。”某存儲芯片廠商表示,AI應用井噴,驅動存儲芯片市場需求走高。
另一位業內人士提到,根據DeepSeek所發布的產品特征看,對于存儲性能的需求還會再上一個臺階。“從長期來看,對于存儲讀取的需求會越來越高,我們判斷,對推理的存儲讀取性能需求可能會超過訓練的需求。”
大模型時代,外界對于應用側百花齊放更有感知,在追求極致算力時卻忽視了,應用井噴其實對存儲也提出了更高要求。愛分析報告中提到,在同樣GPU算力規模下,存儲性能的高低可能造成模型訓練周期3倍的差異。如吞吐性能達千萬級IOPS、帶寬達TB級、時延低至百微秒,這些在傳統存儲也很難企及的要求,如今已成為AI存儲的入門門檻。
一邊是來自存儲成本的壓力,如今存儲已占到大模型訓練整體成本的10%-20%;另一邊是對于AI存儲的更高性能要求。這讓CTO們追逐大模型時不得不面對這樣的焦慮:如何用更可控的成本,去實現更符合大模型訓推的存力?
這一趨勢,也讓一部分廠商的存儲業務駛入快車道,例如已經過多年京東內部復雜業務驗證的京東云云海。事實上,京東云云海最初和其他互聯網廠商的存儲模塊沒有太大差異,由內部提供監控組件、管控組件、數據庫組件,自己單獨做好存儲產品。一位知情人士提到,“許多云廠商做存儲產品只有兩種路徑,一種是線下私有化的存儲輸出,另一種是找第三方合作。”
從結構上看,大模型訓練在算力比拼的同時,大模型不可能長期“單腳走路”,存力那只“腳”,正在成為AI時代各方競逐的新戰場。
AI時代的存儲標準變了
年初,DeepSeek爆火的一個重要動因,便是緩解了外界對于算力的焦慮,然而卻也讓存力這個隱形且重要的變量,走到臺前。
AI訓練的重心“偏移”首當其沖,思維鏈的巨大潛力將主要訓練場景自預訓練轉移至推理,落地到存儲則是由過去的讀寫并重到更偏向讀。在這一過程中,我們大可堆疊GPU,但在算力單元開“算”前,等待數據從存儲系統到達計算單元的過程才是耗時費力的關鍵。
因此,DeepSeek自研存儲再一次把業內目光拉到了存儲及存儲架構上。DeepSeek 3FS解決方案每秒可以完成6.6TB的數據搬運,相當于1秒鐘傳輸完700部4K高清電影。而自動調取資源,則縮短國產芯片與國際頭部品牌的差距。業內方才后知后覺地反應過來,決定大模型效率的不止是GPU,存儲系統正在成為新的瓶頸。
DeepSeek自研3FS的驅動力,來自不斷增長的推理需求,不得不回頭解決存儲架構。
AI快速發展的大背景下,傳統對象存儲的短板快速暴露,互聯網云廠商通常以私有云或OEM形式輸出存儲能力,缺乏長期、穩定的存儲團隊支撐。而傳統存儲廠商AI訓練的經驗積累又欠火候,尤其是面對當下需求爆發的訓練、推理場景,在應對變化上有些力不能支。
簡要對比幾家存儲產品,可以發現兩個重要信息,?一個是AI存儲的標準已明顯改變,另一個是國內外廠商的差距正在快速縮小。
從存儲性能來看,吞吐量級、有效帶寬與時延都會影響GPU的算力利用率,存儲性能不足造成的GPU閑置,導致模型落地困難、業務成本劇增。去年,一家頭部AI公司因存儲帶寬不足,導致2000張A100顯卡算力利用率長期低于40%,導致單日經濟損失超百萬美元的教訓還歷歷在目。
標準之外,國內外廠商的差距也在明顯縮小。
老牌存儲品牌IBM,已完成了從HPC場景向AI場景的演進,尤其是在AI場景廣泛應用的DDN,在 IOPS、讀/寫帶寬等關鍵性能指標上的表現可圈可點。但與此同時,DDN的技術封閉性和轉優化硬件等因素,客觀上導致用戶建設成本高昂。
DeepSeek自研的3FS是開源新品,表現上不輸老牌存儲,在讀帶寬上,單集群每秒6.6TB,平均單節點每秒36.7GB,悄然抬高AI存儲的入門門檻。同樣開源的還有Ceph,在相同配置規格上的單節點讀、寫帶寬能力分別為單節點5.6GB每秒與4.5GB每秒,IOPS單節點15萬。
除DeepSeek之外,另一家國產廠商京東云云海的表現凸顯,24塊NVMe SSD配置規格下,讀、寫帶寬能力分別為單節點95GB每秒與60GB每秒,IOPS單節點280萬,單路4k讀寫延遲僅為0.5毫秒。京東云云海在提供高性能的同時,適用性較高,可以同時滿足DeepSeek、ChatGPT、LLaMA等20余種主流大模型的存力需求。
需求驅動的存儲的發展固然需要適時而動,但更重要的是前瞻性的布局,讓京東云云海多年的技術儲備迎來了需求推動的東風。
京東云內部向來有“先有京東存儲,后有京東云”的說法,從某種意義上講,京東存儲的發展階段,折射出了需求驅動的變化。
京東云云海誕生于京東電商的大規模高并發場景,這一階段,存儲只是作為基礎設施存在,此時云海主要是解決傳統基礎設施中的存算分離需求,尤其是面對數據庫、中間件、ClickHouse等在線應用敏感型中間件的低延遲要求。
2021年,京東在重慶建立了亞洲最大的超算中心SuperPOD,除了自身公有云之外,想必還存有參與機器學習“競賽”的考量。沒曾想兩年后,ChatGPT爆火,大模型訓練成本、效率的要求越來越高,算力爆發開始帶動存力。而原本便是做高性能存儲的云海突然“坐在了風口上”,承接了這一輪技術紅利而步入快速發展階段。
自身業務的豐富性,以及長期扎根產業的具體場景中,才會出現拉通各家存力性能時,京東云云海在IOPS、帶寬與時延數據的突出表現。
卡位大模型時代的存儲
2008年的一場春運,掀起了高鐵替換傳統內燃機列車的大幕,這才有了海外游客為之驚嘆的四通八達的高鐵交通系統。事實上,基礎設施的超前配置恰是中國經濟、科技發展的一項核心動能。
具體到AI的發展軌跡,我們雖不能透過大模型研發的“黑箱”窺見這么一個確定的時刻,但可以確認的是,在算力焦慮開始演變成“算效”焦慮的當下,存儲性能也是時候迎頭趕上。而滿足大模型時代的存儲需求,也成為京東云云海“卡位戰”的核心目標。
前文提到,從AI訓練的需求來看,存儲性能的考量主要集中在IOPS、時延與帶寬上。
IOPS指的是每秒輸入輸出操作次數,作為衡量存儲性能的重要指標,IOPS越高,設備檢索或存儲數據的速度越快。說白了,存儲的并發吞吐量實際上決定了模型本身剛性的讀取與寫入速度。
另一方面,AI訓練PB級數據規模下的隨機訪問好比人滿為患的超市。不論超市增加多少售貨員,只要售貨員的效率不高,顧客便會在不同隊列中往返等待,待訓練框架吞吐的數據也是如此——空有IOPS而短于時延的性能沒有任何意義。
帶著這樣的標準審視京東云云海的性能表現,不論是打底的千萬級IOPS,還是基于RDMA調優,做到單個小文件訪問時延平均100微秒,我們都能看出京東云云海卡位AI存儲的底氣所在。
更重要的是,其在數據傳輸的帶寬利用率上也接近極致水準。在400GB的IB網絡中,京東云云海存儲的帶寬利用率壓榨到了84%左右,這一指標已然接近理論極限。
隨著性能的“硬提升”,存儲性能與GPU之間的“小馬拉大車”關系迎刃而解,京東云云海亦借此于存儲行業卡住了自己的身位。但緊隨其后的是自內部業務場景走向更廣闊的天地,在其極致性能走進實際場景的過程中,還少不了“軟適配”。
作為不顯于人前的底層基礎設施,存儲不涉及具體應用層產品,在理論上沒有定制化的需要。實際上,不同行業的數據存儲習慣與業務場景千差萬別,存儲產品本身亦需要因地制宜的調優。
例如當下正圍繞智駕展開肉搏的車企,其存儲需求便集中在路況或車機實時采集的數據存儲,以及這些數據湖倉一體化清洗后,高效調用來訓練智駕模型兩方面。尤其是后者,“一旦高端GPU集群有閑置5%左右的時間,他的成本就相當于要重建一套分布式存儲的集群。”
我們了解到,進入國內某智駕實力玩家L3與L4模型研發中的京東云云海,滿足了該企業上百個GPU計算節點在模型訓練過程中訪問存儲數據,并應對計算節點的高并發訪問的需求。
云端之下,面對主要采用一體機為存儲設施的醫療行業,京東云云海亦會在統一存儲引擎的平臺基礎上,向集成商、ISV開放不同能力,共同結合具體的配置容量、盤的個數、規模與存儲介質做深度定制。
自2023年正式步入外部市場的京東云云海,目前已開拓了包括汽車、銀行、券商、零售等領域超100家大型企業。迄今為止,其未曾出現過任何服務中斷的故障。
存儲的中國故事
今年1月,西方世界開始進一步限制AI芯片與技術的出口,而今更直接的“經濟對抗”,更是加速了“以國代進”這個伴隨中國科技力量崛起的宏大敘事。
值此情況下,產業界普遍關注的自研自產的芯片、光刻機等供給或主動或被動地踏上自主創新的道路。但不可忽視的是,存儲同樣是構建完整AI技術體系的“磚瓦”。
礙于存儲相較算力的發展滯后,AI存儲的迭代勢必要“步算力后塵”。
進一步說,曾經不論是老牌廠商還是京東云云海這樣的聚焦AI存儲的廠商,其謀發展都繞不開其系統能力對高端英偉達GPU的適配,而今其存儲系統對國產芯片的適配以及在信創環境下的運行,開始成為當下衡量存儲廠商發展空間的重要參考。
在這一方面,京東云云海的發展歷程頗具代表性。
正如早先提到的“先有京東存儲,后有京東云”,京東早在2012年便開始攻堅存儲,亦在獨自摸索的過程中嘗試過開源架構。后來開源架構運維成本居高不下的問題開始暴露,京東云云海開始All in自研,這才有了2017年開始正式服務于京東公有云的云海1.0架構。
直到現在,京東云云海經歷過底層架構變更、單機房或跨域、冷熱數據管理等技術路線的探索與爭論,但唯一保持不變的是其對自研的持續投入。
直到2022年,互聯網廠商就NLP機器學習的“科研競賽”推動其研發開始聚焦于高性能的能力構建,這才有了如今我們看到的卡位大模型時代的京東云云海。而在此之上,其多年聚焦自研的投入也迎來回報,相較于海外架構與方案,云海更注重平臺對國產硬件的適配。
據悉,京東云云海在信通院評測的代碼自研率達98.9%+,“連開源的一個庫都沒用過”。其在信創環境下的運行,則做到了與操作系統、數據庫、中間件、服務器、CPU、主板、網卡、SSD等主流國產化硬件和軟件兼容互認,最大程度發揮國產硬件的能力。
這一點自京東云云海滿足多個頭部銀行、券商等對信創的硬性需求中,可見一斑。
我們還自某自動駕駛公司處了解到,起初其接觸京東云云海時,便在試行環境下讓云海和海外方案提供商做過一次PK:在20T的模型大小下,兩者同樣在100T左右的數據集訓練中實現了秒級的讀寫。但在基本吞吐性能之外,云海的網絡利用率相較海外廠商高3%,且同等條件下的成本更低。
即使是對國產化要求規格最高的金融行業,自主可控、全棧自研也不過是其挑選提供商的一個要素。相比之下,能否在業務場景中展現出相對其他提供商更高的性價比才是關鍵。
DeepSeek、可靈、通義等名頭打響海外,我們共同見證AI時代下中國科技崛起。在此之下,芯片與存儲對應的算力與存力,亦默默成為“托舉”中國科技前行的力量。
面對國產化替代的歷史機遇,京東云云海于內前瞻布局高性能,于外積極互聯互通,作為AI基礎設施的創新參與者,京東云云海已經代表AI存力市場率先邁出了堅定的一步。