了解金山云最新資訊
2023-11-30 00:00:00
近期，金山云對(duì)象存儲(chǔ)上線(xiàn)以固態(tài)硬盤(pán)（SSD）為存儲(chǔ)介質(zhì)的KS3極速型產(chǎn)品，可提供1Tbps/PB的兌付帶寬，相較基于機(jī)械硬盤(pán)（HDD）的對(duì)象存儲(chǔ)性能提升了上百倍，能為AIGC、存算分離、動(dòng)漫渲染和高性能計(jì)算等場(chǎng)景提供強(qiáng)有力的存儲(chǔ)解決方案。
開(kāi)箱即用 提供1Tbps/PB兌付帶寬
在性能方面，金山云KS3極速型根據(jù)容量大小提供PL3、PL2和PL1三種性能級(jí)別供用戶(hù)選擇，可提供的兌付帶寬分別為1Tbps/PB、500Gbps/PB和200Gbps/PB。這一性能提升有賴(lài)于金山云對(duì)SSD并發(fā)能力的充分利用?；赟SD，金山云KS3極速型重新設(shè)計(jì)了垃圾回收機(jī)制，采用了零成本空間回收技術(shù)，同時(shí)解決了SSD的壽命和性能兩大問(wèn)題。
除SSD介質(zhì)優(yōu)化外，金山云KS3極速型還在接入層對(duì)現(xiàn)有的線(xiàn)程調(diào)度模型做了大量的優(yōu)化，如優(yōu)化了內(nèi)存的零拷貝以及異步化等。通過(guò)優(yōu)化內(nèi)部調(diào)度模型，有效防止長(zhǎng)尾任務(wù)對(duì)請(qǐng)求的阻塞。同時(shí)，KS3極速型采用了兩級(jí)兩維度的優(yōu)先級(jí)調(diào)度策略，通過(guò)賦予不同的優(yōu)先級(jí)來(lái)保證高優(yōu)先級(jí)的任務(wù)能夠得到及時(shí)響應(yīng)。
針對(duì)不同場(chǎng)景，KS3極速型提供的帶寬能力可根據(jù)數(shù)據(jù)量動(dòng)態(tài)延伸，容量越大，可提供的帶寬也越大。同時(shí)，KS3極速型還提供小時(shí)級(jí)調(diào)整性能及帶寬的彈性擴(kuò)容能力。在大幅提升性能的同時(shí)，KS3極速型還真正實(shí)現(xiàn)了“開(kāi)箱即用”。KS3極速型完全兼容現(xiàn)有KS3訪(fǎng)問(wèn)API和SDK，用戶(hù)在業(yè)務(wù)側(cè)無(wú)需做任何修改，在創(chuàng)建極速型Bucket后即可直接使用。
面向AIGC、存算分離等場(chǎng)景
助力客戶(hù)降本增效
在A(yíng)IGC場(chǎng)景下，大模型的訓(xùn)練需要非常高的IO吞吐，而存儲(chǔ)性能在這一過(guò)程中扮演著關(guān)鍵角色，存儲(chǔ)的讀寫(xiě)速度和穩(wěn)定性會(huì)對(duì)模型的訓(xùn)練效率產(chǎn)生重大影響。因此，優(yōu)化存儲(chǔ)性能對(duì)于提高大型模型的訓(xùn)練效率和降低成本具有至關(guān)重要的意義。
以175B的大模型為例，假設(shè)對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)量為40TB。如果使用標(biāo)準(zhǔn)對(duì)象存儲(chǔ)，按照20Gbps/PB的吞吐能力計(jì)算，加載所有訓(xùn)練數(shù)據(jù)至少耗時(shí)535min。如果使用KS3極速型對(duì)象存儲(chǔ)，按照1Tbps/PB的吞吐能力，則最少可以在11min內(nèi)完成所有數(shù)據(jù)的加載。
另一方面，在模型的生成過(guò)程中，一個(gè)175B模型單次Checkpoint數(shù)據(jù)量約為2.8TB。如果使用標(biāo)準(zhǔn)對(duì)象存儲(chǔ)，單次Checkpoint寫(xiě)入時(shí)長(zhǎng)約為37min。而極速型對(duì)象存儲(chǔ)可在最短45s內(nèi)完成寫(xiě)入操作。寫(xiě)入時(shí)長(zhǎng)縮短到原來(lái)的約 1/50。
綜合數(shù)據(jù)的加載和寫(xiě)入，在考慮到GPU和高速網(wǎng)絡(luò)的成本遠(yuǎn)高于存儲(chǔ)成本的情況下，假設(shè)大模型單次訓(xùn)練時(shí)長(zhǎng)為1周，整個(gè)過(guò)程中包含1次完整的數(shù)據(jù)加載，和大概500次的Checkpoint寫(xiě)入。若采用基于全閃的極速型對(duì)象存儲(chǔ)，不僅能縮短約39%的訓(xùn)練時(shí)間，還能降低約37%的總成本。
在大數(shù)據(jù)存算分離場(chǎng)景下，基于HDD的傳統(tǒng)對(duì)象存儲(chǔ)因性能有限，大多需要額外的緩存層來(lái)滿(mǎn)足業(yè)務(wù)的高性能需求。緩存層會(huì)引入一系列問(wèn)題，如初次加載的過(guò)長(zhǎng)等待、緩存命中率及緩存空間帶來(lái)的成本和運(yùn)維成本等。而全閃對(duì)象存儲(chǔ)能夠提供與緩存層相近甚至更高的讀寫(xiě)寬帶，同時(shí)不會(huì)因緩存層引入額外的工作流成本，能更好地釋放存算分離結(jié)構(gòu)的靈活性?xún)?yōu)勢(shì)。
金山云相關(guān)負(fù)責(zé)人表示：“在KS3極速型的基礎(chǔ)上，我們制定了‘三步走’戰(zhàn)略。第一步是實(shí)現(xiàn)高吞吐、低損耗；第二步是實(shí)現(xiàn)帶寬和磁盤(pán)的交付率，這也是目前所處的階段；第三步是實(shí)現(xiàn)全鏈路的更高性能?！蔽磥?lái)，金山云將不斷加強(qiáng)基于全閃介質(zhì)的技術(shù)和產(chǎn)品能力，結(jié)合QLC技術(shù)的發(fā)展，以成本為切入點(diǎn)，打造高性?xún)r(jià)比、高性能對(duì)象存儲(chǔ)產(chǎn)品，為行業(yè)和用戶(hù)創(chuàng)造更大的使用價(jià)值。