无码一区二区三区,亚洲精品久久久久久一区二区,好吊视频一区二区三区,亚洲精品一区中文字幕乱码

新聞資訊

了解金山云最新資訊

新聞資訊 > 金山云打造更高性能的數(shù)據(jù)庫(kù)DragonBase
金山云打造更高性能的數(shù)據(jù)庫(kù)DragonBase

2020-12-30 00:00:00

在信息快速發(fā)展多元化的今天,數(shù)據(jù)庫(kù)作為現(xiàn)代信息技術(shù)領(lǐng)域的三大核心基礎(chǔ)之一,重要性愈發(fā)明顯。隨著傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品的熱度逐漸下降,更多的企業(yè)級(jí)用戶逐漸轉(zhuǎn)向云分布式數(shù)據(jù)庫(kù)及開(kāi)源數(shù)據(jù)庫(kù)產(chǎn)品,云化部署模式正在逐漸超越傳統(tǒng)部署模式并成為市場(chǎng)的發(fā)展趨勢(shì)。近日,在全球分布式云大會(huì)分布式數(shù)據(jù)論壇上,金山云數(shù)據(jù)庫(kù)總監(jiān)余邵在分享了《金山云分布式數(shù)據(jù)庫(kù)DragonBase的實(shí)踐與發(fā)展》。


從單體式向分布式演進(jìn) 金山云布局全系數(shù)據(jù)庫(kù)產(chǎn)品


“從單體式向分布式轉(zhuǎn)變,整個(gè)數(shù)據(jù)庫(kù)架構(gòu)發(fā)展大致分為三種形態(tài),金山云布局了全系的數(shù)據(jù)庫(kù)產(chǎn)品”余邵在表示。


第一種是單體式數(shù)據(jù)庫(kù),以主、備架構(gòu)為主,如MySQL、PostgreSQL,優(yōu)勢(shì)是成熟度和穩(wěn)定性較高,其劣勢(shì)在于性能和容量受限單機(jī),在業(yè)務(wù)發(fā)展較快速的情況下,難以滿足業(yè)務(wù)發(fā)展的需求。

第二種是共享式數(shù)據(jù)庫(kù),類(lèi)似于PolarDB、Aurora,優(yōu)點(diǎn)是兼容性高、分鐘級(jí)擴(kuò)展,缺點(diǎn)也顯而易見(jiàn),比如對(duì)硬件要求較高、成本高,由于單點(diǎn)寫(xiě)入,性能只能到十萬(wàn)級(jí),當(dāng)分布式存儲(chǔ)出現(xiàn)故障時(shí)影響面較大,比較適用于公有云的客戶需求。

第三種是分布式數(shù)據(jù)庫(kù),目前比較主流的數(shù)據(jù)庫(kù),主要包含分布式SQL引擎和分布式存儲(chǔ)。其中,分布式SQL引擎在設(shè)計(jì)上各個(gè)廠商實(shí)現(xiàn)的功能基本類(lèi)似。分布式存儲(chǔ)主要包括基于B+ Tree的關(guān)系型存儲(chǔ)和基于LSM Tree的KV存儲(chǔ)。對(duì)比前兩種架構(gòu),分布式數(shù)據(jù)庫(kù)在計(jì)算能力或存儲(chǔ)能力可以很好地實(shí)現(xiàn)水平擴(kuò)展,不足之處在于兼容部分SQL語(yǔ)法和功能方面,不過(guò)仍然存在很大的提升空間。


“金山云在這三種架構(gòu)類(lèi)型的數(shù)據(jù)庫(kù)上都做了布局,包括單體式的RDS、共享式的KingDB以及分布式的DragonBase?!庇嗌墼诒硎尽?/p>



金山云布局全系數(shù)據(jù)庫(kù)產(chǎn)品,在資源層面,金山云公有云上提供了輕量級(jí)LXC和KVM,基于K8S的容器化正在研發(fā)中;存儲(chǔ)可以提供本地磁盤(pán)、云磁盤(pán)、對(duì)象存儲(chǔ)等;在引擎類(lèi)層面,分為關(guān)系型產(chǎn)品MySQL、PgSQL、KingDB等,NoSQL包括Redis、MongoDB、InfluxDB等數(shù)據(jù)庫(kù)產(chǎn)品;在服務(wù)層面,提供數(shù)據(jù)傳輸DTS、分布式事務(wù)DTX、安全審計(jì)DBAudit、數(shù)據(jù)管理DMS以及數(shù)據(jù)備份DBS等服務(wù)。


“客戶想用你的數(shù)據(jù)庫(kù)產(chǎn)品,數(shù)據(jù)遷移不可避免,DTS就是解決數(shù)據(jù)遷移的服務(wù)類(lèi)產(chǎn)品。有些傳統(tǒng)行業(yè)使用Oracle等商業(yè)數(shù)據(jù)庫(kù)的,我們也需要提供異構(gòu)數(shù)據(jù)遷移的能力。一些傳統(tǒng)行業(yè)做集中式核心系統(tǒng),往分布式架構(gòu)去轉(zhuǎn)型,會(huì)涉及到服務(wù)的拆分,對(duì)于跨服務(wù)的分布式事務(wù),就需要用到像DTX這樣的分布式事務(wù)的中間件服務(wù)?!庇嗌墼诒硎荆送鈱徲?jì)、管理、備份等重要的增值服務(wù),我們也提供了不同的產(chǎn)品解決方案。


其實(shí)早在2016年金山云就已經(jīng)發(fā)布了DragonBase單體版本,2017-2018年深度優(yōu)化單體版本穩(wěn)定性和性能,2019年發(fā)布DragonBase分布式1.0版本,2020年發(fā)布升級(jí)版本2.0支持分布式事務(wù)、分布式計(jì)算、高可用、彈性擴(kuò)展、安全審計(jì)、數(shù)據(jù)強(qiáng)一致、災(zāi)備恢復(fù)、云管平臺(tái)和數(shù)據(jù)遷移等諸多核心能力,正在研發(fā)的DragonBase3.0版本將在Oracle兼容、分布式計(jì)算引擎和自動(dòng)化運(yùn)維等方面進(jìn)行迭代。目前,DragonBase已在金融、互聯(lián)網(wǎng)、政企等多領(lǐng)域?qū)嵺`應(yīng)用,提供穩(wěn)定、高性能、安全可靠的數(shù)據(jù)庫(kù)服務(wù)。



余邵在講到,DragonBase總體架構(gòu)主要由數(shù)據(jù)庫(kù)云平臺(tái)和內(nèi)核組成。其中,云平臺(tái)可以提供數(shù)據(jù)庫(kù)的資源調(diào)度、故障切換、監(jiān)控運(yùn)維、數(shù)據(jù)校驗(yàn)等能力,并采用容器來(lái)部署數(shù)據(jù)庫(kù)內(nèi)核,實(shí)現(xiàn)多租戶、資源隔離和彈性擴(kuò)展等功能;數(shù)據(jù)庫(kù)內(nèi)核支持單體式和分布式兩種部署形態(tài),采用Share-Nothing架構(gòu),能夠?qū)崿F(xiàn)性能和容量的水平擴(kuò)展,支持Hash、Range、List等分片方式。目前,DragonBase除了能支持X86平臺(tái),像主流的ARM平臺(tái)等也能實(shí)現(xiàn)很好地支持。


六大特性 DragonBase不斷提升的核心能力


“強(qiáng)一致、高可用、易擴(kuò)展、高可靠、高性能、安全性,六大特性成為金山云DragonBase數(shù)據(jù)庫(kù)正在打造和一直不斷提升的核心能力?!庇嗌墼诒硎尽?/p>


在一致性方面,DragonBase的分布式事務(wù),通過(guò)優(yōu)化讀寫(xiě)強(qiáng)一致,性能可以提升30%以上。一是事務(wù)處理優(yōu)化,引入一階段本地事務(wù)+異步管理,能夠提高事務(wù)吞吐;二是全局中心時(shí)鐘優(yōu)化,實(shí)現(xiàn)分布式事務(wù)的分布式一致性讀,通過(guò)使用Batch和Pipeline技術(shù)實(shí)現(xiàn)更小的SQL時(shí)延損耗,實(shí)現(xiàn)RC隔離級(jí)別。


在高可用性方面,提供主動(dòng)+被動(dòng)探活,協(xié)議層和應(yīng)用層探活,支持熔斷機(jī)制,不可用節(jié)點(diǎn)個(gè)數(shù)超過(guò)設(shè)定閾值會(huì)停止切換,通過(guò)人工介入進(jìn)行確認(rèn),避免高可用服務(wù)自身的異常導(dǎo)致大規(guī)模切換,影響服務(wù)可用性,同時(shí)支持“兩地三中心”和“三地五中心”的跨地域高可用部署,提供實(shí)例級(jí)、機(jī)房級(jí)、地域級(jí)的服務(wù)高可用保障,可以確保RTO<30秒。


在易擴(kuò)展方面,DragonBase能夠支持計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的橫向(scale-out)和縱向(scale-up)的擴(kuò)展能力。Scale-out計(jì)算節(jié)點(diǎn)具有實(shí)現(xiàn)集群的吞吐和性能的水平擴(kuò)展的能力,Scale-out存儲(chǔ)節(jié)點(diǎn)支持基于分庫(kù)分表、按子表自動(dòng)遷移,并支持按容量按訪問(wèn)熱度進(jìn)行遷移。Scale-up可以實(shí)現(xiàn)節(jié)點(diǎn)的升配和讀寫(xiě)分離能力,能夠支持多種讀寫(xiě)分離和負(fù)載均衡策略,來(lái)滿足不同業(yè)務(wù)的需求。


在高可靠性方面,考慮到不同業(yè)務(wù)對(duì)數(shù)據(jù)一致性的要求不同,DragonBase支持異步、半同步、強(qiáng)同步三種數(shù)據(jù)同步模式,業(yè)務(wù)可按需調(diào)配。DragonBase的DTS可以支持?jǐn)?shù)據(jù)遷移和跨地域數(shù)據(jù)同步,能夠做到表級(jí)別同步,甚至是行級(jí)別的,延遲能夠在秒級(jí)甚至毫秒級(jí)。除了在線數(shù)據(jù)的可靠性以外,DragonBase還做了離線數(shù)據(jù)可靠性驗(yàn)證。


在高性能方面,DragonBase通過(guò)深度優(yōu)化數(shù)據(jù)庫(kù)內(nèi)核引擎,包括線程池、異步事務(wù)提交和異步死鎖檢測(cè)等多種優(yōu)化技術(shù)?!霸诟卟l(fā)的情況下,DragonBase單節(jié)點(diǎn)性能比社區(qū)版本高40%以上,同時(shí)可以實(shí)現(xiàn)水平擴(kuò)展”余邵在表示。


不僅如此,在實(shí)際運(yùn)維的過(guò)程中,DragonBase的智能管控平臺(tái)提供多維度的監(jiān)控服務(wù),監(jiān)控大屏能夠針對(duì)資源和實(shí)例粒度,展示整體的使用情況。同時(shí),DragonBase具有完備的管理功能,支持實(shí)例創(chuàng)建升級(jí)、備份恢復(fù)、彈性擴(kuò)展、數(shù)據(jù)遷移等,并提供OPENAPI等接口,供應(yīng)用端進(jìn)行創(chuàng)建、刪除、升級(jí)實(shí)例等基本操作。


在互金行業(yè)的災(zāi)備方案中,DragonBase支持兩地三中心,能夠?qū)崿F(xiàn)同城雙活、異地災(zāi)備和單元化,保證每個(gè)AZ里面的應(yīng)用和數(shù)據(jù)都是完整的?!霸跀?shù)據(jù)層面,我們通過(guò)多副本的同步機(jī)制,保證數(shù)據(jù)是一致的。從而保證同地域的RPO趨于0。跨地域則使用DTS異步復(fù)制,通過(guò)并行復(fù)制和靈活任務(wù)調(diào)度等優(yōu)化手段,使得RPO可以達(dá)到秒級(jí)。”余邵在說(shuō)到,在AI場(chǎng)景,面對(duì)海量標(biāo)注信息存儲(chǔ),DragonBase能夠提供上百個(gè)存儲(chǔ)節(jié)點(diǎn),提供百TB級(jí)存儲(chǔ)能力,支撐每秒100w行寫(xiě)入,并執(zhí)行定期穩(wěn)步刪除策略。


從單體式到共享架構(gòu)再到主流的分布式數(shù)據(jù)庫(kù),金山云正在不斷完善并一步步打造更高階性能的數(shù)據(jù)庫(kù)產(chǎn)品,為更多的企業(yè)提供更優(yōu)異的數(shù)據(jù)計(jì)算和存儲(chǔ)服務(wù)。

台中县| SHOW| 乌海市| 健康| 乃东县| 即墨市| 余姚市| 益阳市| 丰都县| 都兰县| 龙南县| 甘德县| 东乡县| 建水县| 宁武县| 黑河市| 博爱县| 尼勒克县| 六安市| 炎陵县| 青神县| 噶尔县| 宜春市| 鸡西市| 晋中市| 南郑县| 柞水县| 鄂伦春自治旗| 科技| 临武县| 泰兴市| 柘荣县| 广西| 九龙坡区| 临高县| 沙田区| 伊春市| 明光市| 信阳市| 鹤峰县| 赤水市|