來(lái)源：中國(guó)網(wǎng)科學(xué)  |  作者：袁夢(mèng)  |  責(zé)任編輯：科學(xué)頻道

隨著B(niǎo)yteHouse內(nèi)外部用戶規(guī)模不斷擴(kuò)大,越來(lái)越多用戶對(duì)數(shù)據(jù)導(dǎo)入提出更高的要求,這也為ByteHouse的數(shù)據(jù)導(dǎo)入能力帶來(lái)了更大的挑戰(zhàn)。

從字節(jié)跳動(dòng)內(nèi)部來(lái)看,ByteHouse主要以Kafka為實(shí)時(shí)導(dǎo)入的主要數(shù)據(jù)源。對(duì)于大部分內(nèi)部用戶而言,其數(shù)據(jù)體量偏大,用戶更看重?cái)?shù)據(jù)導(dǎo)入的性能、服務(wù)的穩(wěn)定性以及導(dǎo)入能力的可擴(kuò)展性。在數(shù)據(jù)延時(shí)性方面,用戶的需求一般為秒級(jí)左右。

據(jù)火山引擎ByteHouse產(chǎn)品專家的介紹,基于以上場(chǎng)景和需求,ByteHouse首先基于ClickHouse引擎進(jìn)行升級(jí),其次又針對(duì)數(shù)據(jù)導(dǎo)入能力進(jìn)行一系列定制性優(yōu)化,主要包括兩個(gè)方面,第一為MaterializedMySQL增強(qiáng);第二個(gè)是HaKafka引擎。

在引擎優(yōu)化方面,在TB級(jí)數(shù)據(jù)量級(jí)下,ClickHouse容易出現(xiàn)集群故障,還存在讀性能較低、耗損內(nèi)存的問(wèn)題。針對(duì)這些痛點(diǎn),ByteHouse自研的HaMergeTree和HaUniqueMergeTree可以降低負(fù)載,確保集群在單節(jié)點(diǎn)故障下能平穩(wěn)運(yùn)行服務(wù),還能平衡讀寫(xiě)性能,保障讀取時(shí)性能一致。

在數(shù)據(jù)導(dǎo)入能力的定制化優(yōu)化方面,社區(qū)版MaterializedMySQL不支持分布式表等功能,也存在無(wú)法定位問(wèn)題、無(wú)法同步狀態(tài)等運(yùn)維問(wèn)題。一方面,通過(guò)構(gòu)建分布式模式的MaterializedMySQL庫(kù),用戶可將每個(gè)表都對(duì)應(yīng)同步至ByteHouse的一個(gè)分布式表,讓數(shù)據(jù)不重復(fù)存儲(chǔ),充分利用分布式集群的計(jì)算能力,又降低了對(duì)源端的同步壓力。另一方面,ByteHouse也提供可視化運(yùn)維的功能,支持同步狀態(tài)和任務(wù)管理,一旦出現(xiàn)系統(tǒng)運(yùn)維故障,用戶會(huì)收到異常警告。

而HaKafka引擎則是ByteHouse推出的一種特殊的表引擎,主要基于 ClickHouse社區(qū)的 Kafka engine進(jìn)行了優(yōu)化。用戶可以通過(guò)一個(gè)Kafka消費(fèi)表、分布式存儲(chǔ)表、物化視圖表,三元組實(shí)現(xiàn)數(shù)據(jù)消費(fèi)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)寫(xiě)入功能。

目前,以上能力已經(jīng)在短視頻、營(yíng)銷實(shí)時(shí)數(shù)據(jù)監(jiān)控、游戲廣告數(shù)據(jù)分析等領(lǐng)域落地。以營(yíng)銷實(shí)時(shí)數(shù)據(jù)監(jiān)控為例,在字節(jié)跳動(dòng)內(nèi)部,活動(dòng)運(yùn)營(yíng)人員需要對(duì)營(yíng)銷活動(dòng)效果進(jìn)行實(shí)時(shí)監(jiān)控,以便通過(guò)實(shí)時(shí)獎(jiǎng)勵(lì)發(fā)放來(lái)動(dòng)態(tài)調(diào)整獎(jiǎng)勵(lì)流量分配,提升ROI收益。這類場(chǎng)景要求數(shù)據(jù)實(shí)時(shí)寫(xiě)入,對(duì)系統(tǒng)性能具備高要求。另外,為保障獎(jiǎng)勵(lì)不會(huì)發(fā)放錯(cuò)誤,系統(tǒng)也需要保證數(shù)據(jù)在傳輸和落盤(pán)時(shí)都不丟失、不重復(fù),且穩(wěn)定運(yùn)行。

火山引擎ByteHouse基于自研HaKafka引擎,能支持流式數(shù)據(jù)實(shí)時(shí)入庫(kù),用自研事務(wù)保障機(jī)制,確保數(shù)據(jù)精準(zhǔn)一次傳輸,最后通過(guò)自研Unique引擎實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)寫(xiě)入實(shí)時(shí)去重。在效果上,ByteHouse可以實(shí)現(xiàn)實(shí)時(shí)寫(xiě)入、實(shí)時(shí)分析30MB/s/node,活動(dòng)運(yùn)營(yíng)人員可以根據(jù)不同用戶群實(shí)時(shí)發(fā)放獎(jiǎng)勵(lì),做到秒級(jí)延遲、秒級(jí)監(jiān)控。