華為云GaussDB(DWS)實(shí)時數(shù)倉四大黑科技，支撐高并發(fā)高性能實(shí)時數(shù)據(jù)分析

隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展，實(shí)時數(shù)據(jù)分析應(yīng)用的業(yè)務(wù)需求量日益增長，例如實(shí)時推薦、實(shí)時風(fēng)控、實(shí)時監(jiān)測、精準(zhǔn)營銷等，數(shù)據(jù)實(shí)時處理能力成為企業(yè)提升競爭力的一大因素。華為云GaussDB(DWS)實(shí)時數(shù)倉提供即開即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)倉庫服務(wù)，支撐高并發(fā)高性能實(shí)時數(shù)據(jù)分析。4月8日，在華為云TechWave全球技術(shù)峰會數(shù)據(jù)使能分論壇上，GaussDB(DWS)技術(shù)專家詳談實(shí)時數(shù)倉黑科技。

GaussDB(DWS)實(shí)時數(shù)據(jù)分析技術(shù)架構(gòu)基于企業(yè)級內(nèi)核，采用統(tǒng)一SQL引擎，多引擎協(xié)同，實(shí)現(xiàn)數(shù)據(jù)體系內(nèi)自閉環(huán)，從而達(dá)到一份數(shù)據(jù)多個引擎調(diào)用，高效多維度分析。依據(jù)流數(shù)據(jù)和時序數(shù)據(jù)特征打造出從優(yōu)化器、執(zhí)行器到存儲的全系列、高性能、可擴(kuò)展的實(shí)時數(shù)倉，提供四大技術(shù)創(chuàng)新：

1.CEP引擎告別T+1模式

改變傳統(tǒng)數(shù)據(jù)先入庫再查詢的分析模式，CEP引擎提供流計算能力：數(shù)據(jù)先計算分析，并實(shí)時反饋計算結(jié)果，計算結(jié)果可以繼續(xù)進(jìn)行下一步計算或者保存，大大降低了數(shù)據(jù)處理時延。

2.1=N：GaussDB(DWS)實(shí)時數(shù)倉=Flink/SparkStreaming+Druid+InfluxDB……

國內(nèi)首創(chuàng)在同一套系統(tǒng)內(nèi)實(shí)現(xiàn)流和時序數(shù)據(jù)的處理和預(yù)聚合操作，減少數(shù)據(jù)跨系統(tǒng)間遷移，降低冗余存儲和加載時間，最大化的利用系統(tǒng)緩存，提高處理效率。

3.預(yù)置豐富時序、流處理函數(shù)，一切皆SQL

采用最簡潔高效的數(shù)據(jù)開發(fā)語言SQL，并預(yù)置豐富的時序和流處理函數(shù)，通過SQL即可完成復(fù)雜流式計算，可實(shí)現(xiàn)億級數(shù)據(jù)，秒級聚合，極大簡化應(yīng)用開發(fā)。

4.高達(dá)40:1的壓縮比，極大節(jié)約存儲成本

通過自適應(yīng)壓縮算法，充分利用行列混合存儲+時序數(shù)據(jù)專用壓縮算法優(yōu)勢，實(shí)現(xiàn)低時延查詢和高效存儲。

技術(shù)專家還分享了實(shí)時智能監(jiān)控平臺的實(shí)踐，傳統(tǒng)數(shù)據(jù)倉庫單節(jié)點(diǎn)入口性能和散列度存在瓶頸，GaussDB(DWS)實(shí)時數(shù)倉單節(jié)點(diǎn)入庫性能超過10w/s，支持千萬級散列度計算，徹底解決時序數(shù)據(jù)和流數(shù)據(jù)“裝不進(jìn)”和“算不動”的問題。

目前GaussDB(DWS)實(shí)時數(shù)倉已經(jīng)正式發(fā)布公測。華為云GaussDB(DWS)實(shí)時數(shù)倉仍將不斷迭代優(yōu)化，為企業(yè)用戶提供更強(qiáng)大的實(shí)時數(shù)據(jù)分析能力。