近期,火山引擎DataLeap上線“動(dòng)態(tài)探查”能力,為用戶提供全局?jǐn)?shù)據(jù)視角、完善的抽樣策略,提高數(shù)據(jù)探查的靈活度以及響應(yīng)速率。
傳統(tǒng)的數(shù)據(jù)探查是基于庫表的全量探查,由后端引擎執(zhí)行,通過自動(dòng)化檢查數(shù)據(jù)成分、關(guān)系、格式等,以報(bào)告形式展示探查后列的統(tǒng)計(jì)分布結(jié)果,避免數(shù)據(jù)質(zhì)量導(dǎo)致項(xiàng)目開發(fā)、上線出現(xiàn)問題,主要應(yīng)用于元數(shù)據(jù)管理、數(shù)據(jù)研發(fā)、數(shù)倉開發(fā)以及數(shù)據(jù)治理等環(huán)節(jié),滿足使用者對(duì)數(shù)據(jù)質(zhì)量初探的需求。
【資料圖】
但在數(shù)據(jù)量級(jí)大、用戶需要探查數(shù)據(jù)明細(xì)或需要數(shù)據(jù)預(yù)處理操作時(shí),由于傳統(tǒng)的數(shù)據(jù)探查要對(duì)全量表進(jìn)行檢測,導(dǎo)致無法實(shí)時(shí)產(chǎn)出報(bào)告、等待時(shí)間變長,靈活度低,且無法跟蹤數(shù)據(jù)明細(xì)。
針對(duì)上述痛點(diǎn),火山引擎DataLeap在傳統(tǒng)數(shù)據(jù)探查基礎(chǔ)能力上,進(jìn)一步增強(qiáng)了動(dòng)態(tài)探查能力。其特點(diǎn)在于:
● 基于大數(shù)據(jù)預(yù)覽探查,支持對(duì)數(shù)據(jù)進(jìn)行函數(shù)級(jí)別預(yù)處理。
● 數(shù)據(jù)探查結(jié)果秒級(jí)更新、實(shí)時(shí)響應(yīng)。
● 與數(shù)據(jù)監(jiān)控聯(lián)動(dòng),有效打通數(shù)據(jù)探查到質(zhì)量分析閉環(huán)。
據(jù)介紹,DataLeap動(dòng)態(tài)探查的對(duì)象是抽樣數(shù)據(jù),支持連續(xù)抽樣(按照默認(rèn)順序連續(xù)抽樣前x條數(shù)據(jù))、過濾抽樣(使用where過濾語句過濾)、隨機(jī)抽樣(隨機(jī)抽樣x條數(shù)據(jù))3種模式,用戶可對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,實(shí)時(shí)、動(dòng)態(tài)獲得統(tǒng)計(jì)分布結(jié)果,具備靈活度高、實(shí)效性強(qiáng)的特點(diǎn)。
火山引擎DataLeap數(shù)據(jù)探查報(bào)告
目前,DataLeap動(dòng)態(tài)探查可以應(yīng)用在以下三個(gè)場景中:
● 場景1:用于分析型探查場景,用戶可利用hive基本函數(shù),如get_json_object,將列進(jìn)行數(shù)據(jù)提取。
● 場景2:與探查報(bào)告打通,用戶點(diǎn)擊探查報(bào)告中的統(tǒng)計(jì)值,即可跳轉(zhuǎn)到數(shù)據(jù)表格,并應(yīng)用具體行過濾函數(shù)。
● 場景3:用于數(shù)據(jù)過濾后的探查場景,用戶通過過濾和分組條件進(jìn)行寫條件探查,例如校驗(yàn)status=0時(shí)current_price為0的占比。
DataLeap是火山引擎數(shù)智平臺(tái)旗下產(chǎn)品,提供數(shù)據(jù)集成、開發(fā)、運(yùn)維、治理、資產(chǎn)、安全等能力,幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本,加速推動(dòng)企業(yè)的數(shù)字化轉(zhuǎn)型,目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領(lǐng)域。(作者:姚元宇)