Gartner在2019年首次提出“數(shù)據(jù)編織”（Data Fabric）的推動(dòng)概念，隨后幾年都把它列為數(shù)據(jù)和分析技術(shù)領(lǐng)域的數(shù)據(jù)重要趨勢(shì)。了解過數(shù)據(jù)編織的編織朋友大致都知道數(shù)據(jù)編織是管理數(shù)據(jù)的架構(gòu)和技術(shù)框架，但更具體的中國(guó)可以落地的內(nèi)容可能知之甚少。

在Gartner今年發(fā)布的企業(yè)數(shù)據(jù)、分析和人工智能技術(shù)成熟度曲線中，落地Gartner將數(shù)據(jù)編織視為可在2-5年內(nèi)落地的推動(dòng)技術(shù)。Aloudata（大應(yīng)科技）CMO 劉靚在最近的數(shù)據(jù)一次采訪中表示，Aloudata對(duì)于國(guó)內(nèi)數(shù)據(jù)編制落地的編織預(yù)期非常樂觀。

Aloudata正在推動(dòng)中國(guó)企業(yè)落地?cái)?shù)據(jù)編織

日前，中國(guó)Aloudata正式發(fā)布了《數(shù)據(jù)編織價(jià)值評(píng)估指南》的企業(yè)白皮書，介紹了數(shù)據(jù)編織的落地價(jià)值主張、實(shí)現(xiàn)機(jī)制，推動(dòng)以及如何進(jìn)行實(shí)踐落地并進(jìn)行價(jià)值評(píng)估，數(shù)據(jù)用來幫助企業(yè)更好地理解并應(yīng)用數(shù)據(jù)編織。編織

劉靚表示，在與大量客戶交流中發(fā)現(xiàn)，企業(yè)普遍對(duì)數(shù)據(jù)編織這一理念關(guān)注度高，但苦于落地實(shí)踐時(shí)經(jīng)常面臨諸多困惑，包括場(chǎng)景如何適配、價(jià)值如何評(píng)估等關(guān)鍵問題，而白皮書針對(duì)這些問題提供了更具針對(duì)性、實(shí)踐性也更強(qiáng)的指南。

白皮書中提到，如今的數(shù)據(jù)管理領(lǐng)域面臨諸多挑戰(zhàn)，包括數(shù)據(jù)需求與鏈路復(fù)雜性的增長(zhǎng)、合規(guī)與跨域以及云環(huán)境的多樣性三大方面挑戰(zhàn)。而數(shù)據(jù)編織被視為未來數(shù)據(jù)管理的核心解決方案，能夠應(yīng)對(duì)復(fù)雜的數(shù)據(jù)環(huán)境，更高效地管理和釋放數(shù)據(jù)價(jià)值。

西卡中國(guó)BI和數(shù)據(jù)負(fù)責(zé)人袁鶯作為特邀嘉賓出席了發(fā)布會(huì)，“我們擁有云上和云下的數(shù)據(jù)資源，這些數(shù)據(jù)跨越不同區(qū)域，并涉及數(shù)據(jù)安全與合規(guī)等問題。如果采用傳統(tǒng)數(shù)據(jù)架構(gòu)整合數(shù)據(jù)，將耗費(fèi)大量成本和精力，也無法保證數(shù)據(jù)的時(shí)效性和可用性，難以有效支持業(yè)務(wù)的數(shù)據(jù)消費(fèi)需求。”她強(qiáng)調(diào)，“采用數(shù)據(jù)編織能夠?qū)⒄麄€(gè)數(shù)據(jù)整合周期縮短 40%，并能適應(yīng)快速變化的業(yè)務(wù)需求，實(shí)現(xiàn)數(shù)據(jù)整合與不斷調(diào)整的并行處理。”

作為國(guó)內(nèi)首個(gè)邏輯數(shù)據(jù)編織平臺(tái)，Aloudata AIR 有三大核心價(jià)值

業(yè)界普遍將數(shù)據(jù)編織定義為一種數(shù)據(jù)架構(gòu)理念，對(duì)其能力邊界尚無明確標(biāo)準(zhǔn)。而Aloudata自研的國(guó)內(nèi)首個(gè)邏輯數(shù)據(jù)編織平臺(tái)Aloudata AIR則清晰定義了“零搬運(yùn)、免運(yùn)維、自治理”的價(jià)值主張，它可以解決數(shù)據(jù)開發(fā)過程中的效率、成本和復(fù)雜性問題。

與業(yè)界許多數(shù)據(jù)虛擬化方案多側(cè)重在數(shù)據(jù)的集成與查詢場(chǎng)景不同，Aloudata AIR將NoETL作為數(shù)據(jù)虛擬化技術(shù)的核心能力，強(qiáng)調(diào)其在數(shù)據(jù)集成、加工與服務(wù)全流程中的價(jià)值，也就是：無需事前搬運(yùn)數(shù)據(jù)、無需事中運(yùn)維ETL任務(wù)、無需事后計(jì)存治理。

“零搬運(yùn)”是指Aloudata AIR通過數(shù)據(jù)虛擬化技術(shù)實(shí)現(xiàn)邏輯集成，秒級(jí)完成數(shù)據(jù)集成后，將跨源、跨引擎的數(shù)據(jù)用一種SQL語(yǔ)言實(shí)現(xiàn)統(tǒng)一查詢?cè)L問。這使得數(shù)據(jù)在整個(gè)開發(fā)和使用過程中無需進(jìn)行物理搬運(yùn)，這種做法不僅避免了數(shù)據(jù)多次復(fù)制造成的存儲(chǔ)和計(jì)算資源浪費(fèi)，而且能更好地保證數(shù)據(jù)實(shí)時(shí)性。

“免運(yùn)維”指的是無需事中運(yùn)維ETL任務(wù)。ETL是數(shù)據(jù)開發(fā)的核心環(huán)節(jié)，但它的操作復(fù)雜，給開發(fā)者帶來了沉重的負(fù)擔(dān)。Aloudata通過查詢加速與任務(wù)下推技術(shù)，在實(shí)現(xiàn)性能加速的同時(shí)自動(dòng)化封裝了復(fù)雜的ETL的任務(wù)開發(fā)和作業(yè)執(zhí)行。邏輯數(shù)據(jù)集變更后，系統(tǒng)自動(dòng)更新下游數(shù)據(jù)，無需繁瑣的手動(dòng)回刷數(shù)據(jù)。這一做法顯著減少了人工干預(yù)和出錯(cuò)風(fēng)險(xiǎn)，使數(shù)據(jù)開發(fā)更敏捷。

“自治理”的核心就是平臺(tái)自動(dòng)感知和優(yōu)化數(shù)據(jù)資源的使用。它不僅會(huì)根據(jù)需求生成物化表來提升查詢速度，降低存儲(chǔ)與計(jì)算成本。它還會(huì)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)消費(fèi)狀態(tài)，如果物化表一段時(shí)間沒人用，系統(tǒng)會(huì)通過自動(dòng)回收來避免資源浪費(fèi)。這樣不僅可以提升資源利用率和查詢性能，還可以減少人力管理的成本。

邏輯數(shù)據(jù)編織平臺(tái) Aloudata AIR通過“零搬運(yùn)、免運(yùn)維、自治理”消除了傳統(tǒng)數(shù)據(jù)開發(fā)中的瓶頸，讓數(shù)據(jù)管理變得更加高效、敏捷，同時(shí)降低了運(yùn)維成本和復(fù)雜性。這三大特點(diǎn)就是Aloudata落地?cái)?shù)據(jù)編織架構(gòu)的核心價(jià)值。

Aloudata提出了一套關(guān)于數(shù)據(jù)編織的價(jià)值評(píng)估框架

在經(jīng)濟(jì)下行、IT預(yù)算緊縮的背景下，很多企業(yè)都非?？粗貙?duì)投資回報(bào)率（ROI）的量化分析，希望能做出更明智的技術(shù)選型決策。為此，Aloudata在《數(shù)據(jù)編織價(jià)值實(shí)現(xiàn)評(píng)估指南》白皮書中，提出了業(yè)界首個(gè)針對(duì)數(shù)據(jù)編織技術(shù)的價(jià)值評(píng)估框架，從三個(gè)評(píng)估維度和兩個(gè)關(guān)鍵指標(biāo)入手，幫助企業(yè)衡量投入產(chǎn)出比。

Aloudata認(rèn)為，要從提升數(shù)據(jù)交付效率、降低數(shù)據(jù)膨脹系數(shù)和減少數(shù)據(jù)管理成本三方面下手評(píng)估數(shù)據(jù)編織架構(gòu)的價(jià)值。

所謂“數(shù)據(jù)交付效率”關(guān)注的是業(yè)務(wù)提出數(shù)據(jù)需求后，能多快得到結(jié)果，能否端到端地提升數(shù)據(jù)集成、整合到服務(wù)的交付效率，把數(shù)據(jù)需求的響應(yīng)周期從周提升到天，實(shí)現(xiàn)數(shù)據(jù)交付10倍提效。

“數(shù)據(jù)膨脹系數(shù)”衡量了數(shù)據(jù)被多次重復(fù)拷貝的情況，關(guān)注那些能導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)資源迅速膨脹的問題，能否從機(jī)制設(shè)計(jì)上系統(tǒng)化地減少數(shù)據(jù)拷貝，節(jié)省存算資源，提升存算的有效性和經(jīng)濟(jì)性，至少節(jié)省30%的存算成本。

“數(shù)據(jù)管理成本”包括數(shù)據(jù)開發(fā)、運(yùn)維和治理中的人力投入與資源消耗。減少這些成本在于通過簡(jiǎn)化系統(tǒng)技術(shù)概念，降低數(shù)據(jù)平臺(tái)上手門檻和減少運(yùn)維成本，并提升數(shù)據(jù)管理的自動(dòng)化水平和逐步增強(qiáng)數(shù)據(jù)平臺(tái)的“智駕”能力，至少節(jié)省70%的數(shù)據(jù)管理成本。

此外，白皮書指出，可以通過“當(dāng)天需求滿足率”和“當(dāng)天數(shù)據(jù)動(dòng)銷率”兩個(gè)關(guān)鍵指標(biāo)進(jìn)行量化評(píng)估，分別從業(yè)務(wù)需求響應(yīng)和數(shù)據(jù)資源利用的視角評(píng)估數(shù)據(jù)編織的實(shí)際價(jià)值。

“當(dāng)天需求滿足率”指的是，業(yè)務(wù)團(tuán)隊(duì)提出的數(shù)據(jù)需求，能在當(dāng)天得到滿足的比例。這是站在業(yè)務(wù)方視角評(píng)估和感受數(shù)據(jù)平臺(tái)能力和價(jià)值的唯一核心指標(biāo)，也是數(shù)據(jù)產(chǎn)生業(yè)務(wù)價(jià)值的重要體現(xiàn)之一。“當(dāng)天數(shù)據(jù)動(dòng)銷率”是指當(dāng)天有更新的數(shù)據(jù)在當(dāng)天或未來一段時(shí)間內(nèi)的使用率。它體現(xiàn)了數(shù)據(jù)的利用效率和價(jià)值產(chǎn)出。如果數(shù)據(jù)長(zhǎng)期未被使用，企業(yè)可以通過優(yōu)化數(shù)據(jù)資產(chǎn)管理回收這些資源，降低存儲(chǔ)和運(yùn)維成本。

依托AloudataAIR，首創(chuàng)證券落地?cái)?shù)據(jù)編織架構(gòu)

首創(chuàng)證券是一家知名券商，數(shù)據(jù)團(tuán)隊(duì)規(guī)模并不大，在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)面臨著人員短缺和Hadoop技術(shù)棧不熟悉的挑戰(zhàn)。傳統(tǒng)Hadoop數(shù)倉(cāng)體系需要龐大的ETL開發(fā)團(tuán)隊(duì)和深厚的技術(shù)積累，而首創(chuàng)證券的數(shù)據(jù)團(tuán)隊(duì)希望能找到一種更加精益的架構(gòu)方案。

經(jīng)過認(rèn)真評(píng)估，首創(chuàng)證券選擇了Aloudata AIR邏輯數(shù)據(jù)編織平臺(tái)。通過這一平臺(tái)，他們構(gòu)建了邏輯數(shù)倉(cāng)，將多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行無縫連接。

具體而言，在ODS（數(shù)倉(cāng)的操作數(shù)據(jù)存儲(chǔ)）層，數(shù)據(jù)通過邏輯連接直接快速集成，無需物理搬運(yùn)。在DWD（數(shù)倉(cāng)的明細(xì)數(shù)據(jù)層）層，數(shù)倉(cāng)沉淀了歷史數(shù)據(jù)。這種分層架構(gòu)不僅簡(jiǎn)化了數(shù)倉(cāng)的結(jié)構(gòu)，還實(shí)現(xiàn)了數(shù)據(jù)的按需加速與物化，提高了數(shù)據(jù)處理的靈活性和經(jīng)濟(jì)性。

此外，首創(chuàng)證券還使用了Aloudata CAN自動(dòng)化指標(biāo)平臺(tái)，形成了從數(shù)倉(cāng)數(shù)據(jù)沉淀到業(yè)務(wù)指標(biāo)開發(fā)的完整自動(dòng)化鏈路。Aloudata AIR負(fù)責(zé)邏輯編織和數(shù)據(jù)沉淀，而Aloudata CAN基于這些明細(xì)數(shù)據(jù)構(gòu)建了業(yè)務(wù)語(yǔ)義模型與指標(biāo)。這一組合讓業(yè)務(wù)指標(biāo)開發(fā)和分析需求變得更高效。

在實(shí)際應(yīng)用中，首創(chuàng)證券的源頭數(shù)據(jù)庫(kù)多達(dá)100多個(gè)，包含數(shù)萬(wàn)張表。在傳統(tǒng)架構(gòu)下，這些數(shù)據(jù)的集成可能需要耗費(fèi)大量時(shí)間和資源，需要處理成千上萬(wàn)的任務(wù)。而通過 Aloudata AIR，這些表在短短一天內(nèi)便完成了集成。

更重要的是，真正沉淀到DWD層的物理表不到100張，極大降低了數(shù)據(jù)管理的復(fù)雜性。首創(chuàng)證券的報(bào)表查詢效率也有了顯著提升，一秒內(nèi)響應(yīng)率達(dá)到95%。這得益于DWD層的加速策略以及應(yīng)用層的查詢自動(dòng)路由機(jī)制，確保了高效的查詢執(zhí)行。

綜上，Aloudata AIR邏輯數(shù)據(jù)編織平臺(tái)與 Aloudata CAN自動(dòng)化指標(biāo)平臺(tái)的結(jié)合，為首創(chuàng)證券帶來了全面的效率提升。無論是數(shù)據(jù)運(yùn)營(yíng)效率、查詢性能，還是管理成本，首創(chuàng)證券的數(shù)據(jù)編織實(shí)踐實(shí)現(xiàn)了質(zhì)的飛躍，為中小型團(tuán)隊(duì)?wèi)?yīng)對(duì)數(shù)據(jù)復(fù)雜性提供了優(yōu)秀的參考案例。