發(fā)布時間:2024-12-23 02:49:03 來源:下愚不移網(wǎng) 作者:娛樂
在2024年12月7日的騰訊團(tuán)隊StarRocks Summit 2024上,騰訊游戲數(shù)據(jù)團(tuán)隊孵化打造的游戲數(shù)據(jù)品牌“Deltaverse”正式亮相,并發(fā)布了品牌旗下首個數(shù)據(jù)產(chǎn)品——大數(shù)據(jù)時代的數(shù)據(jù)數(shù)據(jù)智能數(shù)據(jù)助手“UData”。在峰會現(xiàn)場,發(fā)布騰訊游戲數(shù)據(jù)的智能助手技術(shù)負(fù)責(zé)人、資深專家工程師劉巖發(fā)表了主題為《AI時代的騰訊團(tuán)隊湖倉數(shù)據(jù)體系建設(shè)》的演講,分享了騰訊游戲在「AI+湖倉」上的游戲?qū)嵺`經(jīng)驗,以及UData如何幫助騰訊游戲業(yè)務(wù)提升數(shù)據(jù)工作效率。數(shù)據(jù)數(shù)據(jù)
騰訊游戲數(shù)據(jù)負(fù)責(zé)人劉巖在StarRocks Summit發(fā)表主題演講
作為一款問答式智能AI數(shù)據(jù)助手,發(fā)布UData基于大語言模型技術(shù)和湖倉一體架構(gòu)打造,智能助手以新一代AI數(shù)據(jù)資產(chǎn)體系為支撐,騰訊團(tuán)隊資產(chǎn)能被AI理解和使用,游戲能夠提升業(yè)務(wù)需求到數(shù)據(jù)交付的數(shù)據(jù)數(shù)據(jù)準(zhǔn)確率,為用戶提供自然語言交互方式查詢、發(fā)布探索、智能助手分析和可視化數(shù)據(jù)的便捷體驗。
據(jù)劉巖介紹,UData已被應(yīng)用于騰訊游戲內(nèi)部超過80個業(yè)務(wù),SQL代碼編寫效率提高了300%。在人們最關(guān)心的交付準(zhǔn)確率方面,UData的一次性準(zhǔn)確率達(dá)到89%,已滿足實際業(yè)務(wù)場景需求。
UData產(chǎn)品界面
“騰訊游戲現(xiàn)存業(yè)務(wù)每年有數(shù)萬個數(shù)據(jù)挖掘和數(shù)據(jù)提取類需求,相比BI場景,數(shù)據(jù)挖掘需要面對數(shù)萬甚至數(shù)十萬張表,這些表能夠讓AI理解,并且做到人類水平的準(zhǔn)確率,才能滿足實際業(yè)務(wù)場景需求。”劉巖表示:“我們一直在探索如何更好地讓AI能力為數(shù)據(jù)工作賦能,讓AI真正被應(yīng)用到實際業(yè)務(wù)場景中,讓Data+AI成為企業(yè)的核心競爭力。UData是騰訊游戲數(shù)據(jù)團(tuán)隊內(nèi)部的最佳實踐,解決了構(gòu)建"Data+AI"體系的關(guān)鍵問題。”
提升AI交付準(zhǔn)確率的關(guān)鍵:需求構(gòu)造和資產(chǎn)建設(shè)
騰訊游戲數(shù)據(jù)團(tuán)隊在大量的實踐和研究分析中發(fā)現(xiàn),在企業(yè)實際業(yè)務(wù)場景中AI寫SQL的準(zhǔn)確率之所以不高,往往并不是大模型能力不足,而是因為兩方面的原因:第一是AI對數(shù)據(jù)需求的理解有歧義;第二是AI對數(shù)據(jù)資產(chǎn)的理解有歧義,大模型沒有獲得完備的信息。
針對這兩個痛點,UData的技術(shù)路線重點就放在了需求構(gòu)造和資產(chǎn)建設(shè)這兩個方向上,通過工程化的方式來提升AI的準(zhǔn)確率。
在需求構(gòu)造上,首先定義AI和人都能理解的需求標(biāo)準(zhǔn),基于定義好的需求標(biāo)準(zhǔn),匹配需求案例和行業(yè)知識,將人提出來的需求改寫成標(biāo)準(zhǔn)的需求格式,消除AI理解需求的歧義。此外,當(dāng)數(shù)據(jù)需求較為復(fù)雜時,需求Agent能把復(fù)雜需求分解成簡單的子需求,降低AI生成難度,通過工程化方式組合成最終結(jié)果,確保穩(wěn)定可控的交付質(zhì)量。
UData需求構(gòu)造流程
舉例來說,當(dāng)用戶提出需求:統(tǒng)計游戲內(nèi)各個玩法、按照每天的參與率排名+次日留存排名+七日留存排名,算一個總排名。UData會去查詢相應(yīng)的游戲領(lǐng)域知識,將這個復(fù)雜需求分拆為4個子需求,分別計算并生成參與率、活躍用戶、玩法參與率、次日和七留的SQL,最后將4個數(shù)據(jù)包SQL結(jié)果合并,生成一個最終的SQL。
在資產(chǎn)建設(shè)方面,為了讓AI能夠更好的理解和使用資產(chǎn),UData打造了基于“AI驅(qū)動的數(shù)據(jù)資產(chǎn)體系”。傳統(tǒng)資產(chǎn)體系存在缺乏非結(jié)構(gòu)化標(biāo)準(zhǔn)、建設(shè)滯后于業(yè)務(wù)需求、治理成本高等問題,不能支持大語言模型實現(xiàn)快速準(zhǔn)確的交付數(shù)據(jù)需求。所以基于“新一代AI數(shù)據(jù)資產(chǎn)”,以讓AI能夠理解并且正確的交付SQL實現(xiàn)自助交付為目標(biāo),定義語義層建模規(guī)范,包括:行業(yè)知識、指標(biāo)、維度、特征、元數(shù)據(jù)等。AI通過理解語意資產(chǎn),對不同的需求采用不同的資產(chǎn)使用策略;對于已經(jīng)有指標(biāo)、維度資產(chǎn)的需求,通過推薦已有看板滿足;對于新的指標(biāo)、新的維度的需求,通過特征資產(chǎn)讓AI生成指標(biāo)、維度來滿足;對于缺少語意資產(chǎn)的需求,AI能夠感知并預(yù)警,補(bǔ)充特征等語意資產(chǎn)后,實現(xiàn)AI資產(chǎn)交付。
傳統(tǒng)數(shù)據(jù)中臺到新一代AI數(shù)據(jù)資產(chǎn)的升級
“新一代AI數(shù)據(jù)資產(chǎn)”能建立從業(yè)務(wù)需求、行業(yè)知識、數(shù)據(jù)結(jié)構(gòu)之間的資產(chǎn)紐帶,通過領(lǐng)域模型進(jìn)行沉淀和推薦,確保資產(chǎn)能被AI理解和使用。
“穩(wěn)定可控的需求構(gòu)造和AI可理解的資產(chǎn)體系,是UData提升AI交付準(zhǔn)確率的關(guān)鍵,也是UData相較于行業(yè)其他產(chǎn)品的差異化優(yōu)勢。”騰訊游戲數(shù)據(jù)技術(shù)負(fù)責(zé)人劉巖表示:“從目前騰訊游戲內(nèi)部的應(yīng)用情況來看,準(zhǔn)確率已經(jīng)能夠穩(wěn)定在89%,我們堅信這個方向是靠譜的。”
基于湖倉一體能力,實現(xiàn)智能動態(tài)的計算加速
為了能夠支持對實時的明細(xì)數(shù)據(jù)進(jìn)行探索和分析,僅僅把SQL寫對是不夠的,傳統(tǒng)的數(shù)倉架構(gòu)(例如:Lambda)大量計算是T+1離線進(jìn)行的,不能支持對所有的數(shù)據(jù)進(jìn)行實時快速查詢。為此,UData對數(shù)據(jù)底座進(jìn)行了升級,采用湖倉一體的架構(gòu),通過數(shù)據(jù)實時接入、虛擬數(shù)倉、冷熱分層等技術(shù)實現(xiàn)對實時明細(xì)數(shù)據(jù)的高效查詢。同時,UData建設(shè)了一個成本效率優(yōu)化引擎,圍繞資產(chǎn)熱度、執(zhí)行速度、數(shù)據(jù)量級三個方向快速定位需要優(yōu)化加速的資產(chǎn),通過資產(chǎn)整合、物化視圖等方式,能夠讓數(shù)據(jù)低成本、高效率的使用。
基于大模型能力,建設(shè)可持續(xù)優(yōu)化的運(yùn)營平臺
以新一代AI數(shù)據(jù)資產(chǎn)為基礎(chǔ),通過通用大模型、領(lǐng)域模型、Agent多智體架構(gòu),AI 能力得到了更好的釋放。
目前,UData能夠適配包括GPT、混元在內(nèi)的多種行業(yè)通用大模型。此外,針對各行各業(yè)的行業(yè)Know-How、企業(yè)知識,UData引入了“領(lǐng)域模型”,通過知識圖譜、語義理解、檢索、排序等技術(shù),幫助大模型更好地理解數(shù)據(jù)資產(chǎn)。
UData系統(tǒng)架構(gòu)
在平臺應(yīng)用流程方面,UData使用Agent多智能體架構(gòu),打造了一個人與AI高度協(xié)同工作、可持續(xù)優(yōu)化的運(yùn)營平臺。將一個Job(工作)分解成若干的Task(任務(wù)),在某些Task上由AI完成,某些Task人與AI協(xié)同完成(需求協(xié)同、驗收協(xié)同),覆蓋從業(yè)務(wù)需求到數(shù)據(jù)交付的全鏈路,各節(jié)點Agent可與用戶實時交互,及時感知問題并進(jìn)行干預(yù)和修正,確保系統(tǒng)的可持續(xù)優(yōu)化。
AI多智能體架構(gòu)
讓AI重構(gòu)數(shù)據(jù)工作的各個領(lǐng)域
UData已被應(yīng)用于騰訊游戲內(nèi)部超過80個業(yè)務(wù),針對MOBA、MMORPG、戰(zhàn)術(shù)競技等不同品類的游戲,UData會基于具體的業(yè)務(wù)個性化需求,進(jìn)行產(chǎn)品的持續(xù)迭代升級。
除了游戲業(yè)務(wù)之外,UData產(chǎn)品能力也可被用在其他行業(yè),諸如餐飲、金融、教育等,助力傳統(tǒng)企業(yè)實現(xiàn)AI數(shù)字化轉(zhuǎn)型,提升數(shù)據(jù)工作效率,并通過新一代AI數(shù)據(jù)資產(chǎn)提升數(shù)據(jù)治理ROI,幫助企業(yè)降本增效。
AI技術(shù)在數(shù)據(jù)工作上的應(yīng)用仍有巨大的潛力,騰訊游戲數(shù)據(jù)團(tuán)隊Deltaverse也在不斷地探索,除了通過AI生成SQL以提升數(shù)據(jù)獲取效率之外,我們還在進(jìn)一步嘗試將“AI+湖倉一體”的能力與更多工具和系統(tǒng)做集成,進(jìn)一步探索挖掘AI的潛力,實現(xiàn)用AI來重構(gòu)數(shù)據(jù)工作的各個領(lǐng)域。
對騰訊游戲數(shù)據(jù)團(tuán)隊Deltaverse、UData以及數(shù)據(jù)技術(shù)感興趣的企業(yè)與合作伙伴,可以登錄Deltaverse官網(wǎng) www.deltaverse.net 查看更多信息,免費申請產(chǎn)品試用。
相關(guān)文章
隨便看看