AI電腦操控完整測評(píng):全自動(dòng)搞定崩鐵日常、還能創(chuàng)建爐石卡組
11月25日消息,電腦動(dòng)搞定崩據(jù)媒體報(bào)道,操控測評(píng)常還近日新加坡國立大學(xué)團(tuán)隊(duì),完整在20多個(gè)場景下對(duì)Claude的全自電腦操控能力進(jìn)行了全面測試。
結(jié)果顯示,鐵日AI不僅能自動(dòng)完成手游日常任務(wù),建爐還能執(zhí)行復(fù)雜的電腦動(dòng)搞定崩辦公任務(wù)。
研究中選用了米哈游《崩壞:星穹鐵道》,操控測評(píng)常還可以跟它說”幫我完成今天的完整模擬宇宙”,Claude就能自動(dòng)完成各種任務(wù),全自甚至包括啟動(dòng)自動(dòng)戰(zhàn)斗和等待戰(zhàn)斗結(jié)束后退出,鐵日操作行云流水。建爐
特別值得一提的電腦動(dòng)搞定崩是,這并不是操控測評(píng)常還傳統(tǒng)游戲外掛那樣的機(jī)械操作,Claude還能智能理解游戲規(guī)則和目標(biāo),完整根據(jù)界面上不同的任務(wù)進(jìn)行調(diào)整。
除了《崩壞:星穹鐵道》,AI還能自動(dòng)玩《爐石傳說》,包括創(chuàng)建和重命名牌組、使用英雄技能等。
團(tuán)隊(duì)基于Claude Computer Use的API設(shè)計(jì)了一個(gè)自動(dòng)化GUI框架,該框架包括系統(tǒng)提示、狀態(tài)觀察、推理范式等六個(gè)部分。
AI通過這個(gè)框架能夠執(zhí)行網(wǎng)頁搜索、工作流程模型、辦公生產(chǎn)力軟件等日常辦公場景下的任務(wù)。
例如,在Amazon和Apple官方網(wǎng)站上成功完成下單購物的任務(wù),選擇顏色配置、填寫地址等操作。
雖然AI在復(fù)雜網(wǎng)頁操作和辦公軟件中有部分任務(wù)失敗,但整體表現(xiàn)已相當(dāng)出色,團(tuán)隊(duì)還公開了所有測試用例的具體信息,供有興趣的研究者和開發(fā)者進(jìn)一步探索。