發(fā)布時間:2024-12-22 23:23:03 來源:下愚不移網(wǎng) 作者:焦點
AI大潮下,蘋果科技巨頭蘋果公司日前推出了300億參數(shù)的推出多模態(tài)AI大模型MM1.5,該版本是換代在前代MM1的架構(gòu)基礎(chǔ)上發(fā)展而來的。
該模型繼續(xù)遵循數(shù)據(jù)驅(qū)動的大模訓(xùn)練原則,著重探究在不同訓(xùn)練周期中混合各類數(shù)據(jù)對模型性能產(chǎn)生的擁有自言推影響,相關(guān)模型文檔已在Hugging Face上發(fā)布。然語
MM1.5提供了從10億到300億的蘋果多種參數(shù)規(guī)模,擁有圖像識別和自然語言推理能力。推出
在新版本中,換代蘋果公司的大模研發(fā)人員改進(jìn)了數(shù)據(jù)混合策略,極大地增強了模型在多文本圖像理解、擁有自言推視覺引用與定位以及多圖像推理等方面的然語能力。
參考論文可知,蘋果團隊在MM1.5的推出持續(xù)預(yù)訓(xùn)練階段引入了高質(zhì)量的OCR數(shù)據(jù)和合成圖像描述,這顯著提高了模型對包含大量文本的換代圖像的理解水平。
此外,研究人員在監(jiān)督式微調(diào)階段深入分析了不同數(shù)據(jù)類型對模型表現(xiàn)的作用,優(yōu)化了視覺指令微調(diào)數(shù)據(jù)的混合方式,使得即便是小規(guī)模的模型(如10億、30億參數(shù)版本)也能有出色的發(fā)揮,實現(xiàn)了更高的效率。
值得一提的是,蘋果公司這次還推出了專門用于視頻理解的MM1.5-Video模型和專門處理移動設(shè)備用戶界面(UI)理解的MM1.5-UI模型。
其中,MM1.5-UI模型未來有望成為iOS背后的“蘋果牌”AI,能夠處理各種視覺引用與定位任務(wù),還能總結(jié)屏幕上的功能,或者通過與用戶的對話進(jìn)行交互。
盡管MM1.5模型在多項基準(zhǔn)測試中表現(xiàn)優(yōu)異,但蘋果團隊仍計劃通過進(jìn)一步融合文本、圖像和用戶交互數(shù)據(jù),并設(shè)計更復(fù)雜的架構(gòu),來提升模型對移動設(shè)備UI的理解能力,從而讓“蘋果牌”AI更強大。
相關(guān)文章
隨便看看