近日,豆包帶有的圖字節(jié)跳動旗下智能AI助手豆包升級文生圖能力,支持一鍵生成指定文本。用戶可以在生圖提示詞中加入文本要求,支持指定如“一張帶有「新年快樂」的圖”,即可生成帶有指定文字的圖片。目前該功能已經(jīng)在豆包APP開啟測試,文字即夢也已小范圍測試。

(用豆包生成帶有文字的片生圖片)

對文生圖模型而言,如何在圖像中精準(zhǔn)生成文本一直是難題,尤其是中文文字,經(jīng)常出現(xiàn)亂碼。據(jù)介紹,已開相比英文字母,漢字字符結(jié)構(gòu)更復(fù)雜,且字符數(shù)量要多兩個數(shù)量級。豆包大模型團隊相關(guān)負責(zé)人表示,啟測豆包文生圖模型通過打通LLM和DIT構(gòu)架,具備更好的原生中文數(shù)據(jù)學(xué)習(xí)能力,并在此基礎(chǔ)上強化了漢字生成能力,大幅提升了生成效果。

據(jù)觀察,豆包帶有的圖已有不少用戶嘗試使用該能力制作表情包、梗圖漫畫,支持指定或輔助生成海報,并在社交媒體平臺發(fā)布。據(jù)介紹,文字當(dāng)前該功能僅支持文生圖時添加文字,暫不支持上傳圖片生成文字。

豆包負責(zé)人表示,片生該能力剛剛推出,仍在完善和優(yōu)化中。目前絕大多數(shù)情況下豆包能夠準(zhǔn)確生成指定文字,已開但仍存在少部分錯字、漏字或小字亂碼等情況。啟測“不管文字、豆包帶有的圖圖片、支持指定還是文字音樂生成功能,豆包都希望能夠降低創(chuàng)作門檻,幫助人們更好地表達和創(chuàng)造。”據(jù)悉,豆包網(wǎng)頁及電腦版也將在近期上線該能力。

豆包是字節(jié)跳動基于豆包大模型推出的AI智能助手,支持手機App、PC 電腦版、網(wǎng)頁版、瀏覽器插件。作為全能AI 助手,豆包能為生活、學(xué)習(xí)、工作提供幫助。用戶可以通過豆包搜索信息,答疑解惑,分析總結(jié),提供靈感,輔助創(chuàng)作,提高生活和學(xué)習(xí)效率。