大模型創(chuàng)業(yè)太累，大模又一大牛決定重回大廠。型創(chuàng)
Yi Tay，業(yè)太曾是牛逃Reka AI聯(lián)合創(chuàng)始人，也曾是回大還胖谷歌大模型PaLM、UL2、廠融Flan-2、資億捉襟Bard的美金重要參與者。
本周是見肘斤他回到谷歌的第一周，也是大模他離職創(chuàng)業(yè)一年半之后，選擇回歸老身份的型創(chuàng)開始。
他將繼續(xù)擔(dān)任谷歌DeepMind高級研究員，業(yè)太向谷歌大神、牛逃也是回大還胖他之前的老板Quoc Le匯報。
回顧過去這段創(chuàng)業(yè)經(jīng)歷，廠融他表示學(xué)到了很多，比如基礎(chǔ)設(shè)施方面的知識、如何從頭開始訓(xùn)練大模型等等。
但與此同時，他也經(jīng)歷了一些不那么好的時刻：
公司費勁籌集的一億多美金，對于一個不到15個人的團隊仍然緊張，還差點賣身自救。
個人層面，他的身心健康受到了很大影響。由于工作強度大和不健康的生活方式，他還長胖了15公斤。
為此他表示：
放棄舒適區(qū)并創(chuàng)業(yè)對我個人來說真的很可怕。
大牛重回谷歌大廠
去年三月末，他官宣離職谷歌參與創(chuàng)業(yè)RekaAI，并擔(dān)任該公司的首席科學(xué)家。
在此之前，他在谷歌大腦工作了3.3年，參與諸多大模型的研究，撰寫累計約45篇論文，其中16篇一作，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，約20次產(chǎn)品發(fā)布，妥妥大牛一位。
從技術(shù)角度上講，他坦言學(xué)到了很多關(guān)于在谷歌沒法學(xué)到的知識。
比如學(xué)會使用Pytorch/GPU 和其他外部基礎(chǔ)設(shè)施，以成本最優(yōu)的方式從頭構(gòu)建非常好的模型。
為此他還在個人網(wǎng)站上分享了相關(guān)經(jīng)驗：訓(xùn)練模型的首要條件是獲取計算能力，但這一過程就好像買彩票。
并非所有硬件都是一樣的。不同算力提供商的集群質(zhì)量差異非常大，以至于要想訓(xùn)練出好的模型需要付出多大的代價，這簡直就是在抽簽。簡而言之，LLM 時代的硬件彩票。 這與在谷歌使用TPU相比，這些GPU的故障率讓他大吃一驚。
此外他還吐槽外部代碼庫的質(zhì)量遠(yuǎn)遠(yuǎn)落后谷歌的質(zhì)量，這些代碼庫對大規(guī)模編碼器-解碼器訓(xùn)練的支持非常少。
但這種持續(xù)遇到問題持續(xù)解決的經(jīng)驗， 并非痛苦反而很有趣，并且最終憑借著自身技術(shù)實力也挺了過來。
在創(chuàng)業(yè)初期，他們的旗艦?zāi)Ｐ蚏eka Core在Lmsys首次亮相，就躋身第7位，公司排名前五，實現(xiàn)了對GPT-4早期版本的超越。
目前他們主要有四個模型，適用于不同的應(yīng)用場景。
而真正“打倒”他驅(qū)使他離職的，是更為現(xiàn)實的原因。
就公司層面來說，作為初創(chuàng)企業(yè)，其資金、算力和人力跟其他實驗室相比都要少得多。
就算他們分批籌集了一億多美金，對于一個不到15人的團隊仍然不夠。
今年5月Reka AI還被曝出賣身自救，Snowflake正就以超過 10 億美元收購Reka AI的事宜談判。
不過現(xiàn)在來看，收購事宜還沒有談成。在Yi Tay宣布新動向后，他們緊急發(fā)聲，現(xiàn)在公司還在積極招人ing。
而就他個人來說，這是段非常緊張的時期。尤其剛開始創(chuàng)業(yè)的時候妻子懷孕，他不得不同時兼顧兩邊，由此身心健康受到很大的損害。
并且由于高強度的工作和不健康的生活方式，他長胖了15公斤。
不過他自己也曾透露過自己有睡眠障礙。
種種原因，他決定重回谷歌，回歸到一個研究者的身份。
在初創(chuàng)企業(yè)世界探索了一年半之后，我決定回歸我的研究根基。
在分享經(jīng)歷的開始，他寫下了這樣一句話。
回到谷歌之后，他將探索與大模型相關(guān)的研究方向，以高級研究員的身份，向大神Quoc Le匯報。
在博客的最后，他感謝了創(chuàng)業(yè)這段時間始終聯(lián)系的谷歌老朋友。
并且還特地感謝了在新加坡同他共進晚餐的Jeff Dean，并且提醒他Google 很棒。（Doge）
谷歌老同事：歡迎回來
一些谷歌老同事在底下紛紛表示：Welcome back！感覺像是過了十年。
值得一提的是，像這種大牛重返大廠并非個例。
今年8月谷歌以25億美元打包帶走了明星AI獨角獸Character.AI的核心技術(shù)團隊，遠(yuǎn)高于Character.AI 10億美元的估值。
其中包括兩位創(chuàng)始人——Transformer“貢獻最大”作者Noam Shazeer和Daniel De Freitas。其中Noam Shazeer出任Gemini聯(lián)合技術(shù)主管。
這樣看起來，對于這些大牛來說，大模型創(chuàng)業(yè)確實不易，重返大廠確實是個不錯的選擇，至少錢夠算力夠、安安心心做研究。
而隨著新一輪的洗牌期到來，更多技術(shù)大牛朝著科技巨頭聚攏，也已經(jīng)初見端倪。
