來源" 機(jī)器之心
谷歌內(nèi)部文件又泄露了,這次是谷歌新一代大模型 PaLM 2 的訓(xùn)練細(xì)節(jié): 訓(xùn)練數(shù)據(jù)量是前代的近 5 倍、參數(shù)量是前代的三分之二左右。
【資料圖】
上周四,在 2023 谷歌 I/O 大會上,谷歌 CEO 皮查伊宣布推出 對標(biāo) GPT-4 的大模型 PaLM2 ,并正式發(fā)布預(yù)覽版本,改進(jìn)了數(shù)學(xué)、代碼、推理、多語言翻譯和自然語言生成能力。
PaLM 2 模型提供了不同尺寸規(guī)模的四個版本,從小到大依次為 Gecko、Otter、Bison 和 Unicorn,更易于針對各種用例進(jìn)行部署。其中輕量級的 Gecko 模型可以在移動設(shè)備上運(yùn)行,速度非???,不聯(lián)網(wǎng)也能在設(shè)備上運(yùn)行出色的交互式應(yīng)用程序。
不過會上,谷歌并沒有給出有關(guān) PaLM 2 的具體技術(shù)細(xì)節(jié),只說明了它是構(gòu)建在谷歌最新 JAX 和 TPU v4 之上。
昨日,據(jù)外媒 CNBC 看到的內(nèi)部文件稱, PaLM 2 是在 3.6 萬億個 token 上訓(xùn)練 。作為對比,上代 PaLM 接受了 7800 億 token 的訓(xùn)練。
此外,谷歌之前表示 PaLM 2 比以前的 LLM 規(guī)模更小,這意味著在完成更復(fù)雜任務(wù)的同時(shí)變得更加高效。這一點(diǎn)也在內(nèi)部文件中得到了驗(yàn)證, PaLM 2 的訓(xùn)練參數(shù)量為 3400 億 ,遠(yuǎn)小于 PaLM 的 5400 億。
PaLM 2 的訓(xùn)練 token 和參數(shù)量與其他家的 LLM 相比如何呢?作為對比,Meta 在 2 月發(fā)布的 LLaMA 接受了 1.4 萬億 token 的訓(xùn)練。OpenAI 1750 億參數(shù)的 GPT-3 是在 3000 億 token 上訓(xùn)練的。
雖然谷歌一直渴望展示其 AI 技術(shù)的強(qiáng)大能力以及如何嵌入到搜索、電子郵件、文件處理和電子表格中,但也不愿公布其訓(xùn)練數(shù)據(jù)的大小或其他細(xì)節(jié)。其實(shí)這樣做的不只谷歌一家,OpenAI 也緘口不言其最新多模態(tài)大模型 GPT-4 的細(xì)節(jié)。他們都表示不披露細(xì)節(jié)是源于業(yè)務(wù)的競爭屬性。
不過,隨著 AI 軍備競賽的持續(xù)升溫,研究界越來越要求提高透明度。并且在前段時(shí)間泄露的一份谷歌內(nèi)部文件中,谷歌內(nèi)部研究人員表達(dá)了這樣一種觀點(diǎn):雖然表面看起來 OpenAI 和谷歌在 AI 大模型上你追我趕,但真正的贏家未必會從這兩家中產(chǎn)生,因?yàn)榈谌搅α俊搁_源」正在悄然崛起。
目前,這份內(nèi)部文件的真實(shí)性尚未得到驗(yàn)證,谷歌也并未對相關(guān)內(nèi)容置評。
網(wǎng)友評論
在官宣 PaLM 2 之初,就有網(wǎng)友根據(jù) Chinchilla 定律預(yù)測其參數(shù)量,ta 預(yù)測 PaLM 2 模型家族的參數(shù)結(jié)果為 80B / 90B / 100B 不等,和這次爆料的 340B 還是差距很大的。
還有人對 PaLM 2 的訓(xùn)練成本進(jìn)行了一波預(yù)測,根據(jù)歷代大模型的發(fā)展來看,這位網(wǎng)友表示,打造 PaLM 2 需要耗資 1 億美元。
PaLM 2 參數(shù)都泄密了,可以試著推測 Bard 了,這位網(wǎng)友表示:
隨著 PaLM 2 token 數(shù)的泄露,網(wǎng)友不禁疑問,在 AGI 到來之前,多少 token 才能迎來一次大轉(zhuǎn)折?
標(biāo)簽:
訓(xùn)練數(shù)據(jù)量是前代的近5倍、參數(shù)量是前代的三分之二左右。
近期,位于山東省聊城市冠縣蘭沃鄉(xiāng)的萬畝梨園內(nèi)繁花似雪、游人如織...
總投資221億元!8GW異質(zhì)結(jié)電池片、20GW組件等5個新能源項(xiàng)目簽約內(nèi)蒙...
大家好,這里是羅易斯,橘小柚的開發(fā)者。因?yàn)樽罱Y金比較緊張,只...
對被征收住宅房屋價(jià)值的補(bǔ)償,按照房屋征收決定公告之日被征收房屋...
1、大部分專業(yè)學(xué)費(fèi)16000一年,住宿費(fèi)用1100或1200,包括其他費(fèi)用大...
想必現(xiàn)在有很多小伙伴對于輕鋼別墅怎么樣?適合農(nóng)村建嗎 r方面的...
直播吧5月19日訊據(jù)名記斯基拉報(bào)道,曼城中場京多安正在考慮自己的未...
1、最經(jīng)濟(jì)實(shí)惠的方法,就是開窗通風(fēng)。如果新車貼膜,頭幾天無法開窗...
今天來聊聊關(guān)于西安貼吧新聞,西安貼吧的文章,現(xiàn)在就為大家來簡單...
盛源控股(00851)公布,于本公告日期,所有轉(zhuǎn)換條件已達(dá)成。建議轉(zhuǎn)換...
(李丹)18日,在長春市仁大醫(yī)養(yǎng)中心(長春市仁大醫(yī)院),護(hù)理人員推...
如不能正常瀏覽請選用IE瀏覽器 天津北方網(wǎng)訊:今天,來自中國工...
盤面解析金融護(hù)盤市場做多積極性增高德訊證顧觀點(diǎn):兩市有分化調(diào)整...
營收凈利雙降,股東大幅減持……最近“非洲手機(jī)之王”傳音控股的煩...
鈴木、Daihatsu和豐田聯(lián)手共同開發(fā)的輕型商用廂式電動車,此原型車...
5月17日,筆者從市工信局獲悉,在近日河南省工業(yè)和信息化廳公布的20...
1、第一集:《白狼》講述了解放前川東一個小縣城的富婆月如何從一個...
而隨著ChatGPT的火熱,必應(yīng)將差異化價(jià)值押注在AI大模型上,不過,...
根據(jù)《2023年度泰安市屬事業(yè)單位初級綜合類崗位公開招聘工作人員簡...
@北京公交集團(tuán)發(fā)布出行提示:5月21日(周日)上午6時(shí)30分至11時(shí)在大...
1、眾所周知:日本留學(xué)IT專業(yè)、工科專業(yè)、動漫專業(yè)、機(jī)械制造專業(yè)是...
為進(jìn)一步鞏固餐飲業(yè)油煙污染治理成效,改善大氣環(huán)境質(zhì)量,5月18日上...
1、狗,形狀大小各一;顏色、品種都很豐富;而且生性靈活,是惹人喜...
醫(yī)保甲類和乙類的區(qū)別報(bào)銷比例是多少?醫(yī)保的繳費(fèi)比例是多少下面跟...
覆蓋XBB 1 5的疫苗是目前最有希望成為針對奧密克戎變異株的通用型...
【品種觀點(diǎn)】散戶抗價(jià)情緒松動,規(guī)模場季節(jié)性降體重,養(yǎng)殖端出欄量...
隨著互聯(lián)網(wǎng)與生活的深度融合,在線娛樂成為了群眾生活中的重要娛樂...
鶴壁作為一個資源型城市,現(xiàn)在我們需要做的是轉(zhuǎn)型升級,特別是在未...
在使用圓通快遞時(shí),有時(shí)候會遇到服務(wù)態(tài)度不好的派件員或者是物流長...
廣告
X 關(guān)閉
廣告
X 關(guān)閉