谷歌推出其最先進AI模型Gemini,大規(guī)模多任務(wù)語言理解或超越人類專家

2023-12-07 15:56:02

OpenAI空前崛起之際,谷歌毅然打響了絕地反擊戰(zhàn)。

當(dāng)?shù)貢r間12月6日,谷歌公司宣布推出其規(guī)模最大、功能最強大的新大型語言模型Gemini,其最強大的TPU(張量處理單元)系統(tǒng)“Cloud TPU v5p”以及來自谷歌云的人工智能超級計算機。v5p是今年早些時候全面推出的Cloud TPU v5e的更新版本,谷歌承諾其速度明顯快于v4 TPU。

值得一提的是在MMLU(大規(guī)模多任務(wù)語言理解)測試中,Gemini Ultra以90.0%的高分,首次超過了人類專家。

Gemini 1.0是谷歌籌備了一年之久的GPT4真正競品,也是目前谷歌能拿出手的功能最為強悍、適配最為靈活的大模型,包括三種不同套件,分別是Gemini Ultra,Gemini Pro和Gemini Nano。

其中Ultra的能力最強,復(fù)雜度最高,能夠處理最為困難的多模態(tài)任務(wù);Pro能力稍弱,是一個可擴展至多任務(wù)的模型;Nano則是一款可以在手機端側(cè)運行的模型。這說明,Gemini的觸達范圍很廣,可以下探至數(shù)據(jù)中心,也可以上行至移動設(shè)備端側(cè)。

Gemini模型經(jīng)過海量數(shù)據(jù)訓(xùn)練,可以很好識別和理解文本、圖像、音頻等內(nèi)容,并可以回答復(fù)雜主題相關(guān)的問題。所以,非常擅長解釋數(shù)學(xué)和物理等復(fù)雜學(xué)科的推理任務(wù)。

Gemini可以生成和理解Python、Java、C++和Go等主流代碼。Gemini Ultra在多個編碼基準(zhǔn)測試中表現(xiàn)出色,包括HumanEval,這是評估編碼任務(wù)性能的重要行業(yè)標(biāo)準(zhǔn)。

谷歌還基于Gemini模型開發(fā)了專業(yè)的代碼模型AlphaCode 2。與前一代相比,AlphaCode 2的性能提升了至少50%以上。

Gemini的多模態(tài)功能,使其能在視覺理解、文本生成等方面有非常強的功能。例如,從數(shù)十萬字的小說中整理出重要觀點,從200頁的金融報告中找出最有價值的內(nèi)容。這對于金融、科技、醫(yī)療的科研和業(yè)務(wù)人員來說幫助巨大。

在一段公布的演示視頻中,桑達爾?皮查伊展示了Gemini對視頻、圖像的非同凡響的識別能力。在視頻中,Gemini極為自如地在圖像、音頻、視頻各模態(tài)之間的轉(zhuǎn)換,展現(xiàn)了驚人的解鎖應(yīng)用場景與產(chǎn)品形態(tài)的潛力。

僅從谷歌釋出的演示視頻結(jié)果看,市面上現(xiàn)有的全部多模態(tài)大模型與Gemini的性能表現(xiàn)都有代際差,包括Meta 5月開源的跨6個模態(tài)的AI模型ImageBind以及GPT-4。

一年前,在人工智能開發(fā)機構(gòu)OpenAI發(fā)布聊天機器人ChatGPT后,創(chuàng)造了當(dāng)前人工智能熱潮背后大部分基礎(chǔ)技術(shù)的谷歌措手不及,一度發(fā)布了內(nèi)部“紅色警報”(red code)。一年零一周后,谷歌似乎準(zhǔn)備好了反擊。

谷歌DeepMind首席執(zhí)行官、Gemini團隊代表德米斯·哈薩比斯(Demis Hassabis)在發(fā)布會上正面談及GPT-4與Gemini的對比,“我們對系統(tǒng)進行了非常徹底的分析,并進行了基準(zhǔn)測試。谷歌運行了32個完善的基準(zhǔn)測試來比較這兩個模型,從廣泛的整體測試(如多任務(wù)語言理解基準(zhǔn)測試)到比較兩個模型生成Python代碼的能力。”哈薩比斯略帶微笑地表示,“我認為我們在32項基準(zhǔn)中的30項中大幅領(lǐng)先。”

從發(fā)布日起,Gemini可開始應(yīng)用于Bard和Pixel 8 Pro智能手機,并將很快與谷歌服務(wù)中的其他產(chǎn)品集成,包括Chrome、搜索和廣告等。

目前,谷歌計劃通過谷歌云將Gemini授權(quán)給客戶,供他們在自己的應(yīng)用程序中使用。12月13日開始,開發(fā)者和企業(yè)客戶可以通過谷歌AI Studio或谷歌Cloud Vertex AI中的Gemini API(應(yīng)用程序編程接口)訪問Gemini Pro,安卓開發(fā)人員可以使用Gemini Nano完成構(gòu)建。

據(jù)介紹,Gemini Ultra是第一個在MMLU(大規(guī)模多任務(wù)語言理解)方面超越人類專家的模型,該模型綜合使用數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)和倫理學(xué)等57個科目來測試世界知識和解決問題的能力,谷歌在一篇博客文章中表示,它可以理解復(fù)雜主題中的細微差別和推理。

而據(jù)CNBC報道,谷歌高管們在新聞發(fā)布會上表示Gemini Pro的表現(xiàn)優(yōu)于GPT-3.5,但回避了與GPT-4相比如何的問題。對于谷歌是否計劃對Bard Advanced的訪問收費,Bard總經(jīng)理蕭茜茜(Sissie Hsiao)表示,谷歌專注于創(chuàng)造良好的體驗,目前還沒有任何相關(guān)盈利的細節(jié)。

谷歌最強TPU與AI超級計算機

與新模型一起亮相的,還有新版本的TPU芯片TPU v5p,旨在減少訓(xùn)練大語言模型相關(guān)的時間投入。TPU是谷歌為神經(jīng)網(wǎng)絡(luò)設(shè)計的專用芯片,經(jīng)過優(yōu)化可加快機器學(xué)習(xí)模型的訓(xùn)練和推斷速度,谷歌于2016年起開始推出第一代TPU。

據(jù)谷歌介紹,與TPU v4相比,TPU v5p的浮點運算性能提升了兩倍,在高帶寬內(nèi)存方面提高了3倍。使用谷歌的600 GB/s芯片間互連,可以將8960個v5p加速器耦合在一個Pod(通常指一個包含多個芯片的集群或模塊)中,從而更快或更高精度地訓(xùn)練模型。作為參考,該值比TPU v5e大35倍,是TPU v4的兩倍多。

谷歌稱,TPU v5p是其迄今為止最強大的,能夠提供459 teraFLOPS(每秒可執(zhí)行459萬億次浮點運算)的bfloat16(16位浮點數(shù)格式)性能或918 teraOPS(每秒可執(zhí)行918萬億次整數(shù)運算)的Int8(執(zhí)行8位整數(shù))性能,支持95GB的高帶寬內(nèi)存,能夠以2.76 TB/s的速度傳輸數(shù)據(jù)。

谷歌表示,所有這些意味著TPU v5p可以比TPU v4更快地訓(xùn)練大型語言模型,如訓(xùn)練GPT-3(1750億參數(shù))這樣的大語言模型速度比TPU v4快2.8倍。

除了新硬件之外,谷歌還引入了“人工智能超級計算機”的概念。谷歌云將其描述為一種超級計算架構(gòu),包括一個集成系統(tǒng),具有開放軟件、性能優(yōu)化硬件、機器學(xué)習(xí)框架和靈活的消費模型。

谷歌計算和機器學(xué)習(xí)基礎(chǔ)設(shè)施部門副總裁馬克·洛邁爾(Mark Lohmeyer)在博客文章中解釋道,“傳統(tǒng)方法通常通過零碎的組件級增強來解決要求苛刻的人工智能工作負載,這可能會導(dǎo)致效率低下和瓶頸?!薄跋啾戎拢斯ぶ悄艹売嬎銠C采用系統(tǒng)級協(xié)同設(shè)計來提高人工智能訓(xùn)練、調(diào)整和服務(wù)的效率和生產(chǎn)力。”這可以理解為,與單獨看待每個部分相比,這種合并將提高生產(chǎn)力和效率。換句話說,超級計算機是一個系統(tǒng),其中任何可能導(dǎo)致性能低下的變量(硬件或軟件)都受到控制和優(yōu)化。

(稿件來源:每經(jīng)網(wǎng))

責(zé)任編輯:陳科辰

掃一掃分享本頁