ChatGPT之父奧特曼:構建龐大AI模型的時代已結束,未來的進步需要新想法

2023-04-19 14:36:06 作者:畢陸名

4月18日報道,人工智能開發(fā)機構OpenAI的首席執(zhí)行官山姆·奧特曼最近表示,ChatGPT的研究策略——巨型AI模型模式已經(jīng)結束,目前尚不清楚未來的進步究竟來自何處。

近年來,OpenAI通過采用現(xiàn)有的機器學習算法并將其擴展到以前無法想象的規(guī)模,在與語言一起工作的人工智能方面取得了一系列令人印象深刻的進步。GPT-4是這些項目中最新的一個,它可能是使用數(shù)萬億個文本單詞和數(shù)千個強大的計算機芯片進行訓練的,構建這一龐大的AI模型耗資超過1億美元。

巨型AI模型時代已結束

據(jù)4月18日報道,奧特曼上周在麻省理工學院舉行的一次活動中告訴觀眾,新的進步不會來自于讓模型變得更大。“我認為我們正處于巨型模型時代的末尾。”他說,“我們會以其他方式讓它們變得更好。”科技媒體《連線》4月17日報道稱,奧特曼的聲明表明,在開發(fā)和部署新AI算法的競賽中出現(xiàn)了意想不到的轉折。未來人工智能的進步將需要新的想法。

奧特曼的聲明表明,GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個重大進展。他沒有提出什么樣的研究策略或技術可能會取代它。在描述GPT-4的論文中,OpenAI估計,擴大模型規(guī)模的收益在遞減。奧特曼表示,企業(yè)可以建造的數(shù)據(jù)中心數(shù)量和建造速度也存在物理限制。

有分析認為,奧特曼的這番表態(tài)意味著,在當前各科技公司都在開發(fā)和部署新AI算法、并攀比其模型規(guī)模的競賽中,出現(xiàn)了出人意料的轉折。自OpenAI于去年11月推出ChatGPT以來,微軟已利用底層技術在其Bing搜索引擎中添加了一個聊天機器人,谷歌也推出了一個名為Bard的聊天機器人來與之競爭。許多公司紛紛推出類似的聊天機器人以顯示自己不甘人后。

同時有分析認為,奧特曼的這一表態(tài)可能意味著,GPT-4或許是OpenAI使模型更大并為它們提供更多數(shù)據(jù)的戰(zhàn)略中出現(xiàn)的最后一個重大進展。奧特曼并沒有說什么樣的研究策略或技術可能會取代它。

Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特(Nick Frosst)表示,奧特曼的想法聽起來是對的。他也認為,Transformer(GPT-4及其競爭對手的核心機器學習模型類型)的進展超出了擴展范圍。“有很多方法可以讓Transformer變得更好、更有用,而且很多方法不涉及向模型添加參數(shù)。”他說,新的AI模型設計或架構,以及基于人類反饋的進一步調整是許多研究人員已經(jīng)在探索的有前途的方向。

同日,在麻省理工學院舉行的一個討論商業(yè)和人工智能的會議上,奧特曼還表示,“我們現(xiàn)在并沒有訓練GPT-5,目前只是在GPT-4的基礎上進行更多的工作而已。”此前有報道稱,預計到2023年底,GPT-4將被新的GPT-5版本取代。對于科技節(jié)領袖暫停超強AI訓練的聯(lián)名信,奧特曼也在采訪中首次做了回應,稱他同意這封信的部分內(nèi)容,但信中“遺漏了關于我們需要暫停的大部分技術細節(jié)。

AI技術在歐洲面臨進一步監(jiān)管

值得一提的是,OpenAI的CEO奧特曼還回應稱,馬斯克等人呼吁將AI研發(fā)工作暫停六個月的公開信缺乏“技術細節(jié)”。他也認為,需要提高AI的安全指導意見。但公開信并非正確的解決之道。

據(jù)《華爾街日報》當?shù)貢r間17日報道,歐盟的立法者希望賦予監(jiān)管機構新的權利來管理ChatGPT等技術的開發(fā)。報道指出,當?shù)貢r間周一,歐盟的立法者計劃于當日發(fā)表一封公開信并指出,隨著人工智能飛速發(fā)展,有必要為這些人工智能工具制定一套強大的新規(guī)則以規(guī)范其應用。負責起草歐盟人工智能法案新草案的立法者小組指出,他們致力于在法案中增加相關條款,旨在“引導強大的人工智能朝著以人為本、安全可靠的方向發(fā)展”。

3月末,生命未來研究所(Future of Life)發(fā)布了一封公開信,包括馬斯克等大佬在內(nèi)超2.6萬人進行了簽名,呼吁所有人工智能實驗室暫停比GPT-4更強大的人工智能系統(tǒng)的訓練,暫停時間至少為6個月。

因強大功能而爆紅的ChatGPT正因數(shù)據(jù)隱私和安全風險在全球掀起一場監(jiān)管風暴。繼意大利宣布暫時封禁ChatGPT之后,德國也表示正在考慮暫時禁用。緊隨其后,法國、愛爾蘭、西班牙等歐洲國家的監(jiān)管機構也相繼表達了類似可能性。與此同時,加拿大的隱私監(jiān)管機構已經(jīng)宣布對OpenAI展開調查,美國方面也在探討加強對AI的監(jiān)管。不僅如此,由于生成了虛假內(nèi)容,ChatGPT恐將在澳大利亞面臨全球首例誹謗訴訟。

近日,研究人員Noah Shinn和Ashwin Gopinath在預印本網(wǎng)站arxiv提交論文稱,通過引入“反思”技術,GPT-4在多項高難度測試中的表現(xiàn)提升了30%。據(jù)悉,這種技術讓AI系統(tǒng)模仿人類的自我反思,并評估自己的表現(xiàn),“GPT-4在完成各種測試的時候,會增加一些額外的步驟,讓它能夠自己設計測試來檢查自己的答案,找出錯誤和不足之處,然后根據(jù)發(fā)現(xiàn)來修改自己的解決方案。”

愛爾蘭數(shù)據(jù)保護委員會以及中國人民大學高瓴人工智能學院教授盧志武認為,AI學會自我迭代所產(chǎn)生的后果難以具體想象,但如果一個東西在不停地變強而人類卻不知道,這是“最可怕的”。未來,假如AI模型和機器人進行結合,則AI就可以產(chǎn)生動作,“你都不知道它是不是會拿起槍來做什么事情”。

而實際上,科學家已經(jīng)在探索如何將生成式AI與機器人相結合。微軟的科學家2月份發(fā)布論文稱,他們正在研究利用ChatGPT來操控機器人,以實現(xiàn)以自然語言與機器人交互的目的,并展示了無人機和機械臂的操作案例。

掃一掃分享本頁