為了控制、引導(dǎo)超級(jí)智能對(duì)齊問(wèn)題，OpenAI周三（5日）表示，組建了一支人工智能對(duì)齊團(tuán)隊(duì)Superalignment。同時(shí)該團(tuán)隊(duì)也是對(duì)OpenAI現(xiàn)有工作的補(bǔ)充，可提升ChatGPT等產(chǎn)品的安全性，在4年內(nèi)解決超級(jí)智能對(duì)齊問(wèn)題。

超級(jí)智能將是人類發(fā)明的最具影響力的技術(shù)之一，可以幫助我們解決世界上許多難題。但超級(jí)智能的巨大力量也可能非常危險(xiǎn)，并導(dǎo)致人類失去控制權(quán)，甚至滅絕人類。雖然超級(jí)智能還很遙遠(yuǎn)，但OpenAI認(rèn)為，10年之內(nèi)就很有可能實(shí)現(xiàn)。

目前，OpenAI還沒(méi)有一個(gè)明確的解決方案來(lái)引導(dǎo)或控制超級(jí)人工智能。當(dāng)下可控制的人工智能技術(shù)，例如，根據(jù)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)，依賴于人類監(jiān)督的AI能力等。但人類無(wú)法可靠地監(jiān)督，比我們聰明多的AI系統(tǒng)，因此，我們目前的對(duì)齊技術(shù)無(wú)法擴(kuò)展到超級(jí)智能，需要新的科學(xué)技術(shù)突破。

20%算力用來(lái)解決AI失控問(wèn)題

為了控制、引導(dǎo)超級(jí)智能對(duì)齊問(wèn)題，OpenAI組建了一支由Ilya Sutskever（OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家）和Jan Leike領(lǐng)導(dǎo)的人工智能對(duì)齊團(tuán)隊(duì)——Superalignment。

同時(shí)該團(tuán)隊(duì)也是對(duì)OpenAI現(xiàn)有工作的補(bǔ)充，可提升ChatGPT等產(chǎn)品的安全性，包括非法濫用、經(jīng)濟(jì)破壞、虛假信息、偏見和歧視、數(shù)據(jù)隱私和其他可能出現(xiàn)的問(wèn)題。

他們預(yù)測(cè)，超智能AI（即比人類更聰明的系統(tǒng)）可能在這個(gè)十年（2030年前）就會(huì)到來(lái)，人類將需要比目前更好的技術(shù)來(lái)控制超智能AI，因此需要在所謂的“一致性研究”方面取得突破，該研究的重點(diǎn)是確保人工智能對(duì)人類有益。

根據(jù)他們的說(shuō)法，在微軟（Microsoft）的支持下，OpenAI將拿出未來(lái)四年所獲算力的20%用于解決AI失控的問(wèn)題。此外，該公司正在組建一個(gè)新的團(tuán)隊(duì)來(lái)組織這項(xiàng)工作，稱為超級(jí)一致性團(tuán)隊(duì)。

據(jù)悉，該團(tuán)隊(duì)的目標(biāo)是創(chuàng)建一個(gè)“人類級(jí)別”的AI研究人員，然后通過(guò)大量的計(jì)算能力進(jìn)行擴(kuò)展。OpenAI表示，這意味著他們將使用人類反饋來(lái)訓(xùn)練AI系統(tǒng)，訓(xùn)練AI系統(tǒng)來(lái)輔助人類評(píng)估，然后最終訓(xùn)練AI系統(tǒng)進(jìn)行實(shí)際的一致性研究。

OpenAI的方法

建立一個(gè)大致達(dá)到人類水平的自動(dòng)對(duì)齊系統(tǒng)。然后，可以使用大量算力來(lái)擴(kuò)展工作，并調(diào)整超級(jí)智能。

1、開發(fā)可擴(kuò)展的訓(xùn)練方法：為了針對(duì)人類難以評(píng)估的任務(wù)提供訓(xùn)練方法，可以通過(guò)人工智能系統(tǒng)來(lái)協(xié)助評(píng)估，其他人工智能系統(tǒng)（可擴(kuò)展的監(jiān)督）。此外，OpenAI希望了解和控制其模型，將監(jiān)督應(yīng)用到無(wú)法監(jiān)督的任務(wù)（泛化）上。

2、驗(yàn)證生成的模型：為了驗(yàn)證系統(tǒng)的一致性，OpenAI將自動(dòng)搜索有問(wèn)題的行為（穩(wěn)定性）和有問(wèn)題的內(nèi)部結(jié)構(gòu)（自動(dòng)可解釋性）。

3、對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測(cè)試：可以通過(guò)故意訓(xùn)練未對(duì)準(zhǔn)的模型，來(lái)測(cè)試整個(gè)安全流程，并確認(rèn)技術(shù)檢測(cè)到最差的未對(duì)準(zhǔn)類型（對(duì)抗性測(cè)試）。

OpenAI預(yù)計(jì)，隨著對(duì)超級(jí)智能對(duì)齊了解越來(lái)越多，研究重點(diǎn)將會(huì)發(fā)生重大變化，可能會(huì)增加全新的研究領(lǐng)域。

未來(lái)，會(huì)分享更多有關(guān)技術(shù)研究路線圖的信息。