對(duì)于超級(jí)人工智能的出現(xiàn)，我們非常期待，因?yàn)樗某霈F(xiàn)意味著可以高效地完成許多工作。
但是，作為聲稱遠(yuǎn)遠(yuǎn)勝過(guò)最聰明和最有才華的人類的AI，關(guān)于它可能帶來(lái)的災(zāi)難性風(fēng)險(xiǎn)的討論一直沒(méi)有停止。
最近，由一組科學(xué)家組成的研究小組使用理論計(jì)算來(lái)證明遏制算法無(wú)法控制超級(jí)人工智能。
這項(xiàng)研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問(wèn)題：我們?nèi)绾未_保超級(jí)人工智能符合我們的利益？根據(jù)超級(jí)人工智能的假設(shè)問(wèn)題，研究人員構(gòu)建了一種理論上的遏制算法，該算法可以模擬AI的行為并在AI程序的動(dòng)作中存在有害行為時(shí)自動(dòng)停止程序以解決問(wèn)題。
分析人員在嘗試運(yùn)行測(cè)試模型時(shí)，對(duì)結(jié)果進(jìn)行了分析，發(fā)現(xiàn)建立一種可以控制超級(jí)人工智能的機(jī)器算法從根本上來(lái)說(shuō)是不可能的。
小組成員Iyad Rahwan表示，如果將問(wèn)題分解為理論計(jì)算機(jī)科學(xué)的基本規(guī)則，就會(huì)發(fā)現(xiàn)命令A(yù)I不能破壞世界的遏制算法可能會(huì)無(wú)意中止其自身的運(yùn)行手術(shù)。
如果發(fā)生這種情況，則用戶實(shí)際上不知道遏制算法是否仍在分析超級(jí)人工智能的可能威脅，或者它是否已成功停止有害的AI。
因此，這種情況的出現(xiàn)將導(dǎo)致遏制算法的無(wú)效使用。
根據(jù)研究發(fā)現(xiàn)，由于計(jì)算的基本局限性，目前尚沒(méi)有一種算法可以成功地計(jì)算出超級(jí)人工智能是否會(huì)危害世界。
假設(shè)超級(jí)人工智能將包括一個(gè)包含通用圖靈機(jī)的程序，該圖靈機(jī)可以在輸入時(shí)執(zhí)行與世界一流情況一樣復(fù)雜的所有程序，并根據(jù)如此高的標(biāo)準(zhǔn)來(lái)建立遏制和遏制算法。
在此基礎(chǔ)上，超級(jí)AI程序執(zhí)行仿真，這在理論上是不可能的。
到目前為止，這種類型的超級(jí)AI仍然僅限于幻想領(lǐng)域，但是研究人員說(shuō)，人工智能技術(shù)的發(fā)展正在朝著科幻小說(shuō)家所設(shè)想的超級(jí)智能系統(tǒng)的方向發(fā)展。
馬克斯·普朗克人類發(fā)展研究所的研究團(tuán)隊(duì)成員之一曼努埃爾·塞布里安（Manuel Cebrian）說(shuō)，已經(jīng)有可以獨(dú)立執(zhí)行某些重要任務(wù)的AI機(jī)器，而程序員卻不能。
學(xué)會(huì)了做。
因此，基于這種存在，提出了一個(gè)問(wèn)題，即它是否在某些時(shí)候?qū)θ祟惪赡茏兊貌豢煽刂坪臀ｋU(xiǎn)。
無(wú)論如何，發(fā)展超級(jí)人工智能的趨勢(shì)不會(huì)按下暫停按鈕。
僅僅是遏制超級(jí)人工智能的方法就必須跟進(jìn)。
只有當(dāng)諸如人類日常規(guī)范指南之類的法律普遍限制了超級(jí)人工智能時(shí)，才可以使用人工智能為我們提供服務(wù)，而不是造成災(zāi)難。
