2009年，在某個(gè)競技場(chǎng)中，瑞士研究人員放置了數百臺機器人，機器人身上的程序讓其在競技場(chǎng)中尋找一個(gè)淺色的圓環(huán)（實(shí)驗中的食物）。這些機器人相互可以溝通，通過(guò)向同伴發(fā)送藍光告訴其它機器人食物的位置。但是隨著(zhù)實(shí)驗進(jìn)行研究人員發(fā)現，某些找到食物的機器人停止閃光、獨占資源——而源程序根本沒(méi)有指示它們這么做。這到底是機械故障，還是機器人學(xué)會(huì )了撒謊？
“超級智能”風(fēng)險何在？
今天的計算機可以完成越來(lái)越復雜的任務(wù)，已經(jīng)具備了接近人類(lèi)的智能。超級并行計算機“深藍”在“人機大戰”中戰勝?lài)H象棋世界冠軍卡斯帕羅夫；IBM的超級計算機“沃森”贏(yíng)得了智力競賽節目“危險邊緣”的勝利；微軟的Xbox游戲機甚至可以通過(guò)分析玩家的面部表情評估玩家當前的情緒……一旦出現“超級智能”，即計算機能夠自己思考而非僅僅對命令進(jìn)行反應，并且計算機不僅僅在數學(xué)和科學(xué)能力、還在藝術(shù)創(chuàng )造性甚至是社會(huì )技能領(lǐng)域也大大超過(guò)人類(lèi)，人類(lèi)在享受空前便利的同時(shí)又會(huì )遭遇什么風(fēng)險呢？
《超級智能》對此進(jìn)行了饒有趣味的思索與探討。人類(lèi)大腦擁有一些其它動(dòng)物大腦沒(méi)有的功能，正是這些獨特的功能使我們的種族得以擁有主導地位。如果機器大腦在一般智能方面超越了人類(lèi)，那么這種新興的超級智能可能會(huì )極其強大，并且有可能無(wú)法控制。超級智能對人類(lèi)而言將是一個(gè)巨大的威脅。
作者尼克?波斯特洛姆根據海量信息資料分析認為，與人類(lèi)智能水平并駕齊驅的機器智能有相當大的可能在21世紀中葉實(shí)現，可能會(huì )更早，也可能會(huì )更晚；但是只要這種機器智能出現，就會(huì )很快出現超越人類(lèi)智能水平的高級智能；這會(huì )對人類(lèi)生存產(chǎn)生極其重大的影響——或是產(chǎn)生極好的影響，或是造成人類(lèi)滅絕。不管怎樣，這都說(shuō)明我們很有必要去認真研究人工智能這個(gè)議題。
如何控制“超級智能”？
對于如何控制超級智能，作者提出了兩大路徑。一為能力控制，分為4類(lèi)：盒子方法（系統受到限制，只能夠通過(guò)有限制的、提前批準的渠道對外界產(chǎn)生影響，包括物理遏制和信息遏制兩種方法）；激勵方法（系統被放置在提供適當激勵的環(huán)境中）；阻礙發(fā)展（對系統的認知能力或影響關(guān)鍵內部過(guò)程的能力進(jìn)行限制）；絆網(wǎng)（對系統進(jìn)行診斷測試，如果探測到系統有危險行為，就將其關(guān)閉）。
二為動(dòng)機選擇，也分為4類(lèi)：直接規定（系統裝載直接規定的動(dòng)機系統）；馴化（設計一套動(dòng)機系統，嚴格限制超級智能的目標和行為范圍）；間接規范（依靠間接手段來(lái)確定需要被遵守的規則和需要被追求的價(jià)值）；擴增（選擇一個(gè)已經(jīng)具有類(lèi)似人類(lèi)的、友好的動(dòng)機系統，對其認知能力進(jìn)行提升，使其成為超級智能）。作者所說(shuō)的控制超級智能的方法聽(tīng)起來(lái)或許因為太過(guò)專(zhuān)業(yè)而不夠通俗易懂，然而我們只要明白一點(diǎn)就可以了，那就是在超級智能出現之前，人類(lèi)需要做好應對準備，而當超級智能出現，人類(lèi)應該可以找到控制辦法。
擔憂(yōu)超級智能的出現會(huì )給人類(lèi)帶來(lái)毀滅性災難，并非是作者杞人憂(yōu)天。盡管微軟研究院科學(xué)家表示：“很多人擔憂(yōu)某一天我們會(huì )失去對人工智能機器的控制，但我完全不擔心這種情況發(fā)生。”但是，也有很多專(zhuān)家表達出了與作者同樣的憂(yōu)慮。英國物理學(xué)家史蒂文?霍金稱(chēng)，人工智能的完美就意味著(zhù)人類(lèi)的滅亡；特斯拉埃隆?馬斯克則聲稱(chēng)，人工智能的出現是在“召喚魔鬼”；比爾?蓋茨也憂(yōu)心忡忡：“我站在警惕人工智能的陣營(yíng)一方??我很不理解，為什么會(huì )有人完全不擔憂(yōu)人工智能”……
既然這么多權威人士表示出擔憂(yōu)，我們有必要未雨綢繆、提前應對，要思考超級智能一旦出現，人類(lèi)該如何控制，既充分享受其帶來(lái)的便利，又能免除其給人類(lèi)帶來(lái)的潛在威脅，這或許也是該書(shū)的警世意義所在。
筆者對超級智能持樂(lè )觀(guān)態(tài)度。首先，很多計算機科學(xué)家認為，我們不會(huì )迎來(lái)注定的毀滅，相反他們質(zhì)疑人類(lèi)是否能夠真正實(shí)現人工智能。他們認為光是理解人腦，人類(lèi)已經(jīng)走過(guò)了漫長(cháng)的研究道路——包括意識本身是什么這個(gè)問(wèn)題——更別提將這些知識用來(lái)打造一臺有感情和自我意識的機器。雖然今天最強大的計算機可以用算法贏(yíng)得國際象棋大賽，可以贏(yíng)得競猜電視節目，可我們還無(wú)法創(chuàng )作出能夠寫(xiě)出感人的詩(shī)作、能夠判斷是非的機器人——要制造出完全掌握人類(lèi)技能的機器人還很遙遠。其次，超級智能終歸屬于程序系統，而不是像人一樣的自由思維系統，超級智能的能量始終受人控制，其并不具備自我主動(dòng)開(kāi)拓能力。再次，超級智能的生命取決于人的控制，假如把超級智能比作翱翔藍天的風(fēng)箏，那么人的控制就是系在風(fēng)箏身上的那根線(xiàn)繩。風(fēng)箏一旦脫離線(xiàn)繩，結果可想而知。
