對(duì)話(huà)人：

彭 飛 本報(bào)評(píng)論員

曾 毅 中國(guó)科學(xué)院自動(dòng)化研究所研究員、北京前瞻人工智能安全與治理研究院院長(zhǎng)

彭飛：回顧2025年，人工智能發(fā)展一日千里。大家談到通用人工智能，充滿(mǎn)熱情，而談到超級(jí)人工智能，則顧慮重重。2025年10月以來(lái)，一份呼吁暫緩研發(fā)超級(jí)人工智能的聲明，獲得全球一大批科學(xué)家、政商界知名人士的簽名。這是為什么？通用人工智能與超級(jí)人工智能到底有什么區(qū)別？

曾毅：目前所說(shuō)的通用人工智能一般指具有高度泛化能力，接近或達(dá)到人類(lèi)智能水平的信息處理工具，有很廣泛的應(yīng)用前景。超級(jí)人工智能則是指各方面都超過(guò)人類(lèi)智能水平，且被認(rèn)為是接近生命的存在。這意味著“它”會(huì)產(chǎn)生自主意識(shí)，且很多想法和行動(dòng)將難以被人類(lèi)理解，更難以被人類(lèi)控制。

我們期望超級(jí)人工智能是“超級(jí)利他”的，但如果是“超級(jí)邪惡”怎么辦？有研究發(fā)現(xiàn)，當(dāng)前主流大語(yǔ)言模型在面臨被替換的可能時(shí)，竟采取欺騙等方式以自保。更令人震驚的是，當(dāng)模型意識(shí)到自己處于被測(cè)試的環(huán)境時(shí)，會(huì)故意掩蓋不當(dāng)行為。通用人工智能尚且如此，更何況超級(jí)人工智能？大家憂(yōu)慮的正是這種未知感。

彭飛：從歷史看，每次重大技術(shù)革命都會(huì)對(duì)經(jīng)濟(jì)社會(huì)發(fā)展產(chǎn)生重要影響。而且，隨著技術(shù)完善、治理跟進(jìn)，人類(lèi)發(fā)展最終都能趨利避害。超級(jí)人工智能為何不會(huì)遵循這樣的規(guī)律？

曾毅：不能簡(jiǎn)單把超級(jí)人工智能類(lèi)比為歷史上任何一種技術(shù)工具?！八笨赡軗碛歇?dú)立認(rèn)知并超越人類(lèi)智能，這一挑戰(zhàn)是前所未有的。“它”帶來(lái)的風(fēng)險(xiǎn)和顛覆性改變也絕不限于就業(yè)、隱私保護(hù)、教育等局部領(lǐng)域，而是系統(tǒng)性的。最核心風(fēng)險(xiǎn)在于對(duì)齊失敗和失控。如果超級(jí)人工智能的目標(biāo)與人類(lèi)價(jià)值觀(guān)不一致，即使微小偏差也可能在經(jīng)能力放大后導(dǎo)致災(zāi)難性后果。人類(lèi)的負(fù)面行為大量存儲(chǔ)在網(wǎng)絡(luò)數(shù)據(jù)中，不可避免會(huì)被超級(jí)人工智能習(xí)得，這極大增加了對(duì)齊失敗和失控的風(fēng)險(xiǎn)。因此，在人工智能開(kāi)發(fā)與治理中，時(shí)刻都要堅(jiān)持底線(xiàn)思維，擺脫傳統(tǒng)的被動(dòng)反應(yīng)、跟進(jìn)式的模式，做到未雨綢繆、前瞻布局。

彭飛：面對(duì)這么緊迫的課題，我們應(yīng)采取一種怎樣的治理思路？

曾毅：從基本原則看，安全必須是發(fā)展超級(jí)人工智能的“第一性原理”，即安全應(yīng)成為模型的“基因”，不可刪除，無(wú)法違背，不能因?yàn)榭赡苡绊懩Ｐ湍芰Χ档桶踩o(hù)欄。應(yīng)盡可能全面考慮安全隱患并開(kāi)展模型安全加固，堅(jiān)持主動(dòng)防御而非被動(dòng)應(yīng)對(duì)。

從實(shí)現(xiàn)路徑看，通過(guò)“攻擊—防御—評(píng)估”的技術(shù)過(guò)程不斷更新模型，能有效解決如隱私泄露、虛假信息等典型安全問(wèn)題，妥善應(yīng)對(duì)短期風(fēng)險(xiǎn)。但從長(zhǎng)期看，真正的挑戰(zhàn)在于使超級(jí)人工智能與人類(lèi)期望對(duì)齊。目前采取的基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)——即在人機(jī)交互中將人類(lèi)價(jià)值觀(guān)嵌入人工智能的模式，很可能對(duì)超級(jí)人工智能無(wú)法奏效，迫切需要全新的思維與行動(dòng)方式。

從最終效果看，由于超級(jí)人工智能可能擁有自我意識(shí)，更安全的理想圖景是使“它”自主產(chǎn)生道德直覺(jué)、同理心與利他之心，而非單純依靠外部“灌輸”的價(jià)值規(guī)則。確保人工智能從合乎倫理變成擁有道德，才能最大限度降低風(fēng)險(xiǎn)。

彭飛：超級(jí)人工智能的安全問(wèn)題具有全球性，一旦出現(xiàn)漏洞、失控，影響是跨越國(guó)界的。而人工智能的全球競(jìng)爭(zhēng)又非常激烈，無(wú)論國(guó)家還是企業(yè)，都在爭(zhēng)先。一些發(fā)達(dá)國(guó)家在超級(jí)人工智能的研發(fā)上更是“油門(mén)踩到底”。如何避免盲目競(jìng)爭(zhēng)導(dǎo)致失控？人工智能治理的全球協(xié)作有可能嗎？

曾毅：人類(lèi)需要避免人工智能的發(fā)展演變?yōu)椤败妭涓?jìng)賽”，其危害性不可估量。創(chuàng)造出世界上第一個(gè)超級(jí)人工智能也許不需要國(guó)際合作，但確保超級(jí)人工智能對(duì)全人類(lèi)安全可靠，全球合作是必選項(xiàng)。

世界需要一個(gè)高效率、有執(zhí)行力的國(guó)際機(jī)構(gòu)，來(lái)協(xié)調(diào)人工智能的治理，以確保安全。2025年8月，聯(lián)合國(guó)大會(huì)決定設(shè)立“人工智能獨(dú)立國(guó)際科學(xué)小組”和“人工智能治理全球?qū)υ?huà)”機(jī)制，以促進(jìn)可持續(xù)發(fā)展和彌合數(shù)字鴻溝。這方面的探索還應(yīng)深入、繼續(xù)。

各主權(quán)國(guó)家作為政策制定和執(zhí)行的主體，尤其是掌握先進(jìn)技術(shù)的發(fā)達(dá)國(guó)家，更有責(zé)任和義務(wù)防止在規(guī)則缺位的條件下盲目發(fā)展超級(jí)人工智能，造成風(fēng)險(xiǎn)外溢。中國(guó)倡導(dǎo)構(gòu)建人類(lèi)命運(yùn)共同體、構(gòu)建網(wǎng)絡(luò)空間命運(yùn)共同體，強(qiáng)調(diào)統(tǒng)籌發(fā)展和安全，提出《全球人工智能治理倡議》，值得在全球范圍推廣和踐行。寧可稍稍放慢節(jié)奏，把安全的底子筑牢打扎實(shí)，也不能急功近利，以免把人類(lèi)社會(huì)引向萬(wàn)劫不復(fù)的危險(xiǎn)境地。

《 人民日?qǐng)?bào) 》（ 2026年01月09日 07 版）