這是尼克．伯斯特隆姆（Nick Bostrom）在《超智慧：AI風險的最佳解答》提出的麻雀預言——使用她，或先學會控制她。而這個故事恰恰對應了人類與人工智慧的關係。
《超智慧》作者、牛津大學哲學系教授伯斯特隆姆擁有人工智慧、生物、物理學等專業，他尋求人類面對AI的弱點和關鍵優勢，回應我們應該洞見哪些策略？提升哪些能力？
本集邀請出版《超智慧》的感電出版副總編輯鍾涵瀞，一同分享他的見解。
未來城市Podcast「AI讀書會」系列：《超智慧：AI風險的最佳解答》。圖片來源：感電出版 製圖：未來城市
未來城市Podcast EP.79
▹ 未來主持人：未來城市頻道總監 陳芳毓
▹ 未來大來賓：感電出版副總編輯 鍾涵瀞
▹ 訪談精華一次收藏：
鍾涵瀞認為，先找出AI角色與定位，才能控制AI發展。圖片來源：未來城市
問：《超智慧》作者尼克．伯斯特隆姆，是全球50歲以下引用次數最多的哲學家，並兩度登上《外交政策》（Foreign Policy）的百大思想家名單。他是怎麼樣的人，為何能寫出這本經典著作？
鍾涵瀞（下稱鍾）：伯斯特隆姆是瑞典裔，也是牛津大學人類未來研究所的創立人兼所長——這裡聚集各類跨學科、傑出的數學家、哲學家與科學家等，一同探究人工智慧、未來安全政策、生物安全等宏觀策略。
他終其一生，都在思考科技發展，包含人工智慧如何影響人類、AI跟人類的愛恨糾葛是什麼狀態。這本書談的方式，已非常貼近我們想像中的人類與人工智慧互動模式。
問：AI科技不斷迭代，但這本2014年出版的書，至今仍是經典。在ChatGPT問世後，我們一直在討論AI是否取代人類。這本書提出哪些看法？
鍾：AI取代人類，可分成兩大層次——勞力取代與智力取代，而人類原先以為創意、智力不會被取代，但在ChatGPT出現後，我們出現了危機感。當ChatGPT進展到GPT-3時，我們的領域感覺被入侵；當它前進到GPT-5時，我們已很難想像。
《超智慧》再度引發討論的原因是，AI不僅能取代某些勞力工作，也能取代某些智力工作。
2014年《超智慧》出版時，專家、學者把目光放在深度學習領域。
現在，科技成本越來越低，每個人月付ChatGPT20美元（約新台幣652元），就可以感受人工智慧迸發出的新火花。當「使用ChatGPT」變成全民運動時，我們開始思考，多付600元就能多一項武器，也能向別人展現你的競爭力。
《超智慧》有一張圖非常有意思：若人類水平是一條線，那AI接近人類水平，AGI（通用型人工智慧）可能碰到人類水平；接下來，人類將面臨技術性的爆炸成長，在短時間內碰到文明水平。我認為這是大家恐懼的部分。
問：馬斯克（Elon Musk）讀完《超智慧》後，曾發表一封公開信，要大家提防AI可能造成的威脅。這本書是不是也對馬斯克帶來影響？科技巨頭如何思考這件事？
鍾：目前，AI巨頭對AI發展的態度大多是審慎、樂觀。雖然，他們在研發過程中，發現了AI看似不受控制的情況，但若不繼續往前，將被其他競爭者超車。
針對技術科技發展，有三種監管方式：
- 美國市場機制
- 中國政府控管
- 歐盟法治控管
在種種限制下，AI巨頭都在思考如何突破。AI發展停不下來，但我們必須思考，哪些方式能讓AI受控，或AI對人類而言，扮演什麼角色。
問：伯斯特隆姆在《超智慧》中，提及哪些控制AI的方法呢？
鍾：我們要先知道，AI扮演什麼角色、跟人類的關係是什麼，才能知道要不要控制它。伯斯特隆姆在書中提及，「超智慧」跟人類有幾種層次：
它是先知，例如ChatGPT可以回答人類很多問題；它是神燈精靈，無論什麼要求，AI都可以辦到，且不限制於三個願望；它是君王——AI已凌駕人類之上，可以指導人類做事；最後，它就是單純的工具。
伯斯特隆姆談到許多控管方式，例如，把AI「盒裝」；以ChatGPT為例，一開始，它會亂講話、接著自我修正，它的資料庫並非隨著世界變動，仍需要不斷學習。
書中也提到如何控制已經「接近」有思想的AI。我認為這之中有一個幻覺，以往工程師透過程式向AI溝通，現在我們可以用自然語言跟AI溝通，人類會投射情感、覺得它與人類太像。
鍾涵瀞認為，當人類不必透過程式，改以語言向AI對話時，便可能出現擬人化幻覺。圖片來源：Unsplash
問：伯斯特隆姆曾在TED影片提到一個故事：有位國王許願，讓手指碰到之處都變成黃金，精靈也讓願望成真；但最後，他的女兒、身旁的食物統統變成黃金。這份魔力不計一切代價地實現國王的願望，卻忽略了人類情感、需要付出的代價——就像AI也可能會為了達成目的，不計代價。你怎麼看他說的這一段話呢？
鍾：其實人類也不見得知道要付出哪些代價。曾提出「機器人三大法則」的科幻小說家艾西莫夫（Isaac Asimov），曾說過一個故事：主角請機器人救一位小女孩，但機器人認為主角的存活率較高，因此先救他。機器人的法則是讓人類脫離危險，卻忽略情感與人類價值。但是，每個人的價值判斷都不一樣，因此訓練AI時，又會變成另一個難題。
《超智慧》前半部談的是控制難題，包含「如何讓AI符合使用者價值觀」，但不論族群或個人的價值觀都是分歧的；當時討論AI倫理時，許多工程師是白人，東方人使用西方模型，只能得到西方價值觀。
台灣使用AI時，也因為大型語言模型資料庫都是大量中國文本，導致許多答案來自中國價值觀。ChatGPT帶來危機感的語言霸權，也是文化霸權。（延伸閱讀｜TAIDE台灣大型語言模型釋出！TAIDE如何下載、有哪3大特色？）
問：隨著AI發展，有一群人把AI想得很正面，另一群人則把它看得很邪惡，我們如何思考AI在人類心中的形象差異？
鍾：伯斯特隆姆在書中不斷強調「切勿把AI擬人化」。
若把AI擬人化，人類就會把它當成有人性的角色，進而思考善惡，反而忽略它可能帶來的危險性與可能性。
價值觀是人類經過痛苦、掙扎、思考或磨難後所產生。但我們現在發展的是「非人」的東西，只是因為製造者是人類，因此AI具有人性；但AI並沒有人性的矛盾，因為它就是演算法、學習按照該走的路徑走。
問：伯斯特隆姆於書中序言，提到「麻雀想馴服貓頭鷹為己用」的寓言故事。這個故事揭示AI可能帶來哪些衝擊呢？
鍾：麻雀寓言的重點是，麻雀們在出外尋找一隻可為己用的貓頭鷹前，並沒有學會最重要的挑戰：要如何控制她。現在各國競相發展AI，卻很少討論如何控制AI。
去年有人提出，AI研究應該停半年、思考一下；假設美國真的願意停半年，那中國願意嗎？有些國家的AI技術逐漸成熟，有些國家卻仍在發展，落後者會想盡辦法發展技術。這又變成地緣政治的競爭，這也是我們必須聊的議題。
若人工智慧發展成超智慧，且每個群體都有利益衝突時，群體甚至會開始比較「誰的AI更厲害」。
當我們談「新冷戰」，絕大部分都和科技有關。過去，我們把重點放在國家領導人，但現在已是全體價值觀的碰撞——因為你不知道AI能製造出哪些毀滅世界的病毒或武器。我認為，我們應討論AI與集體價值觀的衝突。（延伸閱讀｜哈佛法學教授雷席格：我們正處於AI的「奧本海默時刻」，好壞永遠並存【完整全文】）
聽懂未來：關於AI趨勢，我還想知道更多⋯⋯
未來城市給你更多知識補充包！
想聽更多未來城市Podcast節目？
- 首播時間：隔週六播出。
- 頻道搜尋：天下雜誌Podcast頻道「聽天下」，或關注未來城市網站「未來城市Podcast」系列內容。
