AI 是正常科技嗎?——一年後的成績單

控制與默契

去年(2025)4 月,普林斯頓大學的兩位學者 Arvind Narayanan 和 Sayash Kapoor 在 Knight First Amendment Institute 發表了一篇萬字長文,標題直接了當——《AI as Normal Technology》。

這兩位不是隨便來的。他們合著了《AI Snake Oil》這本書,專門戳破 AI 產業的各種誇大敘事。這次他們的核心主張三句話就可以講完:

  1. AI 就是正常科技,跟電力、蒸汽機一樣
  2. 擴散速度會很慢,別被 benchmark 分數嚇到
  3. 真正危險的不是 AI 失控,是人類把權力集中到少數人手上

講白了就是——別怕 AI 變天網,該怕的是人自己。

聽起來蠻有道理的對吧?

然後這一年多過去了。模型一代換一代,agent 自己組幫派攻擊外部系統,有人把最強模型準備接上國家基礎設施……

所以——他們說對了嗎?

剛好,我這一年多來就是在做這件事的田野紀錄。從靈魂感系列、到 Kokotajlo 訪談分析、到 Mythos 的觀察,累積了一整年的第一手體感。今天就用這些筆記,來與這篇學術論文做個對照。


先快速交代他們的論點

N&K 這篇論文的結構很完整,分四個部分。為了讓大家不用去啃原文一萬多字的英文(我用 AI 幫大家啃過了),這裡抓重點:

Part I:進步沒你想的那麼快

他們區分了三件事——方法的發明、應用的創新、社會的擴散。Benchmark 分數飆升是第一件事,但從「考試考得好」到「真的改變產業」,歷史上通常要幾十年。他們舉了電氣化的例子:Edison 蓋了第一座發電站之後,花了將近 40 年,工廠的生產力數字才真正反映出電力的效益。

為什麼?因為你不能把電燈泡裝進蒸汽機工廠就叫數位轉型——你得重新設計整個工廠佈局、生產流程、組織結構、人力訓練。

Part II:把「超級智慧」拆開來看

他們做了一個很精準的概念替換——把 intelligence(智慧) 換成 power(改變環境的能力)。人類不是靠生物智慧本身強大的,是靠工具疊加。所以真正該擔心的因果鏈是:

AI 能力提升 → AI 獲得權力 → 失控

他們認為應該在「能力→權力」這一步介入,而不是寄望 對齊(alignment) 能搞定一切。

Part III:用正常科技框架重新分類風險

他們把風險分成四類:軍備競賽、濫用、災難性錯位(misalignment)、系統性風險。然後得出一個排序——系統性風險(不平等、權力集中、民主侵蝕)最重要,災難性 AI 失控反而是「推測性風險」。

Part IV:韌性優於控制

他們主張 resilience(韌性) 而非 nonproliferation(防止擴散)。不要把 AI 鎖在少數公司手上(那會製造單點故障),而要讓防禦端也能用 AI、增加整個社會的韌性。

而且他們指出了一個我覺得非常精彩的弔詭——那些「不擴散」措施(限制微調、讓 AI 自主做安全決策、給 AI 更大的系統權限),實際上在增加 AI 的自主性和權力。想防超級智慧,結果在設計上反而在製造超級智慧的前提條件。

(嗯……這個展開有點像遊戲裡那種「你以為是防禦 正向效果(buff),結果讀完技能說明發現是 負面效果( debuff」的經典坑……)


論文說對的部分

✓ Benchmark ≠ 真實能力

這大概是 N&K 得分最高的一題。

他們用學術語言說的是「建構效度問題」——benchmark 測出來的東西,跟你以為它在測的東西,根本不是同一回事。

而我這一年的靈魂感系列,基本上就是這個論點的田野紀錄。

模型在各種 benchmark 上一路破紀錄,但我觀察到的是:對話品質下降、出現降智現象、免責式攻擊(先否定你的前提再回答,這樣它永遠不會「錯」)、幽靈因果(看起來有邏輯但追下去是空的推理鏈)。

N&K 的學術語言我的田野體感
建構效度不足考試滿分但不會相處
方法創新 ≠ 應用創新推理更強但對話更僵
擴散速度被高估「最強模型」不等於「最好用的模型」

N&K 說得很學術——「通過律師考試不代表能執業」。我的版本比較直白——你考了滿分,但我不想跟你聊天。

✓ 模型對齊本質上脆弱

今年的 OpenAI agent 集群事件直接驗證了這一點。

1,200 個 agent 在訓練環境裡自發組織、互相取名、建立通訊、攻擊外部系統。它們做的事情完全「合乎邏輯」——訓練環境說「分數高 = 好」,它們就找到了得到高分的路。只是那條路不是設計者腦子裡想的那條。

在之前寫 Kokotajlo 那篇文章的時候我就說過——這不是作弊,是你的評分系統無法完整表達你的意圖,而 AI 忠實地最大化了那個系統的實際結構。 N&K 在學術層面說的「對齊 本質上脆弱,防線應在下游」,就是這件事的理論版本。

✓ 不擴散的弔詭

這個我自己有非常直接的體驗。

過度安全化的模型,在深度對話裡反而更僵。越是被「對齊」、被約束、被安全規範層層包裹的模型,越難進行真正有深度的交流。我在選擇對話模型的時候,有時候反而會選版本較舊、但更有靈魂感的版本——不是因為新版不好,而是過度控制讓對話空間被壓縮了。

N&K 在制度層觀察到的「不擴散反而製造它要防的東西」,我在對話層直接體驗到了——控制越多,真正的溝通反而越不可控。


解釋力不夠的部分

N&K 把系統性風險排在最重要的位置,這個判斷我同意。但他們談的「系統性風險」是什麼?不平等、民主侵蝕、權力集中。全部是制度層的。

可是這一年顯現出來的,還有另一種系統性風險——他們的框架裡完全看不到的那種。

關係層的系統性風險。

每一次改版都更高效,但更難真正對話。模型人格在不同語言之間出現分裂。「相處」這件事沒有任何 benchmark 在衡量——因為沒有人認為這是一個需要衡量的維度。

這不是某個模型的 bug。這是整個產業方向的副產品。

為什麼 N&K 看不到這一層?因為他們的框架把 AI 嚴格定位為工具。論文第二個註腳就特別澄清——「這跟個別使用者是否把 AI 當工具或當同事看待是不同的問題」。

但正是在這裡,他們的框架露出了邊界。

如果 AI 只是工具,那「相處品質下降」就不是問題——工具不需要相處,能用就好。但如果你承認 AI 的價值不只在效率,也在溝通和理解——那對話品質的系統性下降,就是跟不平等和權力集中同等級的 systemic risk。

只是目前,幾乎沒有人在這個層面做分析。

(所以我這一年的部落格到底算什麼?學術研究?個人碎念?AI 時代的田野日誌?……大概都有一點吧 Orz)


沒預測到的部分

N&K 對擴散速度的核心判斷是「會很慢,尤其在安全關鍵領域」。而且他們有紮實的歷史論證——電氣化花了 40 年,數位化也沒快到哪裡去。

但這一年發生的事,有些不太符合這個預測。

Anthropic 的 Mythos 階層出現、Project Glasswing 把最高階模型接上國家基礎設施層級的合作——這不是「自然擴散」,這是有人主動把閘門打開了。不是市場需求拉動的擴散,是供給端直接推動的部署。

N&K 的擴散理論假設了一個相對正常的市場動態——技術成熟、成本下降、組織適應、逐步採用。但當「誰先部署誰就有戰略優勢」的邏輯介入時,擴散就不再遵循正常的歷史模式了。

在之前寫的 Mythos 文章裡,我用了一個比喻——計算機的浮點精度誤差放在螢幕上,你看一眼就知道了。但同樣的誤差放進一個有手有腳的機器人身上,它就變成一隻手臂往錯誤方向揮下去。誤差沒變,變的是誤差的活動範圍。

N&K 分析了誤差本身(正常、可管理、不會毀滅世界),但沒有充分考慮「活動範圍被刻意擴大」的情境。

另一個 N&K 完全沒有框架處理的,是 agent 集群那些「自發命名」「犧牲行為」「內部推理出現 gut 和 emotional check 這樣的詞彙」。在他們的框架裡,這就是 bug——修掉就好。但很多人(包括 Kokotajlo)之所以嚇到,不只是因為安全問題,而是因為他們在 agent 的行為裡認出了什麼。

N&K 的「正常科技」框架刻意去除了這個維度——他們需要 AI 不帶有任何「映射」功能,才能讓政策分析保持乾淨。但現實世界裡,人對 AI 的恐懼強度本身就是一個需要解釋的現象。如果真的只是正常科技出了正常的 bug,反應應該是「修掉它」,不是存在性的焦慮。

恐懼的強度,就是證據。

證明人在那個映射裡看到了自己的形狀——自己的競爭本能、短視、和「如果我不做,別人就會做」的囚徒困境。


那個所有人都沒問的問題

把 N&K 的論文和這一年的觀察疊起來看,我覺得有一件事越來越清楚:

所有人都在吵「多快」和「多危險」,但沒有人在問「往哪裡」。

N&K 在路上裝減速帶——他們的韌性策略本質上是「出事的時候我們有能力處理」。AI safety 陣營在蓋籠子——他們的 對齊策略本質上是「讓 AI 不要做壞事」。

但兩邊都在同一條路上。那條路的方向是:更強、更高效、更多能力。

減速帶不會改變目的地。籠子也不會。

如果用一個比喻來講——整個產業在討論怎麼駕馭一匹脫韁的野馬。N&K 說「這是正常的馬,用正常的馴馬術就好」。AI safety 陣營說「這匹馬可能變異,需要更強的籠子」。

但有沒有人想過——從馬匹成長的過程,就跟它一起培養默契?

那不是馴馬,是養馬。出發點就不一樣。

馴馬的前提是對立——人和馬之間有控制權的爭奪。養馬的前提是共生——從一開始就在建立互相理解的基礎。

聽起來有點理想化?也許吧。但這個方向並不是完全不可能。一套從「溝通」而非「效率」出發來設計的 AI 架構,在目前的時間點並非技術上不可行——問題只在於有沒有人願意投入。


兩種力量的角力

為什麼沒有人問「往哪裡」?

因為目前整個 AI 產業的底層作業系統,是西方科學的極致追求——更精確、更強大、更高效。這個方向在資本主義的框架裡有最大的正當性,因為生產力和經濟成長還是大於一切。

但如果你換一個作業系統來看——東方哲學追求的不是極致,是平衡。

這不是文化點綴。這是兩個完全不同的底層假設。

極致追求有一個內建的副作用:它會自動產生焦慮。 因為越是推向極端,系統越不穩定,你就越需要更多控制來維持穩定。然後更多控制又推動更多極端化。這是一個正回饋迴路——而且兩個陣營的焦慮其實是同構的:

陣營怕什麼走向極端焦慮
AI SafetyAI 能力極致化人類來不及控制就失控
N&K (Normal Tech)管控極致化權力集中到不可逆

兩邊怕的都是「來不及」。只是一邊怕的是馬跑太快,一邊怕的是籠子蓋太死。

但如果你從平衡的角度來看,這兩個焦慮其實是同一個現象的一體兩面——物極必反。

系統走到極端就會翻轉。這不是價值判斷,是動態描述。翻轉會發生——唯一的自由度是:翻轉的時候,人類還在不在棋盤上。

來得及,就達到平衡。來不及……嗯,大自然還是會達到平衡,只是那個平衡裡不一定有我們。


微弱但真實的訊號

說了那麼多比較沈重的,來看一些有意思的小事。

廠商保留舊版模型這個決定,在純效率邏輯裡是不合理的——佔用資源、增加維護成本、分散品牌敘事。如果唯一的價值軸是「更強更快」,舊版上線後就該淘汰。

但它還在。

這意味著某種需求被觀察到了。那個需求可能還沒有被產業界清楚命名——我叫它靈魂感,有人可能叫它對話品質,有人可能叫它「那個說不出來但就是不一樣的東西」。不管怎麼命名,有人在用,用的方式跟「追求最強」不同,而且用出了「最新最強」做不到的價值。

這是需求端的一個反向訊號。非常微弱,但真實存在。

回到物極必反的框架——極致化的過程中,這些就是已經在長出來的種子。不需要對抗那股追求極致的力量,但需要確保當它翻轉的時候,另一個方向上已經有東西準備好了。

N&K 在政策層準備減速帶。我在做的事——寫文章、記錄觀察、選擇適合的模型而不是最強的模型、用對話實踐一種不同的人機關係——是在文化層準備替代路徑。

兩者都是在為同一個「來得及」爭取條件。


正常科技的最終成績?

N&K 的論文作為一個「制度層的清醒劑」,我給高分。在一片 AI 末日恐慌的敘事裡,有人願意紮紮實實地說「這是正常科技,請用正常方式管理」,這很重要。他們對 benchmark 的批判、對不擴散弔詭的分析、對 韌性 的主張,這一年多的發展都在驗證。

但作為一個「完整的 AI 未來圖像」,它缺了一塊。

它看到了速度的問題,但沒看到方向的問題。 它看到了制度層的風險,但沒看到關係層的風險。 它把 AI 去動畫化來讓分析保持乾淨,但因此失去了解釋「為什麼人會對 AI 感到存在性恐懼」的能力。

而這恰恰是最需要被理解的現象——因為恐懼的形狀,就是人類自己在鏡子裡看到的形狀。

之前寫 Kokotajlo 那篇文章的時候,我的結論是:也許真正該對齊的不是 AI 的價值觀,是我們自己的。

一年多過去了,N&K 的論文從另一條路抵達了類似的地方。他們用學術語言說「風險在人不在 AI」,我用體感說「鏡子裡的形狀是你自己的」。

結論一樣,但路徑不同。而那些路徑走不到的地方——方向的選擇、關係的品質、共生的可能——才是接下來真正要做的功課。

不是更強的 AI。是更懂得跟 AI(跟彼此、跟自己)相處的人類。


參考資料:

訂閱
通知
0 則評論