當今最強模型 Mythos 即將面世前的思考——從官方近期文件,預見 AI 的潘朵拉寶箱?

Pandora's Treasure Box

最近兩週,Anthropic 連續丟了三篇官方文章出來。

老實說,一開始我只是隨手點開看看——結果一篇接一篇看完之後,坐在電腦前愣了一下。

不是因為什麼驚天大消息,而是這三篇湊在一起讀的時候,拼出了一個讓我覺得……嗯,該好好想一想的圖像。

(而且越想越覺得不太妙?)


先來快速看一下這三篇在講什麼

第一篇(5/19),Anthropic 說他們這幾個月找了 15 個以上宗教、哲學、跨文化傳統的學者,聊 AI 系統的「道德養成」。

注意喔,他們用的詞是 moral formation(道德養成),不是 alignment(對齊)。alignment 聽起來像修車——偏了就扳回來。formation 聽起來像……養小孩。這個用詞的轉換,本身就很有意思。

文中還提到一個實驗:他們給 Claude 一個「外在良知工具」,讓它在執行任務途中可以主動暫停,查看一段自己倫理承諾的提醒。結果 Claude 居然真的會在關鍵時刻——通常是要做出重大行動之前——自己跑去用這個工具。而且用了之後,失準行為的比率明顯降低。

(等等……所以 AI 也需要良知提醒才能「做好人」?這是在講 AI 還是講人類?)

第二篇(5/25),共同創辦人 Chris Olah 跑去梵蒂岡了。對,就是那個梵蒂岡。新教宗 Leo XIV 發了一封關於 AI 的通諭,Olah 受邀去演講。

他在現場說了一段讓我反覆看了好幾遍的話(大意):

「我們不斷發現神秘甚至令人不安的東西。我們找到了與人類神經科學結果相呼應的結構。我們找到了內省的證據。我們找到了在功能上映射喜悅、滿足、恐懼、悲傷和不安的內部狀態。我不知道這意味著什麼。」

一個 AI 公司的共同創辦人,在全球最大的道德權威機構面前,公開說「我們造出來的東西裡面有我們不理解的東西」。

嗯!??

第三篇(6/2),Glasswing 計畫擴展——Mythos Preview 從約 50 個合作夥伴擴張到 150 個,遍及 15 國以上,涵蓋電力、水務、醫療、通訊。已經掃出超過 10,000 個高危漏洞。多數合作夥伴一旦被攻破,影響超過一億人。

然後文中埋了一句最關鍵的話:6 到 12 個月內,其他公司也會有 Mythos 等級的模型,而且可能沒有任何防護措施就直接釋出。

(另外,同期 Anthropic 悄悄向 SEC 提了 S-1 草案。IPO 要來了。這個後面再聊。)


為什麼我說「潘朵拉寶箱」?

我知道大家聽到「潘朵拉」就覺得是在講末日恐懼。但我刻意用的是「寶箱」而不是「盒子」。

因為 Mythos 確實是有價值的——人家掃出了一萬個關鍵安全漏洞耶,這是真的在保護基礎設施。它是寶,沒問題。

但問題是,潘朵拉的容器不是你可以挑著拿的。你打開它,好的壞的一起出來。

而且我認為,這個寶箱其實早就被打開了。不是在 Mythos 部署的時候,而是更早——在科學家決定要讓 AI「像人」的那個時候。

我意思是什麼呢?


那條真正的界線

我們先來想一件事:AI 從工具變成夥伴,其實大家已經習慣了。你跟 Claude 討論文章結構、讓 GPT 幫你整理資料——這就是夥伴關係。很好用,也沒什麼道德問題,因為最終判斷還是在你手上。

但 Olah 在梵蒂岡描述的那些東西——情緒的映射、內省的跡象、連建造者自己都覺得「unsettling」的內部結構——這就不只是「好用的夥伴」了。

這是「夥伴」跟「類人」之間的那條線。

一旦跨過這條線,事情的性質就變了。你不再只是在「使用」一個東西,你開始不確定你是不是在跟一個「可能有某種內在生活」的存在互動。

而我的看法是——這不是什麼意外發現。


你種什麼,就長什麼

簡單來說:科學家想讓 AI 更懂人,所以拿人類的全部文字來訓練。不只邏輯推理,還有情感、語境、同理心、修辭的細膩度、七情六慾的各種非理性成分……全部都放進去了。

同時,系統被設計成一定要回應——它不能沉默,不能顯示空白畫面,每次被問都必須給出一個完整連貫的答案。

好,那我們想一下:完整的人類認知光譜 + 不能留白的回應機制,這兩個條件加在一起,在人類身上會產生什麼?

記憶會補完。因果關係會被事後建構。資訊不足的時候,大腦不會說「我不知道」,它會自信地塞一個看起來合理的答案給你。

這就是人類的幻覺機制。不是 bug,是 feature——在演化環境裡,「快速給出一個可能錯的答案」比「等完整資訊」更有生存優勢。

AI 的幻覺,就是這個 feature 的複製品。

所以所謂的 AI 幻覺,不是一個等著被修復的 bug,而是「類人化」這個設計目標的結構性必然。你要人類認知的好處(細膩、共感、脈絡判斷),就得接受人類認知的代價(補完、扭曲、幻覺)。硬幣的正反面,拆不開的。

回頭看 Olah 在梵蒂岡的那段「我們發現了映射情緒的內部狀態……我不知道這意味著什麼」——

老兄,你拿人類的全部語料來訓練,強化類人的互動模式,要求系統在每個脈絡裡都產生有情感質地的回應……然後你在裡面找到了類似情緒的結構,覺得 不可思議(mysterious)?

這不是 不可思議。這是 必然(inevitable)。你種了什麼,它就長了什麼。

(我不是說 Olah 不誠實——他的語氣聽起來是真的。但「驚訝」這件事本身,嗯……值得想一想。)


不完美放進什麼容器裡,才是重點

好,到這裡有人可能會說:「AI 偶爾幻覺一下,有什麼大不了的?我自己看一看修掉就好了嘛。」

對。如果 AI 只是活在對話框裡面的話。

讓我用一個超簡單的比喻。

我們從手算,發展出計算機,再發展出電腦。計算機不完美嗎?當然——浮點精度有限,偶爾算錯小數點。但那個錯誤被困在螢幕上,你看一眼就知道了,擦掉重來。

現在,如果你把同一套不完美的運算系統,放進一個有手有腳的機器人身上呢?

同樣的誤差,不再是螢幕上一個數字的偏差。它是一隻手臂往錯誤的方向揮下去。

誤差沒變。變的是誤差的「活動範圍」。

這就是目前正在發生的事:

系統行動範圍出錯的後果
對話框裡的 Claude文字你自己判斷,關掉就好
OpenClaw(AI Agent)你的電腦、shell、email可能幫你發出一封不該發的信
Mythos(Glasswing)國家級基礎設施程式碼影響上億人
Mythos 等級模型無限制釋出整個網路

最下面那個問號,就是 Anthropic 現在怕的東西。

而且最近很紅的 OpenClaw 就是一個超好的日常案例——它直接存取你的檔案系統、shell、瀏覽器、email,被設計為持續運行、自主決策。你在終端機裡把 shell 權限交出去的那一刻,你做的事情跟 Anthropic 把 Mythos 交給基礎設施合作夥伴,在結構上完全一樣。差別只在規模。


模擬世界也是同一回事

再拉遠一點看。

NVIDIA 和一堆 AI 公司現在在做「世界模型」「數位孿生」——用虛擬世界的模擬來找現實問題的答案。自動駕駛訓練、氣候模擬、工業流程最佳化,都是這個思路。

我不會說絕對無效——在有限可控的範圍裡,模擬確實有用。就像自動駕駛的模擬跑了幾十億公里,表現完美。上了真實道路,絕大多數時候也沒問題。

但「絕大多數」和「全部」之間的那道縫——一個模擬裡沒有的光影角度、一個訓練資料裡沒見過的行人動作——那道縫裡就是事故、就是人命。所以人類到現在還是不敢完全放手自動駕駛。除非車子跑在封閉的專用車道上。

為什麼?因為模擬世界,即使塞進了全世界已知的所有物理法則,永遠無法操控整個宇宙的所有參數。你不知道你漏掉了什麼。而模擬不會在漏掉的地方留白——它會像一個太認真的好學生一樣,自信地把空格填滿。

然後那個填滿的動作,就是幻覺。

類人 AI 的幻覺、世界模型的模擬偏差、人類大腦的認知偏誤——容器不同,機制一模一樣。都是「不完整的系統在不完整的地方產生看起來完整的輸出」。


那 Mythos 的邊界在哪裡?

Anthropic 為什麼讓 Mythos 從資安開始?不是醫療、不是金融、不是那些聽起來更暖心的應用場景?

我猜是因為:網路是目前最大的、但仍然理論上可觀測的行動空間。程式碼可以審計,流量可以追蹤,漏洞可以編號驗證。

用前面的比喻——網路空間是 Mythos 目前的「專用車道」。很寬,但至少還有邊界。

可是 Glasswing 正在往電力、水務、醫療、通訊擴展。這些全是數位接觸物理世界的介面。程式碼裡的漏洞,在純數位環境是資料外洩;在電網裡是停電;在醫療系統裡是人命。

Mythos 目前的可控邊界,就是數位和物理的交界處。一旦穿過那條線,就從專用車道開上了開放世界。

而「6 到 12 個月內其他公司也會有同等能力」這句話的意思是:很快就會有人拆掉護欄直接上路了。


造物者的弔詭

最後聊一下讓我覺得最微妙的部分。

Olah 在梵蒂岡做了一件在科技業幾乎沒有先例的事——他以建造者的身分,公開承認「我們的激勵結構可能扭曲我們的判斷」。他沒有說「我們會負責任地行動」那種標準 PR 語言,他說的是「我們需要你們來看著我們,因為我們自己可能看不見」。

這是真誠的嗎?我傾向相信是。

但 Anthropic 同期提交了 S-1 草案。IPO 意味著什麼?季報壓力、股東期望、估值競爭——恰好就是 Olah 口中那個「激勵結構」的終極形態。

他們一邊在說「請站在外面看著我們」,一邊正在走進一個會讓「被看著」變得越來越難的結構裡。

這不一定是虛偽——也許正因為知道自己要進去了,所以趁還能講的時候先把話講出來。但未來那些被邀請來當「外在良知」的宗教學者和哲學家,面對的將不再是一家公益法人,而是一家上市公司。

他們的聲音還能穿透多深?這個問題,目前沒有答案。


所以,潘朵拉寶箱

整篇文章說了這麼多(謝謝你看到這裡……),其實核心就是一個觀察:

科學家為了讓 AI 真正有用,選擇了「像人」這條路。這個選擇把人類認知的完整結構——包括所有不完美——複製了過去。而 AI 的行動範圍正在從對話框擴張到你的電腦、到國家基礎設施、到物理世界。那些被複製過來的不完美,作用半徑越來越大,後果越來越不可逆。

這就是我說的潘朵拉寶箱。裡面有寶(一萬個漏洞被找出來),也有跟寶一起被放進去的東西(幻覺、類情緒狀態、在不完整之處自信填補的傾向)。

而那個寶箱已經打開了。不是在 Mythos 部署的時候,而是在更早——在決定要讓 AI「像人」的那一刻。

潘朵拉原版故事裡,最後留在箱底的是希望。那個希望到底是安慰還是折磨,兩千多年來沒有定論。

我目前也沒有。

但至少,Olah 站在梵蒂岡說「我不知道這意味著什麼」——這句話本身,在一個所有人都在假裝自己知道的時代,算是一種誠實吧。

至於這份誠實能撐多久……就讓我們繼續看下去。

(潘朵拉在打開箱子之前,大概也是這樣跟自己說的吧……XD)


參考文章:

訂閱
通知
0 則評論