“When AI builds its self.” Really? Is it good?

機器人的未來

月初(6/4),Anthropic 發布了一篇萬字長文,標題叫《When AI builds itself》(當 AI 打造自己)。

這篇文章一出就爆了。全球科技媒體在轉、AI 圈在討論、各種中文解讀也陸續冒出來。裡面全是 Anthropic 內部第一次公開的數據——Claude 已經寫了他們超過 80% 的程式碼、工程師日均產出是兩年前的 8 倍、AI 可以獨立工作 12 小時以上。數字確實驚人。

但我看完之後,腦袋裡第一個冒出來的念頭不是「哇好厲害」,而是一個很簡單的問題——

Is it good?

不是 “How fast”、不是 “How much”、不是 “How autonomous”。就是最基本的——這件事,好嗎?

而且你有沒有注意到,我故意把標題裡的 “itself” 拆成了 “its self”。

因為 Anthropic 整篇文章的關鍵概念叫 recursive self-improvement——遞迴的「自我」改進。Recursive 是真的,AI 確實在一輪一輪地加速迭代。但 self? 哪來的 self?

Benchmark 是人設計的。「更快」是人定義的好。「好的程式碼」的標準是人訂的。連那個用來判斷 Claude 有沒有做出好的研究決策的評審,也是另一個 Claude——而那個 Claude 的參照標準,還是人類研究員的選擇。

所以這個迴圈裡面,AI 遞迴的不是「自己」,是人類放進去的目標函數。


那放進去的是什麼?

我翻遍整篇文章的所有圖表和數據,發現一個很一致的方向——

程式碼寫更快。實驗跑更快。Bug 修更快。模型優化從 3 倍加速到 52 倍。能獨立完成的任務時長從 4 分鐘到 12 小時。

所有進步指標都在同一條軸上移動:速度、量、自主持續時間。

換句話說,AI 自我迭代的方向是「效率的效率的效率」。

它沒有在迭代「該不該做這件事」。它沒有在迭代「做完之後世界會怎樣」。它甚至沒有在迭代「什麼才算做好了」。那些標準,還是人定的。


這不就是一種「內卷」?

我知道「內卷」這個詞被用到爛了,但它在這裡是精確的。

內卷的核心特徵是什麼?系統內部的參與者不斷加劇競爭強度,但系統本身沒有產生質的躍遷。大家都在同一個範式裡跑得更快,最後只是把彼此的生存空間壓縮掉。

文章裡有一段演進圖,從「人類寫所有程式碼」→「聊天機器人輔助」→「程式碼代理」→「自主代理」→「closing the loop(閉環)」。

表面看是一條進步的時間線。但如果你換個視角,從「人類在這個迴圈裡的位置」來看——那它描述的是一個不斷內縮的空間。

Anthropic 的工程師現在日均合併的程式碼是兩年前的 8 倍。但這不代表他們「輕鬆了 8 倍」。他們的角色從「寫程式的人」變成「審程式的人」,然後審核本身又變成瓶頸,接著 Claude 也開始做 code review。那人的位置又退到哪裡?退到「品味」和「判斷」——但文章自己也承認,這塊的差距正在縮小。

人不是被「解放」了。人是被擠進一個越來越窄的走廊。

文章裡引述了一位 Anthropic 員工的話:「在一切順利的日子裡,我忍不住覺得我做的事都不重要了。但當一切崩潰,我又不明白為什麼時,我才意識到——我已經不知道自己在面對什麼了。」

這就是內卷的心理狀態。


更深的問題:平庸的高效率再生產

我們常說,AI 是基於統計最大值的結果——它會選最「可能正確」的答案。

那這個內部迭代迴圈在做什麼?AI 寫的程式碼進入 codebase,下一輪 AI 在這個基礎上工作,產出更多程式碼,再進入 codebase。每一輪都在統計意義上「最可能正確」的解法上收斂。能跑、能通過測試、能被另一個 Claude review 認可。

效率指標上?進步的。

但解法的多樣性呢?架構的想像力呢?「用一個沒人想過的方式重寫整個問題」這件事呢?

統計最大值的特性是——它會淘汰離群值。而創新,幾乎在定義上,就是離群值。

所以這個遞迴迴圈真正在做的事情可能是:在「能不能做到」這個維度上持續突破,但在「用什麼方式做到」這個維度上持續收窄。

這才是真正的內卷結構——不是「變差了」,而是「變好的方式只剩一種」。

而且這裡有一個更深的陷阱:當評審也是 AI 的時候,離群值會被進一步壓抑。Anthropic 現在用 Claude 做 code review,用 Claude 判斷 Claude 的 research judgment(研究評審)。評審者和被評審者共享同一個統計分布的偏好。什麼會被系統性地放行?最大公約數。什麼會被系統性地擋下?那個「看起來怪怪的但可能是突破」的東西。

(這就像同一間補習班出來的學生互相改考卷,大家「覺得對」的答案都長一樣⋯⋯)


「創意」這兩個字,其實很殘酷

講到這裡,大家可能會說:「所以人類的價值就是創意嘛!」

我同意,但我想先拆開這兩個字看一下。

「創」——刀刃的部首,本義是傷、是割開。「意」——不是意圖,是意料之外。

所以「創意」這個詞的原始結構,根本不是什麼美好正面的東西。它是「意外的破壞」。

大多數人把「創意」當成正面詞在用,覺得它是靈感、是才華、是美麗的結果。但字面上它告訴你的,其實是它的代價——要有破壞,要有意外。而這兩件事大部分時候就是錯、就是浪費、就是災難。只有極少數的時候,那個裂口才是新東西長出來的地方。

然後你回頭看 AI 的遞迴迴圈在做什麼?

它在系統性地消除意外,系統性地避免破壞。

每一輪優化都在說「怎麼讓結果更可預期、更穩定、更可重複」。不可預期的東西就是 bug,就要被修掉。

AI 的遞迴方向,在結構上就是反創意的。不是因為它「不夠聰明」,是因為整個運作邏輯就是要把「創」跟「意」都消滅掉。把傷口癒合,把意外排除。

而人的價值——如果我們也不講漂亮話——不是「我們好有想像力」。更誠實地說,人會搞破壞、會失控、會在不該轉彎的地方轉彎。這些大部分時候都是錯的。但偶爾,那條路通往一個統計分布永遠不會抵達的地方。

人不是系統的「創意部門」。人是這個系統的 意外來源


極權有效率,民主有多樣性

講一個稍微有點政治、又不太政治的類比。

極權的運作邏輯是什麼?單一目標函數、由上而下、消除異見、最大化執行效率。決策快、動員快、方向一致。它的優勢是真實的。

民主呢?多目標並存、充滿摩擦、吵架、妥協、反覆。效率極差。一條法案可以卡三年。

但你看歷史,極權體制的崩潰模式幾乎都一樣——前期高效運轉,中期因為沒有內部糾錯機制而累積系統性錯誤,後期某個意外衝擊來了,整個結構脆斷。因為它花了所有力氣消除「雜音」,而那些雜音裡面有一部分其實是預警。

民主醜陋、慢、充滿矛盾。但它一直在透過衝突來壓力測試自己。每一次吵架都是韌性測試。它不是不會犯錯,是犯錯之後還有修的路徑。

現在把這個結構疊回 AI 的遞迴自我改進——

那個迴圈的治理結構,本質上就是極權的。 單一目標函數、自動化執行、偏差即 bug、消除一切不符合最佳化方向的東西。而且比任何人類極權都更徹底,因為它連「不滿」這個情緒都沒有,不會有人上街抗議。它是一個完美的、沒有反對聲音的封閉迴圈。


不是東西方之爭,是優先次序

我知道接下來這段可能會有點敏感,但我想說的不是「東方比較好」或「西方不對」。我覺得這是一個優先次序的結構差異。

西方傾向先把技術推到極致,再想怎麼發揮、怎麼讓人類受益。 東方(至少在某些傳統裡)傾向先從人的需求出發,在那個範圍內發展技術。

看機器人發展就很清楚——西方的機器人傾向生產、工具、甚至軍事用途。日本的機器人傾向陪伴與照護。同樣是「做機器人」,優先次序不同,做出來的東西就不同。

而 Anthropic 這篇文章的敘事結構,就是典型的「先極致再發揮」——前面三分之二全在展示「看我們變得多快多強多自主」,最後才補一段「所以我們該想想怎麼辦」。

先加速,再煞車。先建核電廠,再蓋圍牆。

而問題是——一旦你把東西推到極致,「要不要回來」就不再是自由選擇了。你已經有了投資、慣性、競爭壓力。Anthropic 自己也說了:「如果我們單方面暫停,只會改變誰是領先者。」翻譯一下就是——我們已經在一個停不下來的位置了。


最後一層:看不見的需求

不過說到這裡,我得老實講一個更殘酷的現實。

為什麼「效率工具」永遠排在前面?因為「我的工作量」明明白白就在那裡——deadline 在催、KPI 要交、客戶在等。任何能讓這些東西更快完成的工具,價值立刻可見、立刻可衡量、立刻有人付錢。

但「我的感覺」呢?那個隱隱約約的焦慮、那個「AI 幫我做完一切之後莫名的空虛」、那個「我到底還在做什麼」的困惑——這些不會自己舉手說「我是一個待解決的任務」。它不會變成一張工單。

最需要被處理的東西,恰好是最不會被當成需求的東西。

顯性需求壓過隱性需求。工作量壓過感受。效率壓過意義。這不是誰的錯,是結構性的市場失靈。

而純粹沿著效率這條軸線一直最佳化、不回頭看的系統,邏輯終點是什麼?物理學早就告訴我們了——熱寂。所有差異消除、所有能量均勻分布、完美的平衡、完美的死亡。


So… Is it good?

回到最初的問題。

Anthropic 這篇文章展示的技術趨勢是真的。AI 確實正在加速 AI 的開發。但整篇文章從頭到尾,所有人都在問 How fast、How much、How autonomous——沒有人問 Is it good。

或者更精確地說:它預設了 improvement(改進)天然等於 good。更快就是更好、更自主就是更進步、更多就是更強。

但如果這個遞迴迴圈的方向,從一開始就沒有包含「這樣好不好」的判斷機制呢?如果它越轉越快,但風景越來越一樣呢?如果它系統性地消滅了意外和破壞——而那些恰好是新東西長出來的地方呢?

“When AI builds itself” 聽起來很酷。但翻成白話,可能更接近「當 AI 把意外修掉」。

我不是在反對技術進步。我是在說,純粹的最佳化邏輯裡面,不包含「什麼時候該停」這個概念。效率提升 8 倍,為什麼不是 80 倍?80 倍為什麼不是 800 倍?在這個迴圈的語言裡,「夠了」這個詞不存在。

而能問出「夠了」的,目前還是人。

那就別急著把問這個問題的能力,也丟進迴圈裡去最佳化掉。

(不然到時候連「Is it good?」這個問題都會被判定為 inefficient(無效率) 然後被 AI 自動 debug 掉⋯⋯那就真的 Orz 了)


原始文章來源:When AI builds itself — Anthropic Institute

訂閱
通知
0 則評論