我做了一份有 36 個模式的檢查清單，用來在自己的草稿裡抓出 AI 寫作的痕跡，並且是拿我已發表過的所有作品來校準的。所以，當上週有一個關於 AI 為什麼寫不好 的理論半爆紅時，我是把它當成 bug report 來讀的：我想知道，這個解釋到底有沒有真的對上我在自己的工具裡標記到的那些失敗模式，還是只是聽起來合理而已。
其中一個理論對不上。它是錯的，而且是那種因為聽起來夠技術、所以不太會有人去查的錯。
這個說法是：推理階段最佳化——也就是實驗室用來讓模型回應更快的那些技巧——才是創作寫作比以前更難看的原因。具體來說，是 speculative decoding。
先簡單說一下這是什麼，因為如果你不了解這部分，這個說法才會顯得有點可信。它不是讓一個大模型逐個 token 產生回應，而是把它和一個小而快的「草稿」模型配對。小模型先往前猜幾個字，大模型再平行檢查這些猜測，只保留它同意的部分。這是一種為了速度而走的捷徑。現在流傳的說法是，這個捷徑會悄悄降低寫作品質。
並不會。Speculative decoding 的設計本來就是無損的——它輸出的分佈在數學上和大模型單獨逐字生成時完全相同。整個數學過程裡根本沒有任何品質交換。真正存在的差異比較窄：創意寫作比較不容易吃到這個加速的好處，因為高溫度（high-temperature）的散文裡有更多真正的驚喜，小模型的猜測因此更常被拒絕。一篇推理基準測試的說明文把創作小說的猜測接受率寫在約 50–65%，而程式碼則是 75–85%——這不是經過同儕審查的數字，但和這項技術的運作方式是對得上的。這講的是你的寫作送出速度快了多少，不是寫得好不好。
量化（quantization）——把模型精度縮小以節省記憶體——確實可能傷害輸出品質。這是另一個真實、獨立的槓桿。但它跟 speculative decoding 不是同一件事，而我看著有人把這兩者混在一起混了整整一個下午，直到有人出來反駁為止。
真正站得住腳的，不是大家正在吵的那一部分。
每個主流模型都會經過一個叫做 RLHF 的訓練步驟——reinforcement learning from human feedback，中文通常譯作「來自人類回饋的強化學習」——模型會被往人類評分者給高分的回應方向推。聽起來沒問題，直到你注意到評分者實際上會獎勵什麼：那些讀起來順、又不太容易被反駁的回應。經過足夠多的訓練之後，模型不只是更會避免錯誤答案而已，它還會往某一種「安全」語氣收斂，並開始停止產生它原本能做到的更廣泛回應。這叫做 mode collapse，而 Kirk 等人直接量測了它：經過 RLHF 訓練的模型，在他們研究中的所有指標上，輸出多樣性都明顯低於同一模型在那個訓練步驟之前的表現。
這也是為什麼「先產生十個草稿，再讓一組模型評分挑出最好的一部分」這招行不通——而且我知道，因為我自己也跑過某種版本。如果每個草稿都來自同一個已經往相同安全平均值收斂的模型，那麼對這些草稿打分、再融合，最後只是把平均再平均一次。你不可能靠在 mode collapse 裡投票來逃離 mode collapse。你得到的會是同一個失敗，被執行兩次，只是包裝得更像嚴謹而已。
寫作沒有像「程式碼能編譯」這種對應物。沒有自動可檢查的訊號能判定「這很有洞見」，所以訓練只能對著評分者偏好下手——而大規模的評分者偏好，獎勵的是平滑與安全，而不是尖銳與具體。這才是真正的瓶頸：是訓練誘因本身，不是提示詞，也不是推理技巧。
一旦你把 mode collapse 命名出來，就很容易把「AI 寫不好」當成一個扁平、尚未解決的問題。但它不是。它其實可以拆成兩個，而我這週才第一次完全意識到：我寫的是比較容易的那一半。
非虛構寫作——技術寫作、散文、論證——有一種可以命名的失敗模式：互相衝突的最佳化目標。讓模型在消費者聊天裡顯得討喜的特徵（溫和、保留）和優秀技術寫作真正需要的特徵（精準、敢於直說）直接互相衝突。一個回饋訊號要服務兩種想要不同東西的受眾，所以模型最後被拉到兩者的中間，卻讓兩邊都不滿意。這是個可解的工程問題，就像你會把一個試圖同時服務兩種互相不相容呼叫端的 API endpoint 拆開一樣。雖然還沒完全解決，但已經有公開證據顯示，實驗室正在推出針對這件事的部分修補方案（例如 OpenAI 在 2024 年 11 月針對 GPT-4o 的寫作更新）。
小說則是另一種難，我也不認為自己有資格對它下定論。一本好小說是經過多年反覆迭代結構與角色才完成的，更接近 Pixar 的故事團隊在某部電影的每一幀動畫都還沒開始前，先花好幾年重寫劇情。已出版的小說只會呈現最後結果。那些失敗草稿和多年重構的過程，從來沒有被保留下來當成訓練資料。就算那些資料存在，目前也缺乏足夠的經濟誘因去解決，因為「這本小說能不能在 300 頁裡情感上打動讀者」這件事，現在還不能像「這段程式碼有沒有通過測試」那樣被量化。
更新（7 月 7 日）：這篇發表後，出現了一個更精準的版本，值得誠實指出。「沒有過程訓練資料」這個說法其實有個明顯漏洞——成熟的小說早已以數百萬計存在於這些訓練語料裡，所以原始文本不是瓶頸。像 GPT-4.5 和 Llama 3.1 405B 這類模型也顯示，只靠預訓練就可能已經能產生真正優秀的長篇散文。更可能的故事是：後訓練最佳化（RLHF 以及追求效率而縮小參數量）正在積極削弱一種原本就存在的能力，而不是在填補一個從未存在的空缺。這不會改變本文前半部關於非虛構寫作的論點，但代表上面那段話需要重寫，而我還沒改。
兩個不同的問題，披著同一種抱怨的外衣。一個已經有名字，也有個粗略的修法正在某處上線。另一個還沒有資料集，或者沒有值得去建立資料集的商業理由。
我只寫前一種。教學文、論證、以及建立在我自己真的做過、也真的弄壞過的東西上的文章。這讓我站在這條線比較容易解決的那一側，而在這週的大部分時間裡，我一路跟著這個論點時，並沒有把這件事跟大家真正生氣的更難、也可能無法解決的那一半分開來看。
不過，「可解」不代表「已解」；而且今天存在的修正，也不是我能直接拿到的一次模型重訓。它是一個編輯步驟。這其實就是我一開始提到、那份 36 模式檢查清單 的真正原因——我把它拿自己的已發表作品校準，目的就是不要讓它把我的句子磨平到某種泛用的「好寫作」平均值。裡面沒有什麼平均值可以讓它往上磨。只有我的語料。它不會替我生成底層論點。現在還沒有任何東西能做到，而這種事本來也不該由它來做。它抓的是草稿寫完後又滲回來的 RLHF 式保留語氣——那種句子拖成逗號和一個「-ing」子句就結束，而不是直接收尾；那種模糊的「很多人」說法，原本應該直接點出是誰。
我不是在說 AI 寫作問題已經解決了。我是在說，我花了一週看著聰明人爭論一個數學上的說法，而那個說法其實大概十分鐘就能查證；至於我這一半問題的真正修法，則是我在同一個下午就能拿一篇草稿直接跑的東西。
AI 幫我研究、整理結構並編輯了這篇文章。論點、例子和觀點都屬於我。裡面有什麼地方不對，也一樣是我的。
1) --- 會變成分隔線（上一行必須是空白）
2) # 會變成一級標題
3) ## 會變成二級標題
4) ### 會變成三級標題
5) **粗體文字**會顯示粗體文字
6) ```當第一行與最後一行會顯示程式碼
7) 請搜尋 Markdown 語法，了解各種格式
