讓模型修改專案,最後跑出一排綠燈,能直接說「這款比較會寫程式」嗎?我在2026年11月20日經由Crazyrouter,讓DeepSeek V4.1 Flash和DeepSeek V4 Pro各自處理同一份Node倉庫修復題,以及一份從README實作四個模組的需求。每題每款3輪,合計12輪。結果很接近:兩款只要寫出程式碼,最後都能通過可見測試;驗收表還要留下首版沒過的地方,以及一輪根本沒產出的連線問題。

DeepSeek V4.1 Flash與DeepSeek V4 Pro四模組任務的首版及修正後測試結果

這篇不是替模型排總榜。我更在意一個開發工作流程裡常遇到的問題:模型第一次提交的程式能不能用?測試回饋交回去之後,它修的是原因,還是只把眼前的斷言補過?

同一份工作,先把首版和修正後分開

修復題是已有的文字、數值與日期工具,原始node --test為0/8。新增題則從README實作LRU快取、非同步結果快取、重試器和時長解析器,原始狀態為1/23。每輪從獨立副本開始,兩邊使用相同中文需求、系統提示、檔案工具、max_tokens=8192,並關閉思考;可讀README、src/和測試,只能寫src/。正式工作目錄的測試檔雜湊沒有變。

「首版」指模型第一次寫完程式後跑測試,不把它動手前看到的原始失敗算進去。收到測試輸出後再修改,另記為修正後。這個區分看似麻煩,卻能避免把兩種成本壓成同一個23/23:一種直接進入程式碼審查,另一種還要等模型讀錯誤、再改、再驗。

工作 V4.1 Flash V4 Pro
修復既有倉庫,8項測試 2輪首版8/8;1輪連線中斷、未產出 3輪首版8/8
從README實作四模組,23項測試 2輪首版23/23;1輪20/23→23/23 2輪首版23/23;1輪21/23→23/23

這次是可見測試工作流,模型可以閱讀測試,也能利用失敗訊息繼續修改。它沒有測大型專案、隱藏測試或人工審查。數字只對這兩類任務成立。

V4.1 Flash的時長解析:單段能過,組合輸入就卡住

先看Flash那輪20/23。README接受2d這種單段時長,也接受1h30m、1m500ms這種連續片段。初版解析器把整段輸入當成一次「數字+單位」;前者能處理,後兩者被拒絕。測試把問題指出來後,它改成逐段讀取,復測到23/23。

如果這段程式放進排程或重試設定,組合時長不是奇怪的刁鑽題,而是很容易出現在設定檔裡的合法輸入。只在需求裡寫「支援時長字串」,審查時看見2d能過就合併,後面才會在1h30m上出錯。我的做法會是把輸入契約直接列成測試:單段、連續片段、沒有單位、未知單位,以及不完整片段各至少一例。這比要求模型「更仔細」可操作得多。

V4 Pro的非同步快取:回傳值對了,底層卻重跑

Pro那輪21/23更容易漏看。初版已經能把同時到來的請求合併,所以最表面的並發用例正常;但未指定TTL時,成功結果沒有留在快取。稍後再用相同邏輯鍵呼叫,結果仍然正確,底層函式卻執行第二次。

失敗的兩項測試分別使用「物件鍵順序不同」和自訂keyFn,兩者都沒有傳TTL。只讀測試名稱,很可能去改鍵序列化;看執行次數才發現共同原因是成功結果沒保存。模型收到報錯後也抓到這點,修正後23/23。這裡不能反推它的首版鍵排序一定錯了。

快取的驗收因此不能只斷言回傳內容相同。至少要記錄底層函式被執行幾次,分別測同時請求、成功後再請求、失敗後重試、TTL到期,以及自訂鍵函式。對需要呼叫外部API的功能來說,少測一次命中,就可能多一次等待和費用。

把模型接進專案時,我會加這四道驗收

  1. 固定起點。同一個提交、同一份README與測試、相同可修改目錄。這次兩款只准寫src/,所以測試綠燈不會靠改測試取得。
  2. 存首版。第一次寫完程式就跑測試,記下失敗用例、實際改動檔案,以及是否有連線中斷。未產出要單列,不能算成「程式錯誤」,也不能從交付統計裡消失。
  3. 再給回饋。把失敗輸出交回同一輪會話,記修正了幾次、改了哪個原因。這次Flash補上逐段解析,Pro補上未指定TTL時的成功結果快取,兩者都不是只換一個測試答案。
  4. 另外審程式。跑模型看不到的邊界用例,檢查差異和呼叫方契約。23/23只表示這23項可見測試通過,沒有替代安全檢查或上線前審查。

你用自己的程式碼代理時,也可以照這四欄留下紀錄。若要找現成工具的接入入口,Crazyrouter開發工具接入頁列有可自訂模型端點的工具;這次實測使用的是我自己的檔案工具流程,不代表頁面上的工具都已由本次驗證。

換V4.1 Flash或留V4 Pro,還缺哪一筆資料?

本次實際請求打到https://api.crazyrouter.com/v1/chat/completions,使用的路由ID是deepseek-v4.1-flash與deepseek-v4-pro。四模組任務各取一次首個回應,兩邊都是HTTP 200並要求工具呼叫;Flash該次輸入502、輸出59,合計561 token,Pro該次輸入511、輸出37,合計548 token。這只能證明那兩次請求和工具呼叫確實發生,不能拿13個token的差距當整輪費用或速度結論。整項工作還有讀檔、寫檔、測試回饋、修正與可能的重試。

官方模型表曾列V4.1 Flash-1017與V4 Pro-0813,但我沒有拿到這兩條Crazyrouter路由的上游精確快照;因此這篇不把結果寫成官方兩個權重版本的直接對決。連線錯誤在兩邊都出現,Flash的修復題有1輪在寫檔前始終未產出。把它另列,比據此宣稱「Flash程式能力較差」更符合紀錄。

已用V4 Pro、目前交付穩定,就先留著,拿同一批真實需求小量試跑Flash;已用Flash、某類邊界總是返工,就把那類失敗輸入固定下來,再試Pro。新專案兩款都可當候選,但定預設路由前,最好有首版通過率、修正輪次、人工改動、整輪耗時與實際帳單。這12輪沒測出通用贏家,也沒測圖片輸入或大型跨檔重構。

資料核對:DeepSeek官方模型更新資料(2026年9月至10月);本次API回應與Node測試紀錄(2026年11月20日)。

👉 想直接上手,可在這裡取得 API Key:https://crazyrouter.com/en/pricing?utm_source=codelove&utm_medium=article&utm_campaign=offsite_article&utm_content=cr_5d569e5aab0e_bottom_cta


一名对 AI 领域充满热情的爱好者。平时喜欢关注最新的模型发展,也会自己动手测试不同的 API 和提示词(Prompt)

共有 0 則留言


一名对 AI 领域充满热情的爱好者。平时喜欢关注最新的模型发展,也会自己动手测试不同的 API 和提示词(Prompt)
🏆 本月排行榜
🥇
boluoji
📝51   💬3   ❤️8
1,307
🥈
我愛JS
📝3   💬1   ❤️5
148
🥉
站長阿川
📝2   💬3   ❤️2
62
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次