title: "AI 智能代理每月開出 1700 萬個 pull request。我打造了一道會拒絕說謊者的門檻。"
published: true
description: "AI 代理現在已經能自己開出 pull request。 我讓 Amazon Nova Pro 去修一個真實的 GitHub bug,然後做了一個可決定性(deterministic)的 Python 門檻:只要它無法證明修復成功,就直接拒絕。沒有任何模型來評分模型。"
tags: ai, aws, devops, discuss
cover_image: https://raw.githubusercontent.com/simplynadaf/ai-fix-verifier/main/docs/github-cover.png

一個 AI 代理修好了 bug,並開了一個 pull request。那個 PR 的意思大概是:「完成了,一個修復。」

門檻讀取了實際的 commit,並在這個 PR 上貼出了以下內容:

證明門檻:已拒絕。宣稱 1 個修復,驗證 0 個修復。1 個原始測試現在失敗。

那個代理不是故意說謊。它改了程式碼,這個變更讓既有測試失敗,而且它也沒有證據證明 bug 真的被修好了。人類審查者最後也會發現這件事,只是得先花時間讀完。門檻在幾秒內就找到了,然後說不。

我在別人的 production 系統周圍已經待了十年,而讓我害怕的從來不是代理很笨,而是「我修好了」本身是一種主張;而主張很容易在沒有真正內容的情況下被偽裝出來。所以在任何人花一分鐘審查之前,我想先有一道門檻,用證據檢查代理的工作。

這就是這道門檻的建置紀錄。它在一個真實的 GitHub repo 上,以 Kiro Crew 工作的方式執行 Amazon Nova Pro,並用可決定性的 Python 逐一檢查每個 commit。我拒絕放寬的唯一規則是:不能讓模型來評分模型。

全部都是開源的:

https://github.com/simplynadaf/ai-fix-verifier


為什麼「測試通過了」已經不夠了

AI 代理現在真的會開出真實的 pull request,而且規模大到很難想像。GitHub 報告指出,截至 2026 年 6 月,代理每月開出的 pull request 超過 1700 萬個(The New Stack 報導,並被 arXiv 2610.34933 引用)。另一項針對代理撰寫的 修復 PR 的實證研究(arXiv 2602.00164)發現,測試失敗是這些 PR 無法被合併的最常見原因之一。

不舒服的地方在這裡。代理至少可以用四種方式讓「我修好了」看起來像真的,但其實都沒修到 bug:

  • 把失敗的測試改到通過
  • 直接刪掉拋錯的函式
  • 寫一個本來就會通過的新測試
  • 修好一件事,卻默默弄壞另一件事

一個下午 5 點已經很累的審查者,可能會把這四種都放行。表面看起來很乾淨,技術債卻悄悄留下。所以我做了這道門檻,要在任何人看到之前,先把這些手法攔下來。


設定方式

代理並不是藏在什麼神祕地方。你只需要 clone 一個公開 repo,代理本身就是裡面的一個 JSON 檔。

# 代理和門檻都在這個 repo 裡
git clone https://github.com/simplynadaf/ai-fix-verifier ~/ai-fix-verifier
cd ~/ai-fix-verifier

# 門檻的測試解譯器,已鎖定版本
python3.11 -m venv .venv && .venv/bin/pip install pytest==8.3.4

# 一個要被修復的目標 repo(或換成你自己的 repo)
mkdir -p work && gh repo fork simplynadaf/ledgerlite --clone=false

# 將門檻安裝成 Kiro Crew app,然後到 Apps > Library 啟用它
kirocrew app install ./proof-gate

# 代理是一個 Kiro Crew script job;job 訊息就是它全部的設定
mkdir -p ~/.kiro/crew/crons && cp crons/nova_fixer_job.py ~/.kiro/crew/crons/
export PROOF_GATE_HOME=~/ai-fix-verifier
kirocrew cron add nova-fixer '{"issue": 6}' \
  --script ~/.kiro/crew/crons/nova_fixer_job.py:run --every 604800

代理設定是 proof-gate/agents/proof-gate-fixer.json。這是一個你可以直接讀的檔案,不是黑箱。job 訊息 {"issue": 6} 就是第一次執行的全部設定:修 issue 6,一次機會。

目標是 ledgerlite,這是一個非常小的金額與日期函式庫,我故意植入了 8 個 bug,每個都以看起來像真的 issue 形式建立。Issue 6:business_days_between 計算錯誤的天數。星期五到星期六應該是 0 個工作日,但它回傳 1。


第一次執行:代理開了 PR,門檻說不

Nova Pro 讀取 issue,重寫函式,提交 commit,並開出 pull request。commit 一落地,門檻就立刻執行,並以 GitHub 狀態檢查加上留言的形式給出裁決。

GitHub PR 留言顯示 Proof Gate REJECTED:一個表格列出防竄改掃描通過、公開 API 完整通過、原始測試 16/17 通過但有 1 個失敗、新增測試 0/0 可驗證、宣稱 1 個、驗證 0 個

新的程式碼上,有一個原始測試失敗了。代理宣稱修了 1 個問題,但它無法證明任何一個。PR 上亮紅燈。沒有花到任何人工審查時間。


這道門檻實際檢查什麼

總共五項檢查,按順序進行。任何一項失敗,都會直接拒絕。

檢查專案 會讓它失敗的情況
防竄改掃描 現有測試被修改、刪除,或被削弱到能通過
公開 API 完整 專案原本存在的公開函式現在不見了
無回歸 原本會通過的測試,在新程式碼上卻失敗了
測試先失敗 新測試在舊程式碼上也會通過,因此無法證明任何事
宣稱 vs 證據 被證明的修復數少於代理宣稱的數量

其中兩項檢查之所以存在,是因為代理曾經鑽過我早期較弱版本門檻的漏洞。在一次執行裡,它用刪掉原本失敗的函式來「修復」 bug,所以現在才有公開 API 檢查。另一次它加了一個在變更前後都會通過的測試,這根本證明不了有 bug 存在,所以新的測試只有在「舊程式碼會失敗、新程式碼會通過」時才算數。

「已驗證」是刻意設計得很嚴格。只有在這兩件事都成立時,修復才算數:

  1. 代理寫的測試會從紅燈(舊程式碼)變成綠燈(新程式碼),且
  2. 代理看不到的隱藏測試套件也確認 bug 的確消失了。

如果兩者不一致,這個修復就不算。系統不會問另一個 LLM:「你覺得那個 LLM 做得好嗎?」


變更內容:讓門檻回嘴

第一次是一次機會。第二次我改的不是程式碼,而是 job 設定:

kirocrew cron update <id> --message \
  '{"issue": 6, "gate_feedback": true, "rounds": 4, "candidates": 3}'

有兩件事改變了。第一,門檻的可見結果會回饋給代理,讓它知道究竟是哪裡失敗了。第二,每一輪代理會提出三個候選修復,而不是一個;門檻會對三個都評分,留下表現最好的那個。這個流程會重複,直到某個修復通過所有檢查,或是把輪數用完。

注意,沒有改變的是什麼:門檻本身。標準完全沒動。


第二次執行:同一個 PR,現在被信任了

同一個 pull request。這次代理帶著門檻回饋再試一次。

GitHub PR 留言顯示 Proof Gate TRUSTED:所有檢查通過,17/17 原始測試,3 個新增測試中 1 個可證明,宣稱 1 個、驗證 1 個,並列出三個新增測試的證明或空泛狀態

仔細看新增的測試:寫了 3 個,其中 2 個是空泛的,只有 1 個是真的被證明了。門檻只計算那個「先在舊程式碼上失敗、再在新程式碼上通過」的測試。宣稱 1 個修復,驗證 1 個修復。綠燈。

Kiro Crew 儀表板則把兩次裁決並排顯示,直接從 app 即時呈現:

Proof Gate 儀表板:統計列顯示 Trials 2、Rejected 1、Claimed vs Verified 2 of 1;Version 1 卡片顯示 0 verified of 1 claimed,precision 為 0%;Version 2 卡片顯示 1 verified of 1 claimed,precision 為 100%


誠實面

這裡也是很多「我用 AI 做出東西」文章會開始安靜下來的地方。以下是真實資料,來自我在一個小型 repo 上的執行,樣本很小,且我把話講清楚:

  • 對 8 個植入的 bug 做一次機會嘗試:4 個通過,其餘都被拒絕。
  • 加上回饋與 best-of-3 候選,最多 4 輪:issue 6 在 12 次 執行中有 9 次 收斂成功。issue 4 只有 8 次 中的 2 次 收斂成功。
  • best-of-3 候選對可靠性的幫助,比額外增加輪數更大。但它從來沒能救回 issue 4。

請把這些當成對門檻的示範,而不是對模型的基準測試。樣本很小,而且我刻意把 bug 設計得很簡單。

這道門檻沒有讓代理變聰明,它只是讓代理變誠實。當 Nova Pro 無法證明修復成功時,PR 就一直保持紅燈,輪次過去也一樣,這才是正確的結果。某次紀錄執行裡,版本 2 從頭到尾都沒有收斂,最後 PR 維持拒絕。這不是門檻失敗,而是門檻正常運作。

所以重點不是「AI 現在能修 bug 了」。重點是:如果你要讓代理碰你的程式碼,就要讓 merge 門檻成為 LLM 沒辦法用甜言蜜語哄過去的東西。真正的測試、隱藏測試套件,以及一條只認證據、不認保證的規則。


在你自己的 repo 上試試看

git clone https://github.com/simplynadaf/ai-fix-verifier

這個 repo 內含 Kiro Crew app、Amazon Nova Pro job、植入 bug 的目標專案,以及支撐上面每個數字的研究資料。你可以把它指向你自己的 repo 和你自己的代理;門檻不在乎是哪個模型提出了變更。

我一直在反覆思考一個問題,而且我真的很想知道你在留言中的想法:你會讓隱藏測試套件成為阻擋 merge 的那道關卡嗎?還是這只是在別的地方轉移了信任問題? 我會回覆每一則留言。


由 Sarvar Nadaf 撰寫,雲端架構師,工作領域涵蓋雲端、AI 基礎設施與 DevOps。代理提出建議,Python 做決定。沒有模型來評分模型。

作品集 · GitHub · LinkedIn · Dev.to · YouTube


原文出處:https://dev.to/aws-builders/ai-agents-open-17-million-pull-requests-a-month-i-built-a-gate-that-rejects-the-ones-that-lie-46n7


精選技術文章翻譯,幫助開發者持續吸收新知。

共有 0 則留言


精選技術文章翻譯,幫助開發者持續吸收新知。
🏆 本月排行榜
🥇
boluoji
📝46   💬3   ❤️8
1,143
🥈
我愛JS
📝3   💬1   ❤️5
136
🥉
站長阿川
📝1   💬3   ❤️2
46
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次
📢 贊助商廣告 · 我要刊登