小編精選 - 技術文章翻譯 · 10月15日

透過端到端評估打造更好的 Agents

深入理解手上的任務

團隊在使用代理人時最大的錯誤，就是自動化一個自己並不理解的流程。在寫下第一行程式碼之前，你應該能夠精確描述人類是怎麼完成這項工作的。

在打造 Ramp Stack 時，我們想自動化簿記工作。在考慮程式碼之前，我們先思考要完成的工作是什麼。主要有四類：對帳、資料輸入、差異分析，以及排程與應計專案。這些分類能讓評估在真實工作中保持平衡，之後也能幫助你看出代理人的弱點在哪裡。

接著，我們把每個任務拆成步驟。以應付帳款對帳為例：會計人員會拉出未付款帳單和應付帳款總帳，把它們放到試算表裡對齊，然後調查任何不一致之處。如果帳單總額是 3,500 美元，而總帳顯示 3,000 美元，任務就是找出少掉的 500 美元帳單並記錄修正。每個步驟都應該是代理人必須執行的事情，也是你的評估必須檢查的事情。

資料是瓶頸

端到端評估在每個階段的形狀都一樣：商業資料填入資料庫，代理人透過工具與這些狀態互動，最後你對它產出的結果進行評分。在上線之前，你手上沒有可用資料，所以你必須模擬出來。

我們的解法是合成企業，我們稱之為世界。其中一個世界是一個透過 Shopify、Amazon 和批發通路銷售的 DTC 家居用品品牌，具備完整帳務、真實交易，以及雜亂的 Excel 檔案。這種混亂很重要；團隊太常建立過於乾淨的資料。這代表在離線環境看起來一切都很好，但一旦面對真實使用者，就撐不住了。

評估的結構

每個評估案例都由四個部分組成：

任務（Task）： 請求內容，例如「請幫我們對 2025 年第 4 季的應付帳款與帳單進行對帳。」
世界（World）： 代理人可存取的合成 ERP 與商業資料。
軌跡（Trajectory）： 代理人採取的步驟，例如讀取帳單、配對付款、調查差異。
分數（Score）： 由會計人員撰寫的評分規準，由 LLM 評審根據最終輸出來打分。

讓評估真正有用的，是這份評分規準。通過/失敗會掩蓋部分進展；像「Q4 應付帳款餘額正確」和「標記重複專案」這類六項標準，能告訴你代理人拿了 6 分中的 4 分，以及具體漏掉了哪兩項。應該讓領域專家來撰寫這些標準，因為他們知道審查者真正會拒絕的是什麼。

使用評估來推動改變

當評估會改變決策時，它才算真正發揮價值。第一個決策是模型選擇，但最大的附加價值在於調整你的執行框架：最佳化技能、工具與基礎設施，以低成本與低延遲產生好結果。幾個流行想法並沒有如預期成立：

自動調參的技能（GEPA 式自動研究）： 訓練上的收益無法泛化。我們還沒看到足夠有力的證據，證明自動化提示最佳化真的有效。
高推理強度： 準確率相同，但成本更高。

真正有效的是把代理人當成機器學習模型，而把它的上下文當成特徵：

技能消融： 我們一次只用一項技能，與無技能基準進行比較，接著把 8 項技能縮減到 4 項，在六個世界上的平均分數提升了 2.8 分。有些技能實際上會拖累表現，而且沒有任何一項在所有情境中都是最佳。
技能壓縮： 將我們最大的一項技能——試算表技能——縮減 61% 後，品質幾乎沒有改變，每月大約還省下 3 萬美元。

模式很明確：針對固定基準、跨多個世界衡量每一次變更，只保留能提升分數的部分。