JEV 1.14 降級與人工接手

很多團隊把 JEV 1.14 接進客服系統時,第一個問題不是模型準不準,而是模型不確定的時候怎麼辦。一張工單分到哪個部門,看起來是一個答案;但如果系統把每個答案都當成可以直接執行的結果,那麼少數高風險的誤判就會直接變成實際損失。這篇文章談的是決策之後的分支:哪些結果自動處理,哪些降級,哪些交給人工,門檻應該怎麼設。

先說清楚 JEV 1.14 是什麼。它是 TypeSafe 推出的決策模型,屬於其所稱的 System One Models。它讀取一段背景,回答你預先定義的問題,輸出標籤、機率或評分,而不是一段文字。它不寫回覆,不產生程式碼,也不進行多輪對話。第三方報導指出它於 2026 年 10 月 14 日發布,是 1.13 之後的新版本。1.13 的用法可參考 JEV 1.13 使用指南。

三種輸出,三種不同的門檻

JEV 的問題分三類,每一類的輸出意義不同,門檻的設法也不同。

選擇題(Choice)回傳一個選項與各選項的機率。它適合用來分派,但要注意,機率分散時代表模型也拿不準。

是非題(Noul)回傳某件事成立的機率,範圍 0 到 1。它不是布林值。什麼時候算「緊急」,要由你自己設定。

評分題(Score)回傳落在你定義之等級上的數值,以及各等級的機率。它適合判斷嚴重程度,但等級的界線要對照團隊實際的分級標準,而不是由模型決定。

一個常見的錯誤,是只看最高的那個數字。比較好的做法,是把每一題分開看,各自設門檻。

降級路徑:先想清楚模型答錯時會發生什麼

在設定任何門檻之前,先回答三個問題。

第一,這個決策的錯誤代價是否可以復原。把工單分錯部門,通常只要轉單即可。自動退款錯誤、凍結錯誤的帳號,則很難收回。

第二,這個決策是否有明確的答案集合。如果答案可以列舉,模型的輸出可以被驗證;如果答案是開放式的,模型就不適合單獨做決定。

第三,當模型無法回應,例如逾時或格式錯誤時,系統要怎麼辦。沒有想好這一點的系統,會在模型停機的那一刻停止運作。

根據這三個問題,可以把決策分成三層。低代價、答案明確的,可以自動處理;中等代價的,自動處理前要先通過門檻,未通過者降級給人工;高代價的,無論模型多有把握,都只能當作輸入,由規則或人決定。

門檻怎麼設:以資料為準,不以直覺為準

門檻不能憑感覺。建議的做法是先準備一組已知答案的樣本,涵蓋清楚、模糊和容易混淆的案例,然後用這組樣本觀察模型在各個門檻下的表現。

以我們在 2026 年 11 月 9 日於 api.crazyrouter.com 的測試為例,九次請求中有八次成功,一次因使用 jev-1.14.0 而回傳 404,沒有逾時。幾個案例能說明為什麼要分題設門檻。

請求發送至 https://api.crazyrouter.com/api/alpha/decisions,模型名為 jev-1.14。

一則描述「整合失敗三天、正在損失銷售額」的訊息,被判為技術部門,機率約 0.92,緊急程度 0.98。同一訊息重複呼叫,部門一致,機率由 0.92 變成 0.91。這說明標籤要求完全一致,但數字要容許小幅波動。

一則「懷疑重複扣款,但沒有核實流水」的訊息,被判為帳務部門,機率 1.00,但緊急程度只有 0.41。如果門檻只看部門,這一則會直接被自動處理;如果分開看緊急程度,它就會被降級。這是整套設計裡最需要留意的案例。

在文件相關性的測試中,一段談 requests 逾時參數的文件被判為高度相關,單獨回答問題的機率為 0.90;一段談影像模型的文件相關程度為 0。它能分開明顯相關和明顯無關,但接近的案例沒有測。

人工接手要怎麼設計

人工接手不是把案子丟到一個沒人看的佇列。實務上,有幾件事要先定好。

需要有明確的接手條件,例如某一題的機率低於門檻,或模型回傳格式不符,或呼叫逾時。每一種降級原因都應該被記錄,之後才能知道是哪一類案件最常降級。

人工看到的內容要包含模型的答案、各題的機率、模型名稱,以及原始的上下文。只給一個結論,人無法判斷模型為什麼會這樣想。

還要定期抽查。即使是自動通過的案件,也應該每週抽一部分由人複核,以偵測模型或別名變動後的漂移。

哪些決策不應交給模型

有三類決策,我們建議不要只靠模型輸出來執行。

第一類是金錢與帳戶的不可逆操作,包括退款、凍結、刪除。模型的輸出可以作為排序或提醒,但最終動作必須經過規則或人工確認。

第二類是法律或合規上需要解釋的決定。模型能告訴你機率,但不能替你承擔解釋責任。

第三類是模型本身就不擅長的事,例如需要大量外部查詢才能判斷的案件。這種情況應先完成查詢,再把結果當成上下文送進模型。

本次測試沒有涵蓋的部分

圖片輸入、Box 框選與 262K 長上下文,這次都沒有測試。第三方資料把它們標為高風險,並且尚未建議用於正式環境。如果你的降級路徑依賴這些功能,應該另外建立樣本與門檻。

另外,官方文件在我們的測試環境中無法開啟,所以版本的發布日期與別名指向,目前仍以第三方報導為準。

小結

JEV 1.14 能做的是把一段背景轉成可以被程式讀取的標籤與機率。真正決定系統安不安全的,是決策之後的分支設計:哪些結果可以自動執行,哪些要降級,哪些一定要人來做。先定義錯誤的代價,再用自己的樣本設門檻,最後把人工接手的路徑寫清楚,比單純追求模型的準確率更重要。

參考來源


追蹤連結(codelove 版,ID:cr_6eb175737707)

想在瀏覽器裡試一試決策情境的讀者,可以打開JEV 決策工作台,調整背景與問題後再執行。


一名对 AI 领域充满热情的爱好者。平时喜欢关注最新的模型发展,也会自己动手测试不同的 API 和提示词(Prompt)

共有 0 則留言


一名对 AI 领域充满热情的爱好者。平时喜欢关注最新的模型发展,也会自己动手测试不同的 API 和提示词(Prompt)
🏆 本月排行榜
🥇
boluoji
📝24   💬3   ❤️6
549
🥈
站長阿川
📝4   💬2   ❤️2
192
🥉
mike
1
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次