
很多團隊把 JEV 1.14 接進客服系統時,第一個問題不是模型準不準,而是模型不確定的時候怎麼辦。一張工單分到哪個部門,看起來是一個答案;但如果系統把每個答案都當成可以直接執行的結果,那麼少數高風險的誤判就會直接變成實際損失。這篇文章談的是決策之後的分支:哪些結果自動處理,哪些降級,哪些交給人工,門檻應該怎麼設。
先說清楚 JEV 1.14 是什麼。它是 TypeSafe 推出的決策模型,屬於其所稱的 System One Models。它讀取一段背景,回答你預先定義的問題,輸出標籤、機率或評分,而不是一段文字。它不寫回覆,不產生程式碼,也不進行多輪對話。第三方報導指出它於 2026 年 10 月 14 日發布,是 1.13 之後的新版本。1.13 的用法可參考 JEV 1.13 使用指南。
JEV 的問題分三類,每一類的輸出意義不同,門檻的設法也不同。
選擇題(Choice)回傳一個選項與各選項的機率。它適合用來分派,但要注意,機率分散時代表模型也拿不準。
是非題(Noul)回傳某件事成立的機率,範圍 0 到 1。它不是布林值。什麼時候算「緊急」,要由你自己設定。
評分題(Score)回傳落在你定義之等級上的數值,以及各等級的機率。它適合判斷嚴重程度,但等級的界線要對照團隊實際的分級標準,而不是由模型決定。
一個常見的錯誤,是只看最高的那個數字。比較好的做法,是把每一題分開看,各自設門檻。
在設定任何門檻之前,先回答三個問題。
第一,這個決策的錯誤代價是否可以復原。把工單分錯部門,通常只要轉單即可。自動退款錯誤、凍結錯誤的帳號,則很難收回。
第二,這個決策是否有明確的答案集合。如果答案可以列舉,模型的輸出可以被驗證;如果答案是開放式的,模型就不適合單獨做決定。
第三,當模型無法回應,例如逾時或格式錯誤時,系統要怎麼辦。沒有想好這一點的系統,會在模型停機的那一刻停止運作。
根據這三個問題,可以把決策分成三層。低代價、答案明確的,可以自動處理;中等代價的,自動處理前要先通過門檻,未通過者降級給人工;高代價的,無論模型多有把握,都只能當作輸入,由規則或人決定。
門檻不能憑感覺。建議的做法是先準備一組已知答案的樣本,涵蓋清楚、模糊和容易混淆的案例,然後用這組樣本觀察模型在各個門檻下的表現。
以我們在 2026 年 11 月 9 日於 api.crazyrouter.com 的測試為例,九次請求中有八次成功,一次因使用 jev-1.14.0 而回傳 404,沒有逾時。幾個案例能說明為什麼要分題設門檻。
請求發送至 https://api.crazyrouter.com/api/alpha/decisions,模型名為 jev-1.14。
一則描述「整合失敗三天、正在損失銷售額」的訊息,被判為技術部門,機率約 0.92,緊急程度 0.98。同一訊息重複呼叫,部門一致,機率由 0.92 變成 0.91。這說明標籤要求完全一致,但數字要容許小幅波動。
一則「懷疑重複扣款,但沒有核實流水」的訊息,被判為帳務部門,機率 1.00,但緊急程度只有 0.41。如果門檻只看部門,這一則會直接被自動處理;如果分開看緊急程度,它就會被降級。這是整套設計裡最需要留意的案例。
在文件相關性的測試中,一段談 requests 逾時參數的文件被判為高度相關,單獨回答問題的機率為 0.90;一段談影像模型的文件相關程度為 0。它能分開明顯相關和明顯無關,但接近的案例沒有測。
人工接手不是把案子丟到一個沒人看的佇列。實務上,有幾件事要先定好。
需要有明確的接手條件,例如某一題的機率低於門檻,或模型回傳格式不符,或呼叫逾時。每一種降級原因都應該被記錄,之後才能知道是哪一類案件最常降級。
人工看到的內容要包含模型的答案、各題的機率、模型名稱,以及原始的上下文。只給一個結論,人無法判斷模型為什麼會這樣想。
還要定期抽查。即使是自動通過的案件,也應該每週抽一部分由人複核,以偵測模型或別名變動後的漂移。
有三類決策,我們建議不要只靠模型輸出來執行。
第一類是金錢與帳戶的不可逆操作,包括退款、凍結、刪除。模型的輸出可以作為排序或提醒,但最終動作必須經過規則或人工確認。
第二類是法律或合規上需要解釋的決定。模型能告訴你機率,但不能替你承擔解釋責任。
第三類是模型本身就不擅長的事,例如需要大量外部查詢才能判斷的案件。這種情況應先完成查詢,再把結果當成上下文送進模型。
圖片輸入、Box 框選與 262K 長上下文,這次都沒有測試。第三方資料把它們標為高風險,並且尚未建議用於正式環境。如果你的降級路徑依賴這些功能,應該另外建立樣本與門檻。
另外,官方文件在我們的測試環境中無法開啟,所以版本的發布日期與別名指向,目前仍以第三方報導為準。
JEV 1.14 能做的是把一段背景轉成可以被程式讀取的標籤與機率。真正決定系統安不安全的,是決策之後的分支設計:哪些結果可以自動執行,哪些要降級,哪些一定要人來做。先定義錯誤的代價,再用自己的樣本設門檻,最後把人工接手的路徑寫清楚,比單純追求模型的準確率更重要。
追蹤連結(codelove 版,ID:cr_6eb175737707)
想在瀏覽器裡試一試決策情境的讀者,可以打開JEV 決策工作台,調整背景與問題後再執行。