🔧 阿川の電商水電行
一種新型資料格式如何幫助開發者節省 30-60% 的 LLM 代幣成本
如果你一直在使用大型語言模型，你可能已經注意到：向人工智慧提供資料並非免費。你透過 API 傳遞的每個 JSON 物件都需要消耗令牌，而這些令牌會迅速累積。 TOON（以令牌為導向的物件表示法）應運而生，這是一種專門為解決這個問題而設計的新型序列化格式。
象徵性稅收問題
我們先來看一個實際例子。假設你正在開發一個應用程式，該程式會將員工資料發送到生命週期管理系統 (LLM) 進行分析：
{
"users": [
{ "id": 1, "name": "Alice", "role": "admin", "salary": 75000 },
{ "id": 2, "name": "Bob", "role": "user", "salary": 65000 },
{ "id": 3, "name": "Charlie", "role": "user", "salary": 70000 }
]
}這段 JSON 程式碼片段使用了257 個 token 。現在，讓我們看看 TOON 中的相同資料：
users[3]{id,name,role,salary}:
1,Alice,admin,75000
2,Bob,user,65000
3,Charlie,user,70000僅需 166 個令牌——減少了 35%。在這個小例子中，節省的費用似乎微不足道。但如果擴展到數百次 API 呼叫和數千筆記錄，您會發現成本大幅降低了。
TOON 的獨特之處是什麼？
TOON借鑒了現有節目形式中的精華，並針對LLM的觀看方式進行了最佳化：
1.表格陣列：一次聲明，多次使用
TOON 的核心概念很簡單：當物件陣列具有統一的欄位和類型時，為什麼要為每個物件重複鍵呢？
JSON 的方法（重複）：
[
{ "sku": "A1", "qty": 2, "price": 9.99 },
{ "sku": "B2", "qty": 1, "price": 14.50 }
]TOON 的方法（高效率）：
[2]{sku,qty,price}:
A1,2,9.99
B2,1,14.5資料結構在表頭{sku,qty,price}中宣告一次，之後每一行都是 CSV 風格的值。這正是 TOON 的優勢所在。
2.智能報價
TOON 僅在絕對必要時才對字串進行引用：
-
hello world→ 無需引號（內空格即可） -
hello 👋 world→ 無需引號（Unicode 安全） -
"hello, world"→ 必須加引號（包含逗號分隔符號） -
" padded "→ 需要引號（前導/尾隨空格）
這種最小化引用的方法既節省了令牌，又保持了資料的明確性。
3.括號上的凹痕
與 YAML 類似，TOON 使用縮排而不是花括號來表示巢狀結構：
JSON ：
{
"user": {
"id": 123,
"profile": {
"name": "Ada"
}
}
}展示：
user:
id: 123
profile:
name: Ada更簡潔、更易讀、標記更少。
4.顯式陣列長度
TOON 在方括號中（ [N] ）包含了陣列長度，這實際上有助於 LLM 理解和驗證結構：
tags[3]: admin,ops,dev這種顯式元資料可以減少 LLM 在產生或解釋結構化資料時出現的解析錯誤。
真實世界基準測試
TOON專案針對不同資料類型和LLM模型進行了全面的基準測試。以下是他們的發現：
以資料集計算的代幣節省
| 資料集 | JSON 令牌 | TOON 令牌 | 節省 |
|---------|-------------|-------------|---------|
| GitHub 程式碼庫（100 筆記錄） | 15,145 | 8,745 | 42.3% |
| 分析（180 天） | 10,977 | 4,507 | 58.9% |
| 電子商務訂購 | 257 | 166 | 35.4% |
最佳方案是什麼？統一表格資料－多行記錄都採用一致的模式。 JSON 鍵重複性越高，TOON 的最佳化效果越好。
LLMs理解
但如果語言學習模型（LLM）無法理解格式，那麼詞元效率就毫無意義。基準測試使用 4 種不同的模型（GPT-5 Nano、Claude Haiku、Gemini Flash 和 Grok）回答了 154 個資料擷取問題：
-
卡通準確率：70.1%
-
JSON準確率：65.4%
-
代幣減少：46.3%
TOON 不僅節省了詞元，而且還提高了LLM 的準確率。其顯式結構（陣列長度、欄位宣告）有助於模型更可靠地解析和驗證資料。
何時應該使用 TOON？
TOON 並非旨在取代所有情況下的 JSON。您可以將其視為用於特定任務的專用工具。
✅何時使用卡通：
-
將大型資料集（數百或數千筆記錄）傳送至LLM
-
使用統一的資料結構（資料庫查詢結果、CSV匯出、分析）
-
代幣成本是一個值得關注的問題。
-
您頻繁地使用結構化資料呼叫 LLM API。
❌何時堅持使用 JSON ：
-
建構傳統 REST API
-
將資料儲存在資料庫中
-
處理深度嵌套或非均勻資料
-
你需要與現有工具的通用相容性
正如 TOON 文件中所述：“以程式設計方式使用 JSON，轉換為 TOON 以供 LLM 輸入。”
如何入門
TOON 是一個 npm 包，提供簡單的 API：
import { encode, decode } from '@toon-format/toon'
const data = {
items: [
{ sku: 'A1', qty: 2, price: 9.99 },
{ sku: 'B2', qty: 1, price: 14.5 }
]
}
// Convert to TOON
const toon = encode(data)
console.log(toon)
// items[2]{sku,qty,price}:
// A1,2,9.99
// B2,1,14.5
// Convert back to JSON
const restored = decode(toon)此外，還有一個用於快速轉換的命令列工具：
# Encode JSON to TOON
npx @toon-format/cli data.json -o data.toon
# Decode TOON to JSON
npx @toon-format/cli data.toon -o data.json
# Show token savings
npx @toon-format/cli data.json --stats替代分隔符
為了進一步提高令牌效率，您可以使用製表符或豎線分隔符號來取代逗號：
// Tab-separated (often more token-efficient)
encode(data, { delimiter: '\t' })
// Pipe-separated
encode(data, { delimiter: '|' })不斷發展的生態系統
雖然 TOON 是一個相對較新的技術，但社群已經在使用多種語言進行開發：
-
官方支援：JavaScript/TypeScript、Python（開發中）、Rust（開發中）
-
社群：PHP、Ruby、Go、Swift、Elixir、C++、Java 等
該專案維護了一套全面的規範和一致性測試套件，以確保不同實作之間的相容性。
底線
TOON 代表了資料格式思維方式的轉變。幾十年來，我們一直致力於優化資料格式，使其更易於人類閱讀和機器互通。如今，隨著語言學習模型 (LLM) 需要處理大量結構化資料，我們需要針對詞元效率和人工智慧理解進行最佳化的格式。
TOON 會取代 JSON 嗎？不會。但對於向 LLM 提供結構化資料這一特定用例而言，它具有顯著優勢：
-
統一表格資料可節省 30-60% 的代幣
-
由於顯式結構，LLM精度更高
-
從現有 JSON 工作流程直接轉換
-
不斷發展的生態系統，支援多種語言
如果您正在建立需要處理大量結構化資料的 AI 應用，TOON 值得您深入了解。您的代幣預算將會因此受益。
資源：
您在專案中嘗試過 TOON 嗎？您節省了多少代幣？請在評論區分享您的經驗。
原文出處：https://dev.to/akki907/toon-vs-json-the-new-format-designed-for-ai-nk5
1) --- 會變成分隔線（上一行必須是空白）
2) # 會變成一級標題
3) ## 會變成二級標題
4) ### 會變成三級標題
5) **粗體文字**會顯示粗體文字
6) ```當第一行與最後一行會顯示程式碼
7) 請搜尋 Markdown 語法，了解各種格式
