小編精選 - 技術文章翻譯 · 07月16日

簡單基準測試回顧：Jetson Nano 上的 Ollama

先前相關文章：<a href="https://dev.to/annavi11arrea1/jetson-nano-ollama-optimal-quantization-2de8">第 1 部分</a>

<hr>

這個特定的探索，源自我之前在 DEV 上和另一位成員關於基準測試與測試的對話。當時激起了不少問題：

做這些測試的最佳方式是什麼？
我們該怎麼做？
什麼樣的數字算好？
真正重要的是哪些資訊？

事實上，這很大程度取決於你在做什麼，以及你最在意的是什麼。對我來說，還有我那個小小的測試產生應用，目標看起來很單純：用 AI 在本機免費做一個簡單的應用，把我手上的文字轉成抽認卡和測驗，方便我複習。到目前為止，我可以說我花在複習上的時間，比花在挖掘有趣工具上的時間還少。

在這次旅程中，老天啊——我做了太多事，以至於我都不知道該先解釋哪個。不過我還是盡量聚焦在測試上。基本上，我想看看哪個模型最適合在我的 Nano 上執行，你知道的，就是不要把它弄當掉，因為我確實在某個時候把它搞當過。那是另一段話題，我先留到之後再說，但如果你想看點娛樂內容，我把我和 Claude 的對話收錄在我的技術文件裡。（<a href="https://techdocs.annavillarreal.com">techdocs</a> → 然後點左邊的 Jetson Nano。）我的 Nano RAM 不夠，沒辦法承受這次測試執行。這促使我建立了一個交換檔，以便在 RAM 不足、緊急狀況發生時能夠應付。就當作是一個安全網——畢竟我很容易惹麻煩。

安全網就位後，我用一個網頁上的 OSI 模型快速做出一份測驗，當作真值來源——也就是拿來比對結果的基準。感謝 Vinicius Pereira 在我們聊天時提供的點子！接著，我就用每一個模型，以及不同的「量化」設定（這詞現在算是正式存在了嗎？）來跑這個測試，好把這個概念的神祕面紗揭開。

先講重點——如果一個模型被高度量化，品質就會下降。就是這麼回事。

benchmark tests

我大費周章做了這些，最後才意識到：唉，這其實只適用於某一個特定使用情境。要把效能對應到許多不同使用情境，還得花上一段時間。我很好奇，如果你手上有 Nano，你都拿 Ollama 在上面做些什麼？我又不是很需要另一個囤資料的理由。XD

總之，如果你不想另外切出去看，這裡直接附上表格：

<table>
<thead>
<tr>
<th>模型</th>
<th>量化</th>
<th>準確率</th>
</tr>
</thead>
<tbody>
<tr><td>qwen2.5:3b-instruct</td><td>q4_K_M</td><td>100%</td></tr>
<tr><td>qwen2.5:3b-instruct</td><td>q5_K_M</td><td>100%</td></tr>
<tr><td>qwen2.5:3b-instruct</td><td>q8_0</td><td>100%</td></tr>
<tr><td>qwen3.5:2b</td><td>q4_K_M</td><td>0%（輸出為空）</td></tr>
<tr><td>qwen3.5:2b</td><td>q8_0</td><td>0%（輸出為空）</td></tr>
<tr><td>llama3.2:3b-instruct</td><td>q2_K</td><td>40%</td></tr>
<tr><td>llama3.2:3b-instruct</td><td>q4_K_M</td><td>90%</td></tr>
<tr><td>llama3.2:3b-instruct</td><td>q5_K_M</td><td>90%</td></tr>
<tr><td>llama3.2:3b-instruct</td><td>q8_0</td><td>90%</td></tr>
<tr><td>mistral:7b-instruct</td><td>q2_K</td><td>80%</td></tr>
<tr><td>mistral:7b-instruct</td><td>q4_K_M</td><td>100%</td></tr>
<tr><td>mistral:7b-instruct</td><td>q5_K_M</td><td>80%</td></tr>
</tbody>
</table>

上面有些欄位是空的，因為它們無法裝進 Nano 的 GPU，所以沒有必要去測試一個由於硬體限制、註定無法如預期運作的模型。

這些數字是基於 10 題題庫計算出來的，所以才會這麼剛好地精確。很明顯，這只是一個簡單的高層次測試，但我還是想把整個流程完整走一遍。經過這些嘗試之後，我知道這條探索路線很深、很廣，而我現在看到的還只是冰山一角。不過就我這個測驗產生的使用情境來看，qwen2.5:3b-instruct 無疑是最佳選擇，簡直是從麵包店直接帶回家的招牌甜點。等我把應用重新整理好，把 llama3.2:3b-instruct 換成 qwen，想必我就能切一塊來吃——這又是改天要做的事了。

我相信很多讀到這篇的人都在別的地方看過其他基準測試。我很希望這裡也能有一些同儕審查，告訴我這樣的方向是否大致正確，或者我的資料看起來是否有點怪。我總覺得自己正掉進一個測試萬物的黑洞。我知道別人也做過這些，而且外面也有其他資訊，但這些到底能對這項技術帶來什麼真正的理解呢？

原文出處：https://dev.to/annavi11arrea1/simple-benchmark-review-ollama-on-jetson-nano-5gee