內容目錄
- 比較 Jetson Nano 與 Jetson Orin Nano Super
- NVIDIA Jetson Orin Super 的效能如何？
- 生成性 AI 能力
- 視覺語言模型 (VLMs)
- 視覺轉換器
- I/O 與連接性
- 開發者友好特性
- AI 開發工具
- 開始使用 Jetson Orin Super
- 結論
- 參考文獻
NVIDIA 剛剛透過其最新產品重新定義了邊緣計算 - Jetson Orin Nano Super 開發者套件。這不僅僅是一個逐步更新；這是一個重大的進步，將生成性 AI 能力以前所未有的價格點 $249 帶到邊緣。
比較 Jetson Nano 與 Jetson Orin Nano Super
NVIDIA Jetson Orin Nano Super 開發者套件是一款緊湊但強大的計算機，重新定義了小型邊緣設備的生成性 AI。
它提供高達 67 TOPS 的 AI 效能，較其前身提升 1.7 倍，能夠無縫運行各種生成性 AI 模型，例如視覺轉換器、大型語言模型、視覺語言模型等。
它為開發者、學生和創客提供了一個最實惠且可及的平臺，並支援 NVIDIA AI 軟體和廣泛的 AI 軟體生態系統，旨在使生成性 AI 在邊緣上民主化。現有的 Jetson Orin Nano 開發者套件使用者只需透過軟件升級即可體驗這一效能提升，因此大家現在都能解鎖生成性 AI 的新可能性。
讓我們深入了解規格，看看它與其前身的比較：
| 特性 | Orin Nano 原版 | Orin Nano Super | 提升 |
|---|---|---|---|
| GPU 架構 | NVIDIA Ampere (1024 CUDA核心, 32 Tensor核心) @ 635 MHz | NVIDIA Ampere (1024 CUDA核心, 32 Tensor核心) @ 1020 MHz | 1.6倍 GPU 時脈 |
| AI 效能 | 40 TOPS (稀疏) / 20 TOPS (密集) | 67 TOPS (稀疏) / 33 TOPS (密集) | 1.7倍 AI 效能 |
| CPU | 6 核 Arm Cortex-A78AE @ 1.5 GHz | 6 核 Arm Cortex-A78AE @ 1.7 GHz | 1.13倍 CPU 時脈 |
| 內存 | 8GB 128-bit LPDDR5 @ 68 GB/s | 8GB 128-bit LPDDR5 @ 102 GB/s | 1.5倍內存帶寬 |
| 模組功率 | 7W/15W | 7W/15W/25W | 額外功率模式 |
NVIDIA Jetson Orin Super 的效能如何？
Super 變體最引人注目的方面是其效能的提升：
- AI 計算效能提升 1.7 倍 (67 TOPS 對 40 TOPS)
- 內存帶寬提升 1.5 倍 (102 GB/s 對 68 GB/s)
- 更高的 GPU 和 CPU 時脈速度以提升整體效能
生成性 AI 能力
NVIDIA Jetson™ 平台運行 NVIDIA AI 軟體堆疊，並提供各種特定用例的應用框架。其中包括適用於機器人的 NVIDIA Isaac™、用於視覺 AI 的 NVIDIA Metropolis 以及用於感應器處理的 NVIDIA Holoscan。你可以利用 NVIDIA Omniverse™ Replicator 進行合成數據生成 (SDG) 和 NVIDIA TAO 工具包來微調 NVIDIA® NGC™ 資料夾中的預訓練 AI 模型，節省大量時間。
Orin Nano Super 最令人印象深刻的特性之一是它能運行各種類型的生成性 AI 模型：
大型語言模型 (LLMs)：
| 模型 | 效能增益 |
|---|---|
| Llama-3.1 8B | 1.37x |
| Llama 3.2 3B | 1.55x |
| Qwen2.5 7B | 1.53x |
| Gemma2 2B | 1.63x |
| Gemma2 9B | 1.28x |
| Phi 3.5 3B | 1.54x |
| SmoLLM2 1.7B | 1.57x |
視覺語言模型 (VLMs)：
| 模型 | 效能增益 |
|---|---|
| VILA 1.5 3B | 1.51x |
| VILA 1.5 8B | 1.45x |
| LLAVA 1.6 7B | 1.36x |
| Qwen2-VL-2B | 1.57x |
| InternVL2.5-4B | 2.04x |
| PaliGemma2-3B | 1.58x |
| SmoLVLM-2B | 1.59x |
視覺轉換器
| 模型 | 效能增益 |
|---|---|
| clip-vit-base-patch32 | 1.60x |
| clip-vit-base-patch16 | 1.69x |
| DINOv2-base-patch14 | 1.68x |
| SAM2 base | 1.43x |
| Grounding-DINO | 1.52x |
| vit-base-patch16-224 | 1.61x |
| vit-base-patch32-224 | 1.60x |
I/O 與連接性
| 介面 | 規格 |
|---|---|
| 相機 | 2x MIPI CSI-2 22 引腳相機連接器 |
| PCIe | M.2 Key M x4 PCIe Gen 3 |
| 額外 PCIe | M.2 Key M x2 PCIe Gen3 |
| 擴展 | M.2 Key E PCIe (x1)、USB 2.0、UART、I2S 和 I2C |
| USB | 4x USB 3.2 Gen2 Type A + 1x Type C 用於除錯 |
| 網絡 | 1x GbE 接口 |
| 顯示 | DisplayPort 1.2 (+MST) |
| 儲存 | microSD 插槽 (UHS-1 卡支援至 SDR104 模式) |
| GPIO | 40 引腳擴展標頭 |
開發者友好特性
| 特性 | 描述 |
|---|---|
| 軟體堆疊 | 完整支援 TensorRT-LLM |
| 框架相容性 | 與流行框架的原生相容性 |
| Jetson 生態系統 | Jetson 軟體堆疊與微服務支援 |
| 部署 | 預建容器以快速部署 |
AI 開發工具
| 工具 | 描述 |
|---|---|
| TensorRT 優化 | 使用 TensorRT 進行優化推斷 |
| 量化支援 | INT8/FP16 量化支援 |
| 多模型推斷 | 能同時運行多個模型 |
| 容器化 | Docker 容器支援以便捷部署 |
開始使用 Jetson Orin Super
本指南將指導你在 Jetson 設備上設置 Ollama，將其與 Open WebUI 整合，以及配置系統以最佳化 GPU 使用率。無論你是開發者還是 AI 愛好者，這個設置都能讓你在你的 Jetson 設備上充分利用 LLM 的潛力。
先決條件
- Jetson Orin Nano
- 一個 DC 電源供應器
- 64GB/128GB SD 卡
- WiFi 適配器
- 無線鍵盤
- 無線鼠標
軟體
-
下載 Jetson SD 卡映像
確保從此鏈接下載最新的 JetPack 6.2 SDK。你的 Jetson Orin Nano 開發者套件隨附了一個工廠閃存的舊韌體，這與 JetPack 6.x 不相容。 點擊此處下載
-
你的本地系統上安裝 Etcher
使用此 鏈接 下載 Jetson SDK
準備你的 Jetson Orin Nano
- 解壓 SD 卡映像
- 將 SD 卡插入你的系統。
- 啟動 Etcher 將 SD 卡映像燒錄到 SD 卡
先決條件
- 確保在你的 Jetson Orin Nano 設備上安裝了 JetPack 6.0。你可以在遠程 Windows 或 Linux 上下載 SDK 管理器，並按照官方 NVIDIA 開發者 網站的教程進行操作。
為了使用 SDK 管理器燒錄 Orin Nano，必須首先將其置於“恢復模式”。為此，將跳線或導線連接到 Orin Nano 卡底部的 FC_REC 和 GND 腳（腳 2 和 3）。 參考此 博客了解更多
步驟 1. 驗證 L4T 版本
要檢查 NVIDIA Jetson 設備上的 L4T (Linux for Tegra) 版本（例如 Jetson Nano、Jetson Xavier），請按照以下步驟進行：
執行以下命令以檢索當前的 L4T 版本。
head -n 1 /etc/nv_tegra_release
以下是支援的 L4T 版本列表：
- 35.3.1
- 35.4.1
- 35.5.0
- 36.3.0
如果你的 L4T 版本與上述支援版本不符，則可能需要重新燒錄 NVIDIA Jetson 設備上的系統。你可能需要在另一台計算機上使用 SDK 管理器來重新燒錄設備。你可以下載 SDK 管理器並按照官方 NVIDIA 開發者 網站的教程進行操作。
步驟 2. 保持 apt 更新：
sudo apt update && sudo apt upgrade步驟 3. 安裝 jetpack：
sudo apt install jetpack步驟 4. 新增使用者
將你的使用者新增至 docker 群組，並重新啟動 Docker 服務以應用變更：
sudo usermod -aG docker $USER && \
newgrp docker && \
sudo systemctl daemon-reload && \
sudo systemctl restart docker步驟 5. 安裝 jetson-examples:
pip3 install jetson-examples步驟 6. 重新啟動系統
sudo reboot步驟 7. 安裝 Ollama
reComputer run ollama可選：如果你通過 ssh 運行上述命令並遇到 command not found: reComputer 的錯誤，可以執行以下命令來解決此問題：
source ~/.profile步驟 8. 運行模型
可下載的最小 LLaMA 模型是 TinyLlama，一個緊湊的 11 億參數模型。儘管其尺寸縮小，TinyLlama 在各種任務中展現了非凡的效能，使其適合計算資源有限的應用。你可以通過其 GitHub 倉庫或 Hugging Face 獲取 TinyLlama。
讓我們運行 tinyllama 模型並執行生成 Python 代碼等任務：
ollama run tinyllama
>>> > 請寫一個 Python 腳本來計算一個數的階乘？
當然！以下是代碼：
def factorial(n):
if n == 0 or n == 1:
return 1
else:
return n * factorial(n - 1)
num = int(input("輸入一個數字："))
print(f"{num} 的階乘是 {factorial(num)}")步驟 9. 從 Ollama 資料庫安裝模型 (例如 llama3.2)
ollama pull llama3.2步驟 9. 通過 Docker 安裝並運行 Open WebUI
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda步驟 10. 通過 docker 安裝並運行 Open WebUI
安裝完成後，你可以通過訪問 YOUR_SERVER_IP:3000 在瀏覽器中訪問 GUI。
訪問 API 端點請導航至 YOUR_SERVER_IP/ollama/docs#/。有關完整的文檔，請參考官方資料：Ollama API 文檔（建議）和 Open WebUI API 端點。
使用 GPU
這種安裝方法使用一個單一的容器映像，將 Open WebUI 與 Ollama 打包在一起，允許透過單一命令進行簡化設置。根據你的硬體設置選擇適合的命令：
sudo docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama僅使用 CPU
對於僅使用 CPU：如果你不使用 GPU，請改用以下命令：
sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama這兩個命令均方便地自動安裝 Open WebUI 和 Ollama，確保你能快速上手。
配置完成後，可以在 http://localhost:3000 訪問 Open WebUI，而 Ollama 則在 http://localhost:11434 運行。此設置為在 NVIDIA Jetson 設備上本地運行和管理 LLM 提供了一個無縫且 GPU 加速的環境。
結論
Jetson Orin Nano Super 開發者套件代表了邊緣 AI 計算的一個重要里程碑。它將數據中心級的 AI 能力帶到了邊緣，並以前所未有的價格點，使其成為開發者、研究人員和企業尋求在邊緣部署先進 AI 應用的理想平臺。
AI 效能的增加、內存帶寬的提升以及廣泛的模型支援，使其成為任何嚴肅對待邊緣 AI 開發者的引人注目的選擇。以 $249 的價格，這不僅僅是一個產品 - 而是一場關於可及 AI 計算的革命。
參考文獻
1) --- 會變成分隔線（上一行必須是空白）
2) # 會變成一級標題
3) ## 會變成二級標題
4) ### 會變成三級標題
5) **粗體文字**會顯示粗體文字
6) ```當第一行與最後一行會顯示程式碼
7) 請搜尋 Markdown 語法，了解各種格式