讓我們嘗試建立如下所示的本地 LLM 環境。
什麼是 Docker？
Docker是容器虛擬化技術的一種實作。
Ollama 是什麼？
Ollama 是一個本地 LLM 執行環境。它允許您在本地執行各種 LLM。
什麼是 Open WebUI？
Open WebUI 是一個可以輕鬆與 Ollama 整合的 AI GUI。
安裝 Docker
如果您尚未安裝 Docker，請安裝它。
安裝 NVIDIA 容器工具包
如果您有 NVidia GPU，您可以安裝 NVIDIA Container Toolkit 來加快速度。
# NVIDIA Container Toolkit をインストールする
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
$ sudo apt update
$ sudo apt install -y nvidia-container-toolkit
# NVIDIA Container Toolkitを有効にする
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker建立 docker-compose.yml
建立docker-compose.yml 。
services:
ollama:
image: ollama/ollama
container_name: ollama
ports:
- 11434:11434
volumes:
- ./ollama/.ollama:/root/.ollama
restart: always
# NVidiaのGPUを使う場合はここから
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
# ここまでを入れる
openwebui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- 3000:8080
volumes:
- ./open-webui/data:/app/backend/data
restart: always
depends_on:
- ollama
environment:
- OLLAMA_BASE_URL=http://ollama:11434執行以下指令，將docker-compose.yml的內容作為容器啟動。
$ docker compose up -d安裝 LLM
安裝您最喜歡的 LLM。
下面是一個安裝範例。
# gpt-ossをインストールする
$ docker exec -it ollama ollama run gpt-oss:20b
# 終わったら以下を入力してプロンプトを抜ける
>>> /bye請注意，根據型號不同，下載量可能會很大。
存取 Open WebUI
等待一段時間後，造訪http://localhost:3000/ ，你會看到如下所示的令人印象深刻的螢幕，讓我們開始吧。
系統會彈出建立帳戶的介面，請建立一個帳戶。 （由於是本地環境，如果您只是嘗試一下，可以隨意輸入任何資訊。）
將出現一個螢幕，您可以提出以下問題。
嘗試提出以下問題：
我能夠建立一個本地的 LLM 環境。
其他的
# インストール済みのモデルを確認する
$ docker exec -it ollama ollama list
# gpt-ossをアンインストールする
$ docker exec -it ollama ollama rm gpt-oss:20b原文出處：https://qiita.com/kkawaharanet/items/b80d7cde49364aa94963
共有 0 則留言
文字內容提供幾種功能：
1) --- 會變成分隔線（上一行必須是空白）
2) # 會變成一級標題
3) ## 會變成二級標題
4) ### 會變成三級標題
5) **粗體文字**會顯示粗體文字
6) ```當第一行與最後一行會顯示程式碼
7) 請搜尋 Markdown 語法，了解各種格式
1) --- 會變成分隔線（上一行必須是空白）
2) # 會變成一級標題
3) ## 會變成二級標題
4) ### 會變成三級標題
5) **粗體文字**會顯示粗體文字
6) ```當第一行與最後一行會顯示程式碼
7) 請搜尋 Markdown 語法，了解各種格式