在前一篇文章中介紹的「Clawdbot(現名: OpenClaw)」的使用過程中,我想到了一件事情。
那就是,「畢竟,既然AI的頭腦依賴外部(如Gemini、Claude、ChatGPT等),就會有限制和成本產生」。
持續使用會受到限制,而要解除這些限制則需要進行API的按量計費。
「這樣的話太貴了……難道就沒有什麼能夠免費長期運行的東西嗎?」
於是我開始查詢,驚奇地發現居然有可以在自己的PC(本地)上運行的AI!
這次,我要介紹的是其中一個簡單易用的「Ollama」。
<前一篇文章>

此次介紹的是名為Ollama的本地LLM執行環境。
首先,LLM(大型語言模型)是指經過大量文本數據訓練,能夠進行類似人類自然對話的AI。通常,這些模型都是在雲端的高性能伺服器上運行,但透過Ollama,你可以在自己的電腦上完成這一切。
首先,從官方網站下載安裝程式。
這一次,我安裝了最新的Llama 3.1模型。
選擇這個模型的原因是我的Mac是2020年款 M1 / 記憶體16GB,Gemini認為這個規格的電腦是可以舒適運行的理想大小。
設定完成後,立刻從GUI發送聊天訊息。

回覆的字數雖然稍少,但對話還是能夠成立地回應過來了!
為了確認「能輸出多長的文字」,我請它創作了一個小故事。

結果,文章的內容相當奇怪。
不過在大約20秒內給出了一篇相當長的文章,這一點讓我感到驚訝。
我也試著檢查是否可以生成圖片。

……結果並未成功(笑)。
※遺憾的是,這次使用的Llama 3.1模型似乎不支援圖片生成。
實際操作後最讓我驚訝的是,「運行在本地的環境竟然能這麼流暢」。
我原本以為系統會更繁重,或是讓Mac變熱,但其實運行非常流暢。
不過,從準確率來看,的確還是比不上Gemini等雲端型LLM。
特別是在我想要將其用作「ClawdBot」這樣需要涉及文件操作的「頭腦」時,會有「如果AI做出奇怪的判斷,將文件亂七八糟地修改該怎麼辦……」的恐懼感。
原文出處:https://qiita.com/hiroki2712/items/918db5c912f436a62e52