🔧 阿川の電商水電行
Shopify 顧問、維護與客製化
💡
小任務 / 單次支援方案
單次處理 Shopify 修正/微調
⭐️
維護方案
每月 Shopify 技術支援 + 小修改 + 諮詢
🚀
專案建置
Shopify 功能導入、培訓 + 分階段交付

在前一篇文章中介紹的「Clawdbot(現名: OpenClaw)」的使用過程中,我想到了一件事情。

那就是,「畢竟,既然AI的頭腦依賴外部(如Gemini、Claude、ChatGPT等),就會有限制和成本產生」。
持續使用會受到限制,而要解除這些限制則需要進行API的按量計費。

「這樣的話太貴了……難道就沒有什麼能夠免費長期運行的東西嗎?」

於是我開始查詢,驚奇地發現居然有可以在自己的PC(本地)上運行的AI!
這次,我要介紹的是其中一個簡單易用的「Ollama」。

<前一篇文章>

Ollama是什麼?

Ollama

此次介紹的是名為Ollama的本地LLM執行環境。

首先,LLM(大型語言模型)是指經過大量文本數據訓練,能夠進行類似人類自然對話的AI。通常,這些模型都是在雲端的高性能伺服器上運行,但透過Ollama,你可以在自己的電腦上完成這一切。

實際操作

1. 安裝Ollama

首先,從官方網站下載安裝程式。

2. 導入模型(Llama 3.1)

這一次,我安裝了最新的Llama 3.1模型。

選擇這個模型的原因是我的Mac是2020年款 M1 / 記憶體16GB,Gemini認為這個規格的電腦是可以舒適運行的理想大小。

3. 從GUI發送訊息

設定完成後,立刻從GUI發送聊天訊息。

聊天

回覆的字數雖然稍少,但對話還是能夠成立地回應過來了!

表現如何?

創作故事

為了確認「能輸出多長的文字」,我請它創作了一個小故事。

故事

結果,文章的內容相當奇怪。
不過在大約20秒內給出了一篇相當長的文章,這一點讓我感到驚訝。

能夠生成圖片嗎?

我也試著檢查是否可以生成圖片。

圖片生成

……結果並未成功(笑)。
※遺憾的是,這次使用的Llama 3.1模型似乎不支援圖片生成。

使用感想

實際操作後最讓我驚訝的是,「運行在本地的環境竟然能這麼流暢」。

我原本以為系統會更繁重,或是讓Mac變熱,但其實運行非常流暢。

不過,從準確率來看,的確還是比不上Gemini等雲端型LLM。
特別是在我想要將其用作「ClawdBot」這樣需要涉及文件操作的「頭腦」時,會有「如果AI做出奇怪的判斷,將文件亂七八糟地修改該怎麼辦……」的恐懼感。


原文出處:https://qiita.com/hiroki2712/items/918db5c912f436a62e52


精選技術文章翻譯,幫助開發者持續吸收新知。

共有 0 則留言


精選技術文章翻譯,幫助開發者持續吸收新知。
🏆 本月排行榜
🥇
站長阿川
📝22   💬2  
584
🥈
我愛JS
💬5  
19
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次
🔧 阿川の電商水電行
Shopify 顧問、維護與客製化
💡
小任務 / 單次支援方案
單次處理 Shopify 修正/微調
⭐️
維護方案
每月 Shopify 技術支援 + 小修改 + 諮詢
🚀
專案建置
Shopify 功能導入、培訓 + 分階段交付