canonical_url: https://bebechien.github.io/cozy-corner-future/posts/master-local-fine-tuning-with-gemma-trainer/
cover_image: https://bebechien.github.io/cozy-corner-future/images/master-local-fine-tuning-with-gemma-trainer.png
description: 掌控你的 AI 模型,透過我們最新的技能,讓本機微調更有效率。
published: true
tags:

  • gemma
  • finetuning
  • ai
  • agents
    title: 透過「gemma-trainer」掌握本機微調

    還記得五月我介紹 gemma-skills 儲存庫的時候嗎?看到有這麼多人使用我上一篇文章來簡化工作流程,真的很令人欣慰。(話說,就算我們目前在 GitHub 星星數還沒爆量,我覺得也算是有個很好的開始了!😉)

但當我建立更多客製化應用時,我一直遇到同樣的瓶頸:如何將一個很棒的基礎模型,調整成符合我的特定需求。

微調模型通常需要翻閱複雜的設定與令人困惑的指南。為了讓這個流程更直接、更快速,我們打造了最新的技能:gemma-trainer

什麼是 gemma-trainer

gemma-trainer 是你在本機硬體上訓練與調整 Gemma 模型的藍圖。它會處理那些「怎麼做」的部分,讓你能專注在自己的專案目標上,不論你是在教模型一個新的領域,還是在把它的行為對齊到你的偏好。

為什麼你會用到它

  • 更快、更輕量的訓練:我們建議在單 GPU 訓練時使用 Unsloth,它速度快、記憶體用量更低,因此能輕鬆在個人硬體上執行。

  • 三種關鍵方法:它會引導你使用監督式微調(SFT)來教模型新資訊、直接偏好最佳化(DPO)來對齊偏好,以及獎勵模型(RM)來評分回應。

  • 讓模型學會看與聽:它也提供清楚的指引,教你如何結合文字來訓練含有影像與音訊的模型(多模態學習)。

  • 到哪都能跑:你可以快速將模型轉換成輕量格式(例如 GGUF),並使用 LiteRT-LM 在手機或智慧裝置(IoT)上執行。

  • 最新的最佳實務:這個技能會持續更新最新的最佳化設定與訓練技巧,確保你始終使用最好的方法。

實際使用案例

要看它如何實際運作,可以回想一下我們在我上一篇文章中,如何把 Gemma 4 變成《古朝鮮語》文學的專業翻譯員。使用 gemma-trainer,你不需要手動拼湊整個流程。你只要直接告訴你的代理人:

「使用資料集 bebechien/HongGildongJeon,對 Gemma 4 E2B 進行微調。」

有了 gemma-trainer 技能,你的代理人會和你一起完成以下工作:

  1. 驗證你的資料:使用驗證腳本,確保你的訓練資料符合範本需求。

  2. 設定參數:選擇最適合的 LoRA 設定,在不讓顯示記憶體(VRAM)耗盡的情況下,教模型學會語言細微差異。

  3. 開始訓練:使用最佳化、資源效率高的預設值啟動訓練流程。

  4. 評估並迭代:檢視模型表現,並調整設定以獲得你需要的精準結果。

以下是代理人在 Gemma 4 12B 模型上開始音訊任務微調的範例:

audio-tuning start

完成設定後,代理人就會使用你指定的資料集啟動訓練程序:

audio-tuning training

即使你犯了錯,代理人也會幫你把關。舉例來說,當我不小心要求訓練 Gemma 4 31B 模型(它是文字與視覺模型,沒有音訊能力)時,它反而建議改用 Gemma 4 E2B 或 12B 來進行音訊微調:

audio-tuning fix

訓練完成後,代理人會呈現結果並說明下一步:

audio-tuning finish

你也可以請你的代理人根據你的特定需求撰寫自訂評估腳本。在這個例子中,我請代理人建立一個用來檢查轉錄相似度的腳本:

audio-tuning eval

最後,你會收到一份完整報告,摘要訓練表現,讓你清楚知道下一輪可以從哪些地方改進:

audio-tuning report

來試試吧!

gemma-trainer 是一份持續演進、結構化的文件。把它放進你代理人的技能目錄中,你的 AI 助理就會立刻知道如何引導你完成整個流程。

看看這個儲存庫,把這個技能加進你的工具箱,讓我們一起打造一些很棒的東西吧!

感謝閱讀,祝你訓練順利!


原文出處:https://dev.to/googleai/master-local-fine-tuning-with-gemma-trainer-3ipp


精選技術文章翻譯,幫助開發者持續吸收新知。

共有 0 則留言


精選技術文章翻譯,幫助開發者持續吸收新知。
🏆 本月排行榜
🥇
站長阿川
📝18   💬3   ❤️4
731
🥈
我愛JS
📝2   💬5   ❤️3
141
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次
📢 贊助商廣告 · 我要刊登