Fine-Tune
模型微調工作流程
- 準備資料集(訓練資料)
- 準備基礎模型
- 匯入資料集
- 開始微調作業 (Fine-Tune)
- 評估新模型損失曲線
- 以新模型做實際推論
準備資料集
開始微調模型之前，您必須先建立用來微調模型的資料集。為獲得最佳效能，資料集內的範例必須具有高品質、多元且代表真實輸入和輸出的要素。
格式
資料集中包含的範例應符合您預期的實際工作環境流量。如果您的資料集含有特定格式、關鍵字、操作說明或資訊，則實際工作環境資料的格式應相同，並含有相同的指示。 例如，如果資料集中的範例包含 "question:" 和 "context:"，則實際工作環境流量也應一併設定包含 "question:" 和 "context:" 的格式，且順序應與資料集範例中的順序相同。如果您排除結構定義，即使資料集的範例包含確切的問題，模型將無法辨識模式。
在資料集中的每個範例中加入提示或前置碼，也有助於改善調整後模型的效能。請注意，如果資料集中包含提示或前置碼，那麼在推論時向已調整的模型發出提示時，也應包含該提示或前置碼。
- YT: Fintune Falcon Model
- LaWGPT - 微調具中文法律(中國)知識的大語言模型
Tools & Platform
Unsloth
Unsloth - Easily finetune & train LLMs
微調模型專用的 Python 函式庫，在地端使用 GPU 資源對各種 Open Source 模型進行微調作業。
- GitHub: https://github.com/unslothai/unsloth
- YT: https://www.youtube.com/watch?v=LPmI-Ok5fUc
- YT: 最新Mistral V3模型，免費微調模型 勞基法實作 #ai #llm #mistral #mistral7b #finetune #人工智能 #人工智慧 #nlp #embedding - YouTube
- Colab: How to Finetune Llama-3 and Export to Ollama | Unsloth Docs
- Colab: Fine-Tuning Llama-2 LLM on Google Colab: A Step-by-Step Guide. | by Gathnex | Medium
Atlas
Atlas by NOMIC - 資料集（非結構化資料）品質檢測服務
AnythingLLM
具有 Chat/Fine-Tune/Multi-Model 多功能的平台
LLaMA-Factory
- GitHub: https://github.com/hiyouga/LLaMA-Factory
- YT: Llama3 中文版模型微调笔记，小白也能学会 - YouTube
- YT: 【LLaMA-Factory】開源語言模型微調專案 方便微調各種大型語言模型｜內建WebUI 方便使用｜內建多種訓練方式讓使用者選擇 - YouTube
outlines
生成結構化文字資料。可用於微調模型前的資料集預處理。
InstructLab (IBM)
- A new way to collaboratively customize LLMs - IBM Research
- GitHub: https://github.com/instructlab
- Doc: Welcome to InstructLab! - docs.instructlab.ai
- HF: instructlab (InstructLab) (huggingface.co)
- Community: community/Collaboration.md at main · instructlab/community · GitHub
Models
Gemini-Pro
要微調 Gemini-Pro 模型，有三種不同方式呼叫 Gemini API 來做微調作業，Google AI Studio、Python SDK、REST API (curl)。
Mistral
官方 Mistral AI 推出微調用 SDK 與 API。
No Comments