Fine-Tune Model

準備資料集

開始調整模型之前，您必須先建立用來調整模型的資料集。為獲得最佳效能，資料集內的範例必須具有高品質、多元且代表真實輸入和輸出的要素。

Tutorials格式

資料集中包含的範例應符合您預期的實際工作環境流量。如果您的資料集含有特定格式、關鍵字、操作說明或資訊，則實際工作環境資料的格式應相同，並含有相同的指示。
• Fine-Tuning
  
  
  Llama-2
  例如，如果資料集中的範例包含 LLM"question:" on和 Google"context:"，則實際工作環境流量也應一併設定包含 Colab:"question:" A和 Step-by-Step"context:" Guide.的格式，且順序應與資料集範例中的順序相同。如果您排除結構定義，即使資料集的範例包含確切的問題，模型將無法辨識模式。
  |
  
  
  by
  在資料集中的每個範例中加入提示或前置碼，也有助於改善調整後模型的效能。請注意，如果資料集中包含提示或前置碼，那麼在推論時向已調整的模型發出提示時，也應包含該提示或前置碼。
  Gathnex

   |

  Medium

Tools

Unsloth

Unsloth - Easily finetune & train LLMs

• GitHub: https://github.com/unslothai/unsloth 
• Video: https://www.youtube.com/watch?v=LPmI-Ok5fUc 
• Video: 最新Mistral V3模型，免費微調模型 勞基法實作 #ai #llm #mistral #mistral7b #finetune #人工智能 #人工智慧 #nlp #embedding - YouTube

Atlas

Atlas by NOMIC - 資料集（非結構化資料）品質檢測服務

Gemini API

• 模型調整簡介  |  Google AI for Developers  |  Google for Developers

AnythingLLM

具有 Chat/Fine-Tune/Multi-Model 多功能的平台

• 大型語言模型LLMs介紹與操作教學 20231228 - YouTube

 

Tutorials

• Fine-Tuning Llama-2 LLM on Google Colab: A Step-by-Step Guide. | by Gathnex | Medium