LLM Models

Resources

• 7 Popular LLMs Explained in 7 Minutes - KDnuggets
• Awesome Free LLM APIs

Chinese LLMs

• Taiwan LLM - Project TAME (TAiwanese Mixture of Experts)
  • GitHub: https://github.com/MiuLab/Taiwan-LLM 
  • HF: https://huggingface.co/yentinglin 
  • HF: https://huggingface.co/audreyt 
  • 臺灣繁中LLM另一里程碑！Project TAME以5,000億個Token訓練而成並開源釋出 | iThome
  • Project TAME上線！「最台AI」獲輝達算力支援，能懂「很盤」涵義，3大優勢有哪些？|數位時代 BusinessNext
• TAIDE (台德)- Trustworthy AI Dialogue Engine
  • GitHub: https://github.com/taide-taiwan 
  • HF: https://huggingface.co/taide 
  • TAIDE | iThome
• 01.AI - Yi
  • GitHub: https://github.com/01-ai/Yi 
  • HF: https://huggingface.co/01-ai/ 
• CKIP-Llama-2-7b 是中央研究院詞庫小組(CKIP)開發的開源可商用繁體中文大型語言模型，以商用開源模型Llama-2-7b以及Atom-7b為基礎，再補強繁體中文的處理能力，並對405個可商用的任務檔案同步進行訓練優化，參數量達70億(7 billion)。
  • GitHub: https://github.com/f901107/CKIP-Llama-2-7b 
  • HF: https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat 
• Qwen - 阿里雲通義千問
  • GitHub: https://github.com/QwenLM/Qwen
  • GitHub: https://github.com/QwenLM/Qwen2 
  • HF: https://huggingface.co/Qwen  
  • Doc: https://help.aliyun.com/zh/dashscope/create-a-chat-foundation-model?spm=a2c4g.11186623.0.0.20ea4937azFCan 
• GLM-4 - 智譜 AI 推出的中文多語言模型
  • GitHub: https://github.com/THUDM/GLM-4 
  • HF: https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7 
• Chinese-Mixtral
• DeepSeek - 深度求索
  • GitHub: https://github.com/deepseek-ai/DeepSeek-V2
  • HF: https://huggingface.co/deepseek-ai/DeepSeek-V2   
    

Code LLMs

• Granite - Open sourcing IBM’s Granite code models 
  • H F: https://huggingface.co/ibm-granite 
  • GitHub: https://github.com/ibm-granite 
  • IBM開源程式開發專用Granite語言模型，效能超越當前多數開源模型 | iThome
  • IBM Granite 3.0 models · Ollama Blog
  • IBM Granite.Code - Visual Studio Marketplace
• Codestral - Mistral's first generative AI model for code 
  • HF: https://huggingface.co/mistralai/Codestral-22B-v0.1
  • Mistral AI推出輕量程式撰寫輔助模型 | iThome 
• Gemini Code Assist - Google 推出的程式編寫助理，可以在 VS Code、JetBrains IDE 上使用。

Evaluation/Monitor

• PromptBench: A Unified Library for Evaluating and Understanding Large Language Models.
• AI產品與系統評測中心: AI評測模擬測試題庫.xlsx
• Opik is an open-source platform for evaluating, testing and monitoring LLM applications.

Function Calling LLMs

• Firefunction-v2
  • HF: https://huggingface.co/fireworks-ai/firefunction-v2 

Content Safty

• Google ShieldGemma
  ShieldGemma則是個安全分類模型，可額外部署在模型的輸入及輸出端，用以過濾有害內容，它主要篩選4大領域的內容，包括仇恨言論、騷擾、裸露的色情內容，以及危險內容。
  

Hardware Requirements

• 如何計算 Model 需要多少 GPU VRAM
• Calculates how much GPU memory you need and how much token/s you can get for any LLM & GPU/CPU
• LLM RAM Calculator
• llmfit - A terminal tool that right-sizes LLM models to your system's RAM, CPU, and GPU.
• CanIRun.ai
• LLM Checker - 一款進階的命令列工具，可掃描您的硬體，並精確告知您哪些 LLM 或 sLLM 模型可在本地端執行，並與 Ollama 完全整合。