Skip to main content

AI Proxy

企業在導入 LLM 時，可能會用到多種不同的模型，這些包含商用授權與開源授權以及來自不同的服務商。為了統一管理及開發應用這些各類不同模型，建議使用 AI Proxy (AI API Gateway) 這類平台來解決，以達到下列目的：

    統一 API 介接入口與格式 成本追蹤 平衡負載

    LiteLLM

      Doc: https://docs.litellm.ai/docs/simple_proxy  GitHub: https://github.com/BerriAI/litellm 

      CLI Proxy API

        GitHub: https://github.com/router-for-me/CLIProxyAPI  Doc: CLIProxyAPI 基于docker搭建CLIProxyAPI图文教程 - 文档共建 - LINUX DO 手把手带你用上AI神器 - CLIProxyAPI（零：配置详细解说） - 资源荟萃 - LINUX DO CLIProxyAPI Plus
          GitHub: https://github.com/router-for-me/CLIProxyAPIPlus YT: 【2026最新】零成本无限调用GPT-5.3高级模型！ChatGPT免费额度+CLIProxyAPIPlus 完整部署教程 - YouTube 
          Installation
          mkdir cpa-plus
cd cpa-plus

curl -o config.yaml https://raw.githubusercontent.com/router-for-me/CLIProxyAPIPlus/main/config.example.yaml

mv config.example.yaml config.yaml

          Edit: config.yaml 

          remote-management:
  allow-remote: true
  secret-key: YOUR-MANAGEMENT-KEY

          Edit: docker-compose.yaml 

          services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api-plus:latest 
    container_name: cli-proxy-api-plus 
    ports:
      - "8317:8317" 
    volumes:
      - ./config.yaml:/CLIProxyAPI/config.yaml
      - ./auths:/root/.cli-proxy-api 
      - ./logs:/CLIProxyAPI/logs
    environment:
      - TZ=Asia/Taipei
    restart: always

           

           

          Sub2API

            GitHub: https://github.com/Wei-Shaw/sub2api  基于docker搭建sub2api图文教程 - 文档共建 - LINUX DO [龙虾教程] 自建Sub2API中转站管理多个AI账号 方便集中管理/好友共享/快速切换 - 蓝点网
            Back to top