Llama.Cpp

GitHub: https://github.com/ggml-org/llama.cpp   
 Tutorials 
 
 Windows 本地 AI 又升级了！llama.cpp 官方支持 CUDA 13 / Vulkan / HIP / SYCL，一键跑 GGUF 无审查模型！ - 零度博客