gpt-oss

快速上手 Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型。

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

SGLang 是針對大型語言模型與多模態模型的高效能服務框架

[MLsys2026]：在所有事物上使用 LEANN 進行 RAG。享受 97% 的儲存空間節省，同時在個人裝置上執行快速、精確且 100% 私密的 RAG 應用。

輕鬆微調、評估與部署 Qwen、Gemma 或任何開放權重的 LLM！

在 Qualcomm 裝置上以少量程式碼本地執行前沿 LLM 與 VLM，支援 NPU、GPU 與 CPU

為超大型 MoE 模型打造的下一代訓練引擎

一款原生的 macOS 應用程式，讓使用者無需安裝任何其他軟體，即可與本地 LLM 進行對話，並根據 Mac 上的檔案、資料夾和網站資訊進行回覆。由 llama.cpp 驅動。

強大的 Zotero AI 與 MCP 外掛，整合 ChatGPT、Gemini 3.6、Claude Fable 5、Claude Sonnet 5、DeepSeek V4、Grok、OpenRouter、Kimi k3、GLM 5.2、SiliconFlow、GPT-oss、Gemma 4、Qwen 3.7

TokenSpeed 是一個極速的 LLM 推論引擎。

供 Agent 使用的本地 AI 應用程式與推論引擎。在你的電腦上私密、100% 離線運行開放權重 LLM。歡迎加入我們的 Discord：https://discord.com/invite/8wGSsvmg4V

適用於 Codex CLI 與 Claude Code 的輕量級 Agent 工作站——具備工作排程器、git worktree 與遠端控制功能

🚀 針對 LLM/VLM 的 PyTorch 分散式原生訓練函式庫，開箱即用支援 Hugging Face

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp