gpt-oss

快速上手 Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型。

高吞吐量且内存效率高的 LLM 推理与服务引擎

SGLang 是针对大型语言模型与多模态模型的高性能服务框架

[MLsys2026]：在所有事物上使用 LEANN 进行 RAG。享受 97% 的存储空间节省，同时在个人设备上运行快速、准确且 100% 私密的 RAG 应用。

轻松微调、评估与部署 Qwen、Gemma 或任何开放权重的 LLM！

在 Qualcomm 设备上以少量代码本地运行前沿 LLM 和 VLM，支持 NPU、GPU 和 CPU

为超大型 MoE 模型打造的下一代训练引擎

一款原生的 macOS 应用程序，让用户无需安装任何其他软件，即可与本地 LLM 进行对话，并根据 Mac 上的文件、文件夹和网站信息进行回复。由 llama.cpp 驱动。

强大的 Zotero AI 与 MCP 插件，整合 ChatGPT、Gemini 3.6、Claude Fable 5、Claude Sonnet 5、DeepSeek V4、Grok、OpenRouter、Kimi k3、GLM 5.2、SiliconFlow、GPT-oss、Gemma 4、Qwen 3.7

TokenSpeed 是一个极速的 LLM 推理引擎。

供 Agent 使用的本地 AI 应用与推理引擎。在你的电脑上私密、100% 离线运行开放权重 LLM。欢迎加入我们的 Discord：https://discord.com/invite/8wGSsvmg4V

适用于 Codex CLI 与 Claude Code 的轻量级 Agent 工作站——具备任务调度器、git worktree 与远程控制功能

🚀 针对 LLM/VLM 的 PyTorch 分布式原生训练库，开箱即用支持 Hugging Face

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp