llm-gateway
标记 llm-gateway 主题、收录中的开源项目,按星标数排序。
相关主题
常跟 llm-gateway 一起出现在同一个项目上的主题。
近期新秀
近 90 天内创建、标记 llm-gateway 主题的项目。
- #1
针对 AI 编码代理的无损压缩网关。在第一轮对话中可减少 25% 的 Token 费用,在长期或高负载对话中最高可达 85%,并在相同的上下文窗口中塞入约 3 倍的对话轮数。由我们的开源代码原生 4B 模型驱动。可无缝集成 Claude Code、Cursor、Codex、OpenHands 以及任何 BASE_URL 代理。
★ 1,450
- #1
永不停止编码。免费 MIT AI 网关:单一端点,340 个供应商(90+ 免费),1200+ 模型 — 包括 Kimi、Claude、GPT、Gemini、GLM、DeepSeek、MiniMax。支持 Claude Code、Codex、Cursor、OpenCode、Cline 与 Copilot。具配额感知自动回退、RTK+Caveman 压缩节省 15-95% 代币,MCP/A2A,桌面/PWA。由 450+ 贡献者打造。
★ 60,442+0近 7 天星标变化 - #2
最快、最轻量的 AI 网关。Rust 核心配合 Python SDK。以 OpenAI(或原生)格式调用超过 100 种 LLM API,具成本追踪、保护机制、负载均衡与日志功能 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]
★ 57,875+0近 7 天星标变化 - #3★ 44,076+0近 7 天星标变化
- #4
无限免费 AI 编码。连接 Claude Code、Codex、Cursor、Cline、Copilot、Antigravity 到 40+ 提供商的免费 Claude/GPT/Gemini。自动回退、RTK -40% 代币,永不触发限制。
★ 26,947+0近 7 天星标变化 - #5★ 12,882+0近 7 天星标变化
- #6
🚀 下一代多租户 AI 一站式解决方案。内建管理与计费系统。企业级统一 LLM 网关,支持 200 多种模型与 35+ 供应商,具优先级路由的负载均衡、成本管理、聊天分享、云同步、信用/订阅计费、全部文件解析、网络搜索、内建模型缓存。
★ 9,303+0近 7 天星标变化 - #7
最快的企业级 AI 网关(比 LiteLLM 快 50 倍),具备自适应负载均衡、集群模式、守护栏、支持 1000+ 模型,且在 5k RPS 时的额外延迟低于 100 µs。
★ 7,763+0近 7 天星标变化 - #8★ 7,033+0近 7 天星标变化
- #9★ 6,478+0近 7 天星标变化
- #10★ 2,575+0近 7 天星标变化
- #11
云原生、超高性能 AI&API 网关,LLM API 管理、分发系统、开放平台,支持所有 AI API,包含 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型,统一 API 请求与返回、API 申请与审批、调用统计、负载均衡、多模型灾备。一键部署,开箱即用。
★ 1,807+0近 7 天星标变化 - #12
通过统一的 API 接口,跨多个供应商路由、管理和分析您的 LLM 请求。
★ 1,594+0近 7 天星标变化 - #13
针对 AI 编码代理的无损压缩网关。在第一轮对话中可减少 25% 的 Token 费用,在长期或高负载对话中最高可达 85%,并在相同的上下文窗口中塞入约 3 倍的对话轮数。由我们的开源代码原生 4B 模型驱动。可无缝集成 Claude Code、Cursor、Codex、OpenHands 以及任何 BASE_URL 代理。
★ 1,450+0近 7 天星标变化 - #14
使用 Go 语言编写的 AI gateway / AI control plane / AI proxy。为 OpenAI、Anthropic、Gemini、Groq、xAI、Ollama、vLLM 等提供统一的 OpenAI 兼容与 Anthropic 兼容 API。作为 LiteLLM 的替代方案,具备可观测性、安全护栏、流式传输、成本追踪、智能路由、粘性会话、故障转移、实时日志与使用量追踪。生产就绪。
★ 1,119+13近 7 天星标变化 - #15★ 812+0近 7 天星标变化
- #16
开源 LLM 路由器与 AI 成本优化器。自动将简单的提示词路由至便宜/本地模型,复杂的路由至高级模型。支持 Claude Code、Codex、Cursor、OpenClaw 的兼容 OpenAI 代理。可节省 40-70% 的 AI API 成本。可自行搭建,无中间商。
★ 650+3近 7 天星标变化 - #17★ 547+0近 7 天星标变化