llm-gateway

Không bao giờ ngừng lập trình. Cổng AI MIT miễn phí: một điểm cuối, 350 nhà cung cấp (hơn 90 miễn phí), hơn 1200 mô hình gồm Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Tương thích với Claude Code, Codex, Cursor, OpenCode, Cline và Copilot. Tự động chuyển đổi thông minh khi hết hạn ngạch, nén RTK+Caveman tiết kiệm 15-95% token, hỗ trợ MCP/A2A, Desktop/PWA. Được xây dựng bởi hơn 450 cộng tác viên

AI Gateway nhanh nhất và nhẹ nhất. Lõi Rust với SDK Python. Gọi hơn 100 API LLM theo định dạng OpenAI (hoặc nguyên bản) với tính năng theo dõi chi phí, bộ lọc an toàn, cân bằng tải và ghi log

🦍 Cổng API và AI Gateway

Coding AI MIỄN PHÍ không giới hạn. Kết nối Claude Code, Codex, Cursor, Cline, Copilot, Antigravity với Claude/GPT/Gemini MIỄN PHÍ qua hơn 40 nhà cung cấp. Tự động chuyển đổi dự phòng, tiết kiệm 40% token RTK, không bao giờ chạm giới hạn.

AI Gateway cực nhanh với các bộ lọc an toàn tích hợp. Định tuyến tới hơn 1.600 LLM, hơn 50 AI Guardrails chỉ với 1 API nhanh chóng và thân thiện.

🚀 Giải pháp AI một điểm dừng đa khách thuê (multi-tenant) thế hệ mới. Tích hợp hệ thống quản trị & thanh toán. Cổng LLM hợp nhất cấp doanh nghiệp hỗ trợ hơn 200 mô hình và hơn 35 nhà cung cấp, cân bằng tải với định tuyến dựa trên mức độ ưu tiên, quản lý chi phí, chia sẻ đoạn chat, đồng bộ đám mây, thanh toán theo hạn mức/gói đăng ký, phân tích mọi loại tệp, tìm kiếm web, bộ nhớ đệm mô hình tích hợp sẵn.

Cổng AI doanh nghiệp nhanh nhất (nhanh hơn 50 lần so với LiteLLM) với bộ cân bằng tải thích ứng, chế độ cụm, tính năng bảo vệ, hỗ trợ hơn 1000 mô hình & độ trễ <100 µs ở mức 5k RPS.

Plano là một máy chủ proxy gốc AI và data plane cho các ứng dụng agent. Định tuyến LLM thông minh, khả năng quan sát, điều phối agent và cơ chế bảo vệ giúp bạn tập trung vào logic cốt lõi của agent.

AI proxy đa kênh với tính năng xoay vòng khóa thông minh.

Một Hub tổng hợp tất cả LLM dành cho bạn

Cổng AI & API cloud-native hiệu năng cực cao, quản lý API LLM, hệ thống phân phối, nền tảng mở, hỗ trợ tất cả các API AI. Không giới hạn ở OpenAI, Azure, Anthropic Claude, Google Gemini, DeepSeek, ByteDance Doubao, ChatGLM, Ernie Bot, iFlytek Spark, Tongyi Qianwen, 360 Brain, Tencent Hunyuan và các mô hình phổ biến khác. Hỗ trợ thống nhất yêu cầu và phản hồi API, đăng ký và phê duyệt API, thống kê cuộc gọi, cân bằng tải, dự phòng đa mô hình. Triển khai một cú nhấp chuột, sẵn sàng sử dụng ngay.

Định tuyến, quản lý và phân tích các yêu cầu LLM của bạn trên nhiều nhà cung cấp với một giao diện API thống nhất.

Gateway nén không mất dữ liệu dành cho các AI coding agent. Giảm chi phí token từ 25% ở lượt đầu tiên đến hơn 85% trong các phiên làm việc dài hoặc bão hòa, đồng thời chứa thêm khoảng 3 lần số lượt trao đổi trong cùng một ngữ cảnh (context window). Được vận hành bởi mô hình 4B mã nguồn mở tối ưu cho code. Thay thế dễ dàng cho Claude Code, Cursor, Codex, OpenHands và bất kỳ agent BASE_URL nào.

AI gateway / AI control plane / AI proxy viết bằng Go. Cung cấp API thống nhất tương thích với OpenAI và Anthropic cho OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM và nhiều nền tảng khác. Một giải pháp thay thế LiteLLM với khả năng quan sát, guardrails, streaming, theo dõi chi phí, định tuyến thông minh, sticky sessions, failover, nhật ký thời gian thực và theo dõi sử dụng. Sẵn sàng cho môi trường sản xuất.

Gỡ lỗi các tác nhân AI của bạn

Bộ định tuyến LLM mã nguồn mở và trình tối ưu hóa chi phí AI. Tự động định tuyến các câu lệnh đơn giản đến các model rẻ/cục bộ và các câu lệnh phức tạp đến các model cao cấp. Proxy tương thích với OpenAI cho Claude Code, Codex, Cursor, OpenClaw. Tiết kiệm 40-70% chi phí API AI. Tự lưu trữ, không qua trung gian

Tối ưu hóa quy trình làm việc với Lynkr, một công cụ CLI đóng vai trò là proxy HTTP để tương tác mã nguồn hiệu quả thông qua Claude Code CLI.