llmops

即用型云模板，支持 RAG、AI 流程与企业搜索实时数据。🐳兼容 Docker。⚡持续与 Sharepoint、Google Drive、S3、Kafka、PostgreSQL、实时数据 API 等同步。

最快、最轻量的 AI 网关。Rust 核心配合 Python SDK。以 OpenAI（或原生）格式调用超过 100 种 LLM API，具成本追踪、保护机制、负载均衡与日志功能 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]

🪢 开源 AI 工程平台：LLM 评估、可观测性、指标、提示管理、游乐场、数据集。整合 OpenTelemetry、LangChain、OpenAI SDK、LiteLLM 等。🍊YC W23

Composio 提供 1000+ 工具套件、工具搜索、上下文管理、认证与沙盒工作台，帮助构建将意图转化为行动的 AI 代理。

开源 AI 工程平台，支持代理、LLM 与机器学习模型。MLflow 使各种规模的团队能够调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型和数据的访问。

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

测试你的提示、代理与检索增强生成，进行 AI 红队/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等表现。使用简洁声明式配置，支持命令行与 CI/CD 集成。OpenAI 与 Anthropic 均有使用。

☁️ 使用云原生堆栈构建多模态 AI 应用

调试、评估和监控您的 LLM 应用、RAG 系统与代理工作流，提供完整追踪、自动评估和可投入生产的仪表板。

<⚡️> SuperAGI - 以开发者为先的开源自主 AI 代理框架。让开发者快速且可靠地构建、管理与运行实用的自主代理。

Agent AI 可观测性、监控与评估框架的 Python SDK。功能包括代理、LLM 与工具追踪、调试多代理系统、自托管仪表板以及具时间线与执行图视图的高级分析

为你的 LLM 应用评估加速 🚀

高速 AI 网关，内置安全防护。支持 1,600 多种大型语言模型和 50 多项 AI 防护，提供快速友好的 API

在云端将任何开源 LLM（如 DeepSeek、Llama）作为兼容 OpenAI 的 API 端点运行。

BISHENG 是一个开源 LLM DevOps 平台，支持下一代企业 AI 应用。功能包括：GenAI 工作流、RAG、Agent、统一模型管理、评估、SFT、数据集管理、企业级系统管理、可观测性等。

AI 可观测性与评估

构建、管理与部署 AI/ML 系统

最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等

⚙️🦀 用 Rust 构建模块化且可扩展的 LLM 应用程序

Evidently 是一个开源 ML 与 LLM 可观测性框架。评估、测试并监控任何 AI 驱动的系统或数据管道。来自表格数据到 Gen AI。100+ 指标。

最快的企业级 AI 网关（比 LiteLLM 快 50 倍），具备自适应负载均衡、集群模式、守护栏、支持 1000+ 模型，且在 5k RPS 时的额外延迟低于 100 µs。

为你的 GenAI 或 LLM 应用提供开源可观测性，基于 OpenTelemetry

Plano 是一个 AI 原生代理服务器与数据平面，为代理应用提供智能 LLM 路由、可观测性、代理编排与安全防护，让你专注于核心逻辑

ClearML - 自动化 CI/CD，简化 AI 工作负载。提供实验管理、数据管理、流水线、编排、调度与服务，一站式 MLOps/LLMOps 解决方案

将 AI 代理部署到 Google Cloud，只需数分钟，而非数月。提供内建 CI/CD、评估与可观测性的即用模板

🧊 开源 LLM 可观测平台，一行代码即可监控、评估与实验

一份优质且精心挑选的 LLMOps 工具清单，供开发者参考

🐢 开源的 LLM 代理评估与测试库

下一代 AI 代理优化平台：Cozeloop 提供从开发、调试、评估到监控的全生命周期管理，解决 AI 代理开发挑战。

ZenML：从管道到代理的一站式 AI 平台 https://zenml.io