llmops

Superduper：端到端框架，用于构建自定义 AI 应用与代理

LLM 实务指南：从基础到在 AWS 上部署先进 LLM 与 RAG 应用，采用 LLMOps 最佳实践

cube studio 开源云原生一站式机器学习/深度学习/大模型 AI 平台，mlops 算法链路全流程，算力租赁平台，notebook 在线开发，拖拉拽任务流 pipeline 编排，多机多卡分布式训练，超参数搜索，推理服务 VGPU 虚拟化，边缘计算，标注平台自动化标注，deepseek 等大模型 sft 微调/奖励模型/强化学习训练，vllm/ollama/mindie 大模型多机推理，私有知识库，AI 模型市场，支持国产 CPU/GPU/NPU 昇腾生态，支持 RDMA，支持 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

通过单个 YAML 微调 LLM。层流训练可在 4 GB 笔记本 GPU 上运行 8B 模型。

🤖 𝗟𝗲𝗮𝗿𝗻 for 𝗳𝗿𝗲𝗲 how to 𝗯𝘂𝗶𝗹𝗱 an end-to-end 𝗽𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻-𝗿𝗲𝗮𝗱𝘆 𝗟𝗟𝗠 & 𝗥𝗔𝗚 𝘀𝘆𝘀𝘁𝗲𝗺 using 𝗟𝗟𝗠𝗢𝗽𝘀 best practices: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘩𝘢𝘯𝘥𝘴-𝘰𝘯 𝘭𝘦𝘴𝘴𝘰𝘯𝘴

可扩展至数千个微调LLM的Multi-LoRA推理服务器

代理技能作为记忆层

LLM 实验与 AI 代理的评估与追踪

LLM 评估与 AI 代理测试的平台

🕹️ 开源、开发者优先的 LLMOps 平台，旨在简化提示词设计、版本管理、即时交付、协作、疑难排解、可观测性等。

Laminar - 专为 AI agent 打造的开源可观测性平台。YC S24。

AGiXT 是一个动态 AI Agent 自动化平台，可跨多个 AI 提供商无缝协调指令管理与复杂任务执行。结合自适应记忆、智能功能与多功能插件系统，AGiXT 提供高效且全面的 AI 解决方案。

学习使用 LLM、代理、RAG、微调、LLMOps 与 AI 系统技术构建你的第二大脑 AI 助手

一个开源的可视化程序设计环境，用于对 LLM 进行对战测试提示。

将昂贵的提示词转化为廉价的微调模型

社区维护的 vLLM on Ascend 硬件插件

AI 工程开源平台：原生支持 OpenTelemetry 的 LLM 可观测性、GPU 监控、护栏（Guardrails）、评估、提示词管理、保险箱（Vault）、游乐场（Playground）。🚀💻 集成超过 50 种 LLM 提供商、向量数据库（VectorDB）、Agent 框架与 GPU。

Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流，并编码血缘/追踪与元数据。可在任何 Python 执行的环境中执行与扩展。

构建能做决定的应用程序（聊天机器人、agent、模拟等）。在您自己的基础设施上进行监控、追踪、持久化与执行。

cubestudio 开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台，算法全链路流程，多租户，算力租赁平台，token中转，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等，支持ib/roce/RDMA，信创支持

UpTrain 是一个开源的统一平台，用于评估和改善生成式 AI 应用程序。我们提供 20 多项预先配置检查的评分（涵盖语言、代码、嵌入使用案例），对失败案例执行根本原因分析，并提供如何解决这些问题的见解。

Bionic 是企业专属的自主 AI——可在本地运行的类 ChatGPT AI，能安全地处理您的敏感数据和系统。

🤖 来自未来的自我修改框架 🔮 世界首创的 AMS

无代码多 Agent 框架，利用您的数据构建 LLM Agent、工作流和应用程序

🏕️ 适用于人类与 agents 的可复现开发环境

统一的 MCP 服务器管理应用程序 (MCP Manager)。

AICI：将提示词作为 (Wasm) 程序

开源的端到端平台，用于评估、观察与改进 LLM 及 AI agent 应用程序。包含追踪、评估、模拟、数据集、网关、安全护栏。支持自行架设。采用 Apache 2.0 授权。

在 Postgres 中可扩展、快速且对磁盘友好的向量搜索，pgvecto.rs 的后继者。

开源的 LLM/VLM 负载均衡与服务平台，可用于大规模自托管 LLM（与 VLM）🏓🦙。为 llm-d、Docker Model Runner 等项目的替代方案，但组件更少、部署更简单，并围绕 ggml 生态系统构建。支持 CPU 与 GPU 运行。