agentops

エージェント、LLM、MLモデルのためのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームがコストを管理し、モデルとデータへのアクセスを管理しながら、本番品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにします。

AIエージェントの監視、LLMコスト追跡、ベンチマークなどを行うためのPython SDK。CrewAI、Agno、OpenAI Agents SDK、Langchain、Autogen、AG2、CamelAIなど、ほとんどのLLMおよびエージェントフレームワークと統合可能です。

次世代AIエージェント最適化プラットフォーム：Cozeloopは、開発、デバッグ、評価から監視に至るまでのライフサイクル全体管理機能を提供することで、AIエージェント開発の課題に対処します。

ZenML 🙏: パイプラインからエージェントまでを網羅する単一のAIプラットフォーム。https://zenml.io.

LLM 実験および AI エージェント向けの評価と追跡フレームワーク

自律型AIエージェントの作成、監視、デバッグ、デプロイのためのSDK、フレームワーク、ライブラリ、ツールのデータベース