evals

MastraはAIを活用したアプリケーションおよびエージェントのためのモダンなTypeScriptフレームワークである。

AIの可観測性（Observability）と評価

AIエージェントの監視、LLMコスト追跡、ベンチマークなどを行うためのPython SDK。CrewAI、Agno、OpenAI Agents SDK、Langchain、Autogen、AG2、CamelAIなど、ほとんどのLLMおよびエージェントフレームワークと統合可能です。

AIシステムの構築、評価、最適化。evals、RAG、エージェント、ファインチューニング、合成データ生成、データセット管理、MCPなどを含む。

エージェントを評価・改善するためのフレームワーク

本番環境のLLMおよびエージェントシステム向けAIオブザーバビリティプラットフォーム。

LLM 実験および AI エージェント向けの評価と追跡フレームワーク

Laminar - AIエージェント向けに特化して構築されたオープンソースのオブザーバビリティプラットフォーム。YC S24。

本番環境のAIシステムと評価（evals）を構築するエンジニアのためのAIシステム設計ガイド

あらゆるワークフローを再利用可能なAIエージェントスキルに変換し、Claude Code、Copilot、Cursor、Windsurf、Codex、Gemini、Kiroなど17のプラットフォームにインストール。1つのSKILL.mdであらゆるプラットフォームに対応。

MCP サーバー、MCP アプリ、ChatGPT アプリのチャット、検査、デバッグを行うためのテスト・評価プラットフォーム。

AIエージェントハーネスの可観測性とエンフォースメント。ポリシーエンフォースメントにより、すべての実行とランタイムの信頼性をキャプチャします。40の組み込みポリシー、ローカルダッシュボードを備え、アカウント不要で手厚い無料クラウドプランを利用できます。

TypeScript を使用して LLM 駆動型アプリを評価する。

Waku Waku! Waku Agent は、ループ、メモリ、評価をすべてコード内に含み、成長しても読みやすく維持される、自分で完全所有するローカルファーストの AI エージェントハーネスです。

評価とモニタリング機能が組み込まれた、本番環境対応のオープンソースカスタマーサービス

🥤 RAGLiteは、DuckDBまたはPostgreSQLを使用したRetrieval-Augmented Generation（RAG）のためのPythonツールキットです。

AIエージェント向けのトレースネイティブなCI/CD — 本番環境のエラーをPRをブロックする回帰テストに変換します。自動検出、クラスタリング、独立したケースへの固定、CIでのゼロコスト再実行を行います。

エージェント型システムを構築し、確実に実行します。エージェントのオーケストレーション、ビジネスプロセスの自動化、全実行の検査、人間による制御の維持を実現します。Heym を独自のインフラストラクチャにデプロイできます。

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

スキルが動作することを証明するスキル作成ツール。Claude Code および Codex 向けの根拠駆動型スキル作成機能：ベースラインテスト済み生成、スキルごとの回帰評価、エコシステムチェッカー、クロスランタイムコンパイル、オプトイン式のプロアクティブアドバイザー。

AIエージェントの構築と評価に最適なリソース（論文、ブログ、講演、ツール、ベンチマーク）を集めた、無駄のない厳選ライブラリ。BenchFlowが保守しています。

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.