evaluation-framework

プロンプト、エージェント、RAGをテスト。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャン。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言的設定。OpenAIおよびAnthropicによって使用されています。

LLM評価フレームワーク

言語モデルのFew-shot評価のためのフレームワーク。

AIシステムの構築、評価、最適化。evals、RAG、エージェント、ファインチューニング、合成データ生成、データセット管理、MCPなどを含む。

Lighteval は、複数のバックエンドで LLM を評価するためのオールインワンツールキットです。

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: AI の最先端技術の評価

LLM および AI エージェントアプリケーションの評価、モニタリング、改善のためのオープンソースのエンドツーエンドプラットフォーム。トレーシング、評価、シミュレーション、データセット、ゲートウェイ、ガードレールに対応。セルフホスト可能。Apache 2.0。

AI エージェントのための決定版ガイドリポジトリ

AgentLab: 多様なタスクでWebエージェントの開発、テスト、ベンチマークを行うためのオープンソースフレームワーク。スケーラビリティと再現性を重視して設計されています。

LLMを活用したアプリケーション向けのデータ駆動型評価