llm-evaluation

🪢 オープンソースのAIエンジニアリングプラットフォーム：LLM評価、オブザーバビリティ、メトリクス、プロンプト管理、プレイグラウンド、データセット。OpenTelemetry、LangChain、OpenAI SDK、LiteLLMなどと統合。🍊YC W23

エージェント、LLM、MLモデルのためのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームがコストを管理し、モデルとデータへのアクセスを管理しながら、本番品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにします。

プロンプト、エージェント、RAGをテスト。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャン。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言的設定。OpenAIおよびAnthropicによって使用されています。

包括的なトレーシング、自動評価、本番環境対応のダッシュボードにより、LLMアプリケーション、RAGシステム、エージェンティックワークフローをデバッグ、評価、監視できます。

LLM評価フレームワーク

AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。エージェントは意図した通りに動作しているか？iFixAiを使えば、120秒未満でこの答えを得られます。

AIの可観測性（Observability）と評価

LLMの脆弱性スキャナー

NoneLinear - ReLE評価：中国語AI大規模言語モデル能力評価（継続更新）：現在374のLLMを網羅しており、ChatGPT、GPT-5.4、Google Gemini-3.1-Pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、Qwen3.6-Max、Qwen3.6-Plus、百川、讯飞星火、商汤SenseChatなどの商用モデル、およびstep3.5-flash、Kimi-K2.6、ERNIE4.5、MiniMax-M2.7、DeepSeek-V4、Qwen3.6、Llama4、智谱GLM-5.1、MiMo-V2、LongCat、Gemma4、MistralなどのオープンソースLLMをカバーしています。ランキングを提供するだけでなく、200万を超える大規模モデルの欠陥ライブラリも提供！コミュニティがLLMの研究、分析、改善を容易にします。

🧊 オープンソースのLLMオブザーバビリティプラットフォーム。1行のコードで監視、評価、実験が可能。YC W23 🍓

Agent Scan、Skills Scan、MCP scan、AI Infra scan、LLM jailbreak評価を介してAIエコシステムを保護するフルスタックAIレッドチーミングプラットフォーム。

🐢 LLMエージェント向けのオープンソースの評価・テストライブラリ

Agent OS：エージェントが自律的に賢くなります。我々は単にラインを維持するだけです。評価コマンドと期待される結果は、渡される成功契約には決して含まれません。面接ゲート付き、段階的評価、予算化された進化ループ。MCPサーバー、13のランタイム：Claude Code、Codex CLI、Gemini CLI、OpenCode、Copilot、Kiroなど。

LLMの実践ガイド：基礎からLLMOpsのベストプラクティスを用いた高度なLLMおよびRAGアプリのAWSへのデプロイまで

AutoRAG：これでエージェントはコンピューター内のあらゆるものを検索できます。頻繁に使用するほど、より賢くなります。

テキスト、画像、ビデオ、オーディオタスクを網羅するオールインワンのマルチモーダル評価ツールキット

物語やモデルを構築するための科学的手法、プロセス、アルゴリズム、システムのコレクション。

LLM 実験および AI エージェント向けの評価と追跡フレームワーク

Laminar - AIエージェント向けに特化して構築されたオープンソースのオブザーバビリティプラットフォーム。YC S24。

詳細なロードマップ、プロジェクト、ユースケース、面接対策、コーディング対策を含む、Generative AI に関する包括的なリソース

Agentic な LLM 脆弱性スキャナー / AI レッドチーミングキット 🧪

LLM および AI エージェントアプリケーションの評価、モニタリング、改善のためのオープンソースのエンドツーエンドプラットフォーム。トレーシング、評価、シミュレーション、データセット、ゲートウェイ、ガードレールに対応。セルフホスト可能。Apache 2.0。

ノーコードで AI モデルを使用してデータセットを構築、拡張、変換

自動 LLM ファジングのための強力なツール。開発者やセキュリティ研究者が LLM API における潜在的な脱獄（ジェイルブレイク）を特定し、軽減するのに役立つよう設計されています。

Promptyを使うと、AIアプリケーション向けのLLMプロンプトの作成、管理、デバッグ、評価が簡単になります。Promptyは、開発者のための可観測性、可読性、ポータビリティを向上させるために設計された、LLMプロンプトの資産クラスおよびフォーマットです。

[JMLR 2026] 「UQLM: 大規模言語モデルの不確実性定量化のためのPythonパッケージ」

AIエージェント向けのトレースネイティブなCI/CD — 本番環境のエラーをPRをブロックする回帰テストに変換します。自動検出、クラスタリング、独立したケースへの固定、CIでのゼロコスト再実行を行います。

エージェントのための継続的改善スタック。環境データと評価機能により、エージェントの改善とモニタリングを駆動します。

レジリエントなワークフロー、根拠に基づく RAG、バージョン管理されたレポート、自動品質評価を備えた AI 株式調査エージェント。

AIエージェントの構築と評価に最適なリソース（論文、ブログ、講演、ツール、ベンチマーク）を集めた、無駄のない厳選ライブラリ。BenchFlowが保守しています。