evaluation

🪢 オープンソースのAIエンジニアリングプラットフォーム：LLM評価、オブザーバビリティ、メトリクス、プロンプト管理、プレイグラウンド、データセット。OpenTelemetry、LangChain、OpenAI SDK、LiteLLMなどと統合。🍊YC W23

エージェント、LLM、MLモデルのためのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームがコストを管理し、モデルとデータへのアクセスを管理しながら、本番品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにします。

プロンプト、エージェント、RAGをテスト。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャン。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言的設定。OpenAIおよびAnthropicによって使用されています。

包括的なトレーシング、自動評価、本番環境対応のダッシュボードにより、LLMアプリケーション、RAGシステム、エージェンティックワークフローをデバッグ、評価、監視できます。

オープンソースのLLMナレッジプラットフォーム：生のドキュメントを検索可能なRAG、自律的な推論エージェント、自己維持型のWikiに変換します。

LLMアプリケーション評価を強力に推進 🚀

Qwen、Gemma、または任意のオープンウェイトLLMを簡単にファインチューニング、評価、デプロイ可能！

OpenCompassはLLM評価プラットフォームであり、100以上のデータセットで幅広いモデル（Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claudeなど）をサポートしています。

🧊 オープンソースのLLMオブザーバビリティプラットフォーム。1行のコードで監視、評価、実験が可能。YC W23 🍓

次世代AIエージェント最適化プラットフォーム：Cozeloopは、開発、デバッグ、評価から監視に至るまでのライフサイクル全体管理機能を提供することで、AIエージェント開発の課題に対処します。

AutoRAG：これでエージェントはコンピューター内のあらゆるものを検索できます。頻繁に使用するほど、より賢くなります。

AIシステムの構築、評価、最適化。evals、RAG、エージェント、ファインチューニング、合成データ生成、データセット管理、MCPなどを含む。

テキスト、画像、ビデオ、オーディオタスクを網羅するオールインワンのマルチモーダル評価ツールキット

大規模マルチモーダルモデル (LMMs) のオープンソース評価ツールキット。220以上のLMM、80以上のベンチマークをサポート。

オドメトリとSLAMの評価のためのPythonパッケージ。

LLM 評価および AI エージェントテスト用プラットフォーム

MTEB：言語およびモダリティを横断した埋め込みの最先端評価

効率的な大規模モデル（LLM、VLM、AIGC）の評価とパフォーマンスベンチマークのための、効率的でカスタマイズ可能なフレームワーク。

SuperCLUE: 中国語汎用大規模モデルの総合ベンチマーク

Laminar - AIエージェント向けに特化して構築されたオープンソースのオブザーバビリティプラットフォーム。YC S24。

Klipse は、技術ブログにインタラクティブなコードスニペットを埋め込むための JavaScript プラグインです。

LLMプロンプトの耐久テストを行うためのオープンソースのビジュアルプログラミング環境。

YAO = Yielding AI Outcomes。再利用可能なエージェントスキルのための、厳密なエンジニアリング、評価、ガバナンス、およびポータビリティシステム。

Lighteval は、複数のバックエンドで LLM を評価するためのオールインワンツールキットです。

🤗 Evaluate: 機械学習モデルとデータセットを簡単に評価するためのライブラリ

UpTrainは、生成AIアプリケーションを評価および改善するためのオープンソースの統合プラットフォームです。20種類以上の事前設定されたチェック（言語、コード、埋め込みのユースケースをカバー）の評価を提供し、失敗事例の根本原因分析を行い、その解決方法についてのインサイトを提供します。

GraphRAG、LightRAG、Neo4j-llm-graph-builderを統合して知識グラフの構築と検索を行い、DeepSearch技術を組み込んでプライベートRAGの推論を実現するシステム。GraphRAG向けの独自の評価フレームワークも備えています。

Fable Workflow：Claude Fable 5の仕組みを、あらゆるモデルが実行できるスキルへと昇華させ、その正確性を保つ評価機能を備えたもの。思考・実行・検証のプロセス。

MCP サーバー、MCP アプリ、ChatGPT アプリのチャット、検査、デバッグを行うためのテスト・評価プラットフォーム。

📰 LLM ベースの長文脈モデリングに関する必読論文とブログ 🔥