llmops

RAG、AIパイプライン、エンタープライズ検索用のライブデータ対応クラウドテンプレート。🐳Dockerフレンドリー。⚡Sharepoint、Google Drive、S3、Kafka、PostgreSQL、リアルタイムデータAPIなどと常に同期。

最速かつ最軽量のAIゲートウェイ。RustコアとPython SDKを搭載。コスト追跡、ガードレール、ロードバランシング、ロギングを備え、100以上のLLM APIをOpenAI（またはネイティブ）形式で呼び出し可能 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

🪢 オープンソースのAIエンジニアリングプラットフォーム：LLM評価、オブザーバビリティ、メトリクス、プロンプト管理、プレイグラウンド、データセット。OpenTelemetry、LangChain、OpenAI SDK、LiteLLMなどと統合。🍊YC W23

Composioは、1000以上のツールキット、ツール検索、コンテキスト管理、認証、およびサンドボックス化されたワークベンチを強化し、意図を行動に変える AI エージェントの構築を支援します。

エージェント、LLM、MLモデルのためのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームがコストを管理し、モデルとデータへのアクセスを管理しながら、本番品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにします。

本プロジェクトは、大規模モデル関連の技術原理および実戦経験（大規模モデルのエンジニアリング、大規模モデルのアプリケーション実装）を共有することを目的としています。

プロンプト、エージェント、RAGをテスト。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャン。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言的設定。OpenAIおよびAnthropicによって使用されています。

☁️ クラウドネイティブスタックでマルチモーダルAIアプリケーションを構築。

包括的なトレーシング、自動評価、本番環境対応のダッシュボードにより、LLMアプリケーション、RAGシステム、エージェンティックワークフローをデバッグ、評価、監視できます。

<⚡️> SuperAGI - 開発者ファーストのオープンソース自律型AIエージェントフレームワーク。開発者が有用な自律型エージェントを迅速かつ確実に構築、管理、実行できるようにする。

Agent AIのオブザーバビリティ、モニタリング、評価のためのPython SDK。エージェント、LLM、ツールトレーシング、マルチエージェントシステムのデバッグ、セルフホスト型ダッシュボード、タイムラインおよび実行グラフビューによる高度な分析機能が含まれます。

LLMアプリケーション評価を強力に推進 🚀

統合されたガードレールを備えた超高速AIゲートウェイ。1つの高速で使いやすいAPIを通じて、1,600以上のLLMと50以上のAIガードレールにルーティングします。

DeepSeekやLlamaなどのオープンソースLLMを、クラウド上でOpenAI互換のAPIエンドポイントとして実行できます。

BISHENGは次世代のエンタープライズAIアプリケーション向けのオープンLLM DevOpsプラットフォームです。強力で包括的な機能には、GenAIワークフロー、RAG、Agent、統合モデル管理、評価、SFT、データセット管理、エンタープライズレベルのシステム管理、オブザーバビリティなどが含まれます。

AIの可観測性（Observability）と評価

AI/ML システムの構築、管理、デプロイ

AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築！

⚙️🦀 Rustでモジュール化されスケーラブルなLLMアプリケーションを構築

EvidentlyはオープンソースのMLおよびLLMオブザーバビリティフレームワークです。表形式データからGen AIまで、あらゆるAI駆動システムやデータパイプラインを評価、テスト、監視できます。100以上のメトリクスを提供。

適応型ロードバランサー、クラスターモード、ガードレールを備えた最速のエンタープライズAIゲートウェイ（LiteLLM比50倍高速）。5k RPSで<100 µsのオーバーヘッド。

OpenTelemetryベースの、GenAIまたはLLMアプリケーション向けのオープンソースオブザーバビリティ。

Planoは、エージェンティックアプリのためのAIネイティブなプロキシサーバーおよびデータプレーンです。スマートなLLMルーティング、オブザーバビリティ、エージェントオーケストレーション、ガードレールを提供し、エージェントのコアロジックに集中できます。

ClearML - AIワークロードを効率化する自動的なCI/CD。実験管理、データ管理、パイプライン、オーケストレーション、スケジューリング＆サービングを単一のMLOps/LLMOpsソリューションで提供。

AIエージェントを数ヶ月ではなく数分でGoogle Cloudへ展開。組み込みのCI/CD、評価、オブザーバビリティを備えた本番環境対応テンプレート。

🧊 オープンソースのLLMオブザーバビリティプラットフォーム。1行のコードで監視、評価、実験が可能。YC W23 🍓

開発者向け最高のLLMOpsツールの素晴らしいキュレーション済みリスト

🐢 LLMエージェント向けのオープンソースの評価・テストライブラリ

次世代AIエージェント最適化プラットフォーム：Cozeloopは、開発、デバッグ、評価から監視に至るまでのライフサイクル全体管理機能を提供することで、AIエージェント開発の課題に対処します。

ZenML 🙏: パイプラインからエージェントまでを網羅する単一のAIプラットフォーム。https://zenml.io.