llmops

Superduper: カスタムAIアプリケーションおよびエージェントを構築するためのエンドツーエンドフレームワーク。

LLMの実践ガイド：基礎からLLMOpsのベストプラクティスを用いた高度なLLMおよびRAGアプリのAWSへのデプロイまで

cube studioは、オープンソースのクラウドネイティブなオールインワン機械学習/深層学習/大規模モデルAIプラットフォームです。MLOpsのアルゴリズムリンク全工程、コンピューティングリソースレンタルプラットフォーム、ノートブックオンライン開発、ドラッグ＆ドロップによるタスクフローパイプラインオーケストレーション、マルチマシン/マルチGPU分散学習、ハイパーパラメータ探索、推論サービスVGPU仮想化、エッジコンピューティング、アノテーションプラットフォームの自動アノテーション、deepseekなどの大規模モデルのSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindieによる大規模モデルのマルチマシン推論、プライベートナレッジベース、AIモデルマーケットをサポートし、国産CPU/GPU/NPU（昇騰エコシステム）をサポート、RDMAをサポート、pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散処理をサポートします。

1つのYAMLファイルからLLMをファインチューニング。レイヤーストリーミングにより、4 GBのラップトップGPUで8Bモデルを学習可能。

🤖 LLMOpsのベストプラクティスを使用して、エンドツーエンドのプロダクションレディなLLM & RAGシステムを無料で構築する方法を学習：ソースコード + 12回のハンズオンレッスン

数千のファインチューニングされたLLMに対応するマルチLoRA推論サーバー。

メモリ層としてのエージェントスキル

LLM 実験および AI エージェント向けの評価と追跡フレームワーク

LLM 評価および AI エージェントテスト用プラットフォーム

🕹️ プロンプトの設計、バージョン管理、即時配信、コラボレーション、トラブルシューティング、オブザーバビリティなどを効率化するために設計された、オープンソースで開発者ファーストな LLMOps プラットフォーム。

Laminar - AIエージェント向けに特化して構築されたオープンソースのオブザーバビリティプラットフォーム。YC S24。

AGiXT は、多様な AI プロバイダーにわたる指示管理と複雑なタスク実行をシームレスにオーケストレーションする、動的な AI Agent 自動化プラットフォームです。適応型メモリ、スマート機能、汎用性の高いプラグインシステムを組み合わせることで、効率的で包括的な AI ソリューションを提供します。

LLM、エージェント、RAG、ファインチューニング、LLMOps、AIシステム技術を活用して「セカンドブレイン」AIアシスタントの構築を学ぶ。

LLMプロンプトの耐久テストを行うためのオープンソースのビジュアルプログラミング環境。

高価なプロンプトを安価なファインチューニング済みモデルに変換する

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

AIエンジニアリングのためのオープンソースプラットフォーム：OpenTelemetryネイティブのLLMオブザーバビリティ、GPU監視、ガードレール、評価、プロンプト管理、Vault、プレイグラウンド。 🚀💻 50以上のLLMプロバイダー、VectorDB、エージェントフレームワーク、GPUと統合。

Apache Hamiltonは、データサイエンティストやエンジニアが、テスト可能でモジュール式かつ自己文書化されたデータフローを定義するのを支援します。データ系統やメタデータを含み、Pythonが動作するすべての環境で実行・スケールします。

意思決定を行うアプリケーション（チャットボット、エージェント、シミュレーションなど）を構築します。独自のインフラストラクチャ上で、監視、トレース、永続化、実行を行います。

cubestudioはオープンソースのクラウドネイティブなワンストップ機械学習/ディープラーニング/大規模モデルAIプラットフォーム、MaaS/mlops/AIプラットフォームであり、アルゴリズムの全プロセス、マルチテナント、計算力レンタルプラットフォーム、token中継、ドラッグ＆ドロップによるタスクフローpipelineオーケストレーション、マルチマシン・マルチカード分散トレーニング、ハイパーパラメータ探索、推論サービス、VGPU仮想化、クラウド・エッジ・デバイス協調、エッジコンピューティング、自動アノテーションプラットフォーム、deepseekなどの大規模モデルSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindie大規模モデルマルチマシン推論、プライベートナレッジベースllmopsエージェント、AIモデルマーケットプレイスを提供し、国産の異構計算力スケジューリング（昇騰、寒武紀、海光、摩尔、沐曦など）やib/roce/RDMA、信創に対応しています。

UpTrainは、生成AIアプリケーションを評価および改善するためのオープンソースの統合プラットフォームです。20種類以上の事前設定されたチェック（言語、コード、埋め込みのユースケースをカバー）の評価を提供し、失敗事例の根本原因分析を行い、その解決方法についてのインサイトを提供します。

Bionicは企業向けのソブリンAIです。オンプレミスで実行され、機密データやシステムと安全に連携できるChatGPTのようなAIです。

🤖 未来からの自己書き換えフレームワーク 🔮 世界初のAMS

自身のデータを使用して LLM エージェント、ワークフロー、アプリケーションを構築するためのノーコードマルチエージェントフレームワーク

🏕️ 人間とエージェントのための再現可能な開発環境

統合型MCPサーバー管理アプリ（MCP Manager）

AICI: プロンプトとしての（Wasm）プログラム

LLM および AI エージェントアプリケーションの評価、モニタリング、改善のためのオープンソースのエンドツーエンドプラットフォーム。トレーシング、評価、シミュレーション、データセット、ゲートウェイ、ガードレールに対応。セルフホスト可能。Apache 2.0。

Postgres向けの拡張可能で高速、ディスク効率の良いベクトル検索（pgvecto.rsの後継）

大規模なLLM（およびVLM）のセルフホストに向けたオープンソースのLLM/VLMロードバランサーおよびサービングプラットフォーム🏓🦙 llm-dやDocker Model Runnerなどの代替プロジェクトで、より少ない構成要素とggmlエコシステムを基盤としたシンプルなデプロイメントを実現。CPUおよびGPUで動作します。