inference

Superduper: カスタムAIアプリケーションおよびエージェントを構築するためのエンドツーエンドフレームワーク。

cube studioは、オープンソースのクラウドネイティブなオールインワン機械学習/深層学習/大規模モデルAIプラットフォームです。MLOpsのアルゴリズムリンク全工程、コンピューティングリソースレンタルプラットフォーム、ノートブックオンライン開発、ドラッグ＆ドロップによるタスクフローパイプラインオーケストレーション、マルチマシン/マルチGPU分散学習、ハイパーパラメータ探索、推論サービスVGPU仮想化、エッジコンピューティング、アノテーションプラットフォームの自動アノテーション、deepseekなどの大規模モデルのSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindieによる大規模モデルのマルチマシン推論、プライベートナレッジベース、AIモデルマーケットをサポートし、国産CPU/GPU/NPU（昇騰エコシステム）をサポート、RDMAをサポート、pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散処理をサポートします。

使いやすいPyTorchからTensorRTへのコンバーター

Transformerモデル向けの高速推論エンジン

TNN: Tencent Youtu LabとGuangying Labによって開発された、モバイル、デスクトップ、サーバー向けの統一的な深層学習推論フレームワーク。TNNは、クロスプラットフォーム対応能力、高性能、モデル圧縮、コードプルーニングなど、いくつかの優れた特徴を際立たせている。ncnnとRapidnetを基盤として、TNNはモバイルデバイス向けのサポートとパフォーマンス最適化をさらに強化している。

TypeDB: レコードではなくシステムのために構築

事前学習済みディープラーニングモデルとデモ（高品質かつ超高速）

Kubernetes上で最新のアクセラレータを使用し、最先端の推論パフォーマンスを達成

高速化されたビデオ生成のための統一された推論およびポストトレーニングフレームワーク。

CSGHubは、OpenCSGチームによって開発された全く新しいLLM管理のためのオープンソースプラットフォームです。Hugging Faceに匹敵する機能を備えたオープンソースおよびオンプレミス/SaaSソリューションを提供します。Hugging FaceとのPython SDK互換性により、LLM、データセット、エージェントのライフサイクルを完全に制御できます。ぜひご参加ください！ ⭐️

どんなモデルでも。どんなハードウェアでも。妥協なし。@ziglang / @openxla / MLIR / @bazelbuild で構築。

PaddlePaddleベースのLLMおよびVLM向け高性能推論・デプロイメントツールキット

Apple Silicon 向けの最速ローカル AI エンジン。Ollama の 4.2 倍高速、キャッシュ時 TTFT 0.08 秒、ツール呼び出し 100% 対応。17 個のツールパーサー、プロンプトキャッシュ、推論分離、クラウドローティングを搭載。OpenAI のドロップイン代替。Claude Code、Cursor、Aider と連携可能。

新卒採用、秋採用、春採用、インターンシップに最適なプロジェクト！ゼロから高性能なディープラーニング推論ライブラリの実装を学び、llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートします。

🚀 使いやすいハードウェア最適化ツールで 🤗 Transformers、Diffusers、TIMM、Sentence Transformersの推論とトレーニングを加速する

OpenVINO™向けのJupyter Notebookチュートリアル集

エージェントに必要なすべてのモデルに対応する、オープンソースの推論サーバーおよび本番用クラスター

トレーニングおよび推論のための PyTorch ネイティブ量子化

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

JavaScript で Hugging Face を利用する

Rust による ONNX モデルの高速な ML 推論およびトレーニング

cubestudioはオープンソースのクラウドネイティブなワンストップ機械学習/ディープラーニング/大規模モデルAIプラットフォーム、MaaS/mlops/AIプラットフォームであり、アルゴリズムの全プロセス、マルチテナント、計算力レンタルプラットフォーム、token中継、ドラッグ＆ドロップによるタスクフローpipelineオーケストレーション、マルチマシン・マルチカード分散トレーニング、ハイパーパラメータ探索、推論サービス、VGPU仮想化、クラウド・エッジ・デバイス協調、エッジコンピューティング、自動アノテーションプラットフォーム、deepseekなどの大規模モデルSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindie大規模モデルマルチマシン推論、プライベートナレッジベースllmopsエージェント、AIモデルマーケットプレイスを提供し、国産の異構計算力スケジューリング（昇騰、寒武紀、海光、摩尔、沐曦など）やib/roce/RDMA、信創に対応しています。

モバイル、サーバー、Web向けの効率的な浮動小数点ニューラルネットワーク推論演算子

あらゆるコンピューターやエッジデバイスを、コンピュータビジョンプロジェクトのコマンドセンターに変える

応用 AI を一つずつマスターする

クラウド、Kubernetes、ベアメタル上で、NVIDIA、AMD、TPU、Tenstorrent に跨るトレーニング、推論、エージェントワークロード向けのベンダーニュートラルなオーケストレーション。

単一のインターフェースを使用してLLMプロバイダーと通信する

純粋な 🔥 の1ファイルでLlama 2を推論

DeepSpeed を活用し、低レイテンシかつ高スループットな推論を実現する MII

AICI: プロンプトとしての（Wasm）プログラム