moe

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

100以上のLLMおよびVLMの統一的効率的なファインチューニング (ACL 2024)

SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高性能サービングフレームワークです。

PEFTまたはFull-parameterを使用して、600以上のLLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) および300以上のMLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) に適用する (AAAI 2025)。

TensorRT LLMは、ユーザーがLarge Language Models (LLMs) を定義するための使いやすいPython APIを提供し、NVIDIA GPU上で推論を効率的に実行するための最先端の最適化をサポートします。TensorRT LLMには、推論実行を高性能にオーケストレーションするためのPythonおよびC++ランタイムを作成するコンポーネントも含まれています。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

2.78兆パラメータのKimi K3を単一CPU上で8.24 GBのRAMで推論実行。ポータブルC99: BLAS、フレームワーク、GPUなし。

FlashInfer: LLMサービングのためのカーネルライブラリ

:electron: AndroidおよびiOS向けの非公式なUIファーストアプリクライアント。React Nativeで構築されています。広告がなく、趣味主導で、収益目的ではない、ACGに特化したDoubanライクな視聴記録機能を持つbgm.tvのサードパーティクライアント。モバイル向けに再設計され、ウェブ版では実現が難しい多くの強化機能を内蔵しており、相当なカスタマイズオプションを提供します。現在、iOS/Androidに対応しています。

GLM-4.5: エージェンティック、推論、コーディング（ARC）基盤モデル

大規模視覚言語モデルのための Mixture-of-Experts

MoBA: 長コンテキストLLMのためのMixture of Block Attention

UCCLはGPU向けの効率的な通信ライブラリであり、集合通信、P2P（KVキャッシュ転送、RLウェイト転送など）、EP（GPU駆動など）をカバーします。

Noam Shazeer らによる論文「The Sparsely-Gated Mixture-of-Experts Layer」の PyTorch による再実装（https://arxiv.org/abs/1701.06538）

Tutel MoE: 最適化された Mixture-of-Experts ライブラリ。FP8/NVFP4/MXFP4 を使用して GptOss/DeepSeek/Kimi-K2/Qwen3 をサポート

⛷️ LLaMA-MoE: 継続事前学習によるLLaMAからのMixture-of-Expertsの構築 (EMNLP 2024)

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。

Adan: 深層学習モデルの高速化を実現する適応型Nesterovモメンタムアルゴリズム

DeepSeek-V3/R1 671B のフルパラメータ微調整のためのオープンソースソリューション。トレーニングから推論までの完全なコードとスクリプトに加え、実践で得られた経験と結論が含まれています。

⚡ Apple Silicon向けのネイティブなMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けのSSDストリーミング、TurboQuant KVキャッシュ圧縮、macOSおよびiOS iPhoneアプリを搭載。

[CVPR2026]🚀🚀🚀 論文「YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection」の公式コード *(YOLO = You Only Look Once)* 🔥🔥🔥

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

中国語Mixtral混合専門家大規模言語モデル（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp