mixture-of-experts

DeepSpeedは、分散学習と推論を容易に、効率的かつ効果的に行うための深層学習最適化ライブラリです。

2.78兆パラメータのKimi K3を単一CPU上で8.24 GBのRAMで推論実行。ポータブルC99: BLAS、フレームワーク、GPUなし。

LLMの推論プロキシの最適化

PyTorch による分散型ディープラーニング。世界中の何千人ものボランティアのデバイスでモデルを訓練できるように構築されています。

Google Colab や一般のデスクトップで Mixtral-8x7B モデルを実行する

大規模視覚言語モデルのための Mixture-of-Experts

Noam Shazeer らによる論文「The Sparsely-Gated Mixture-of-Experts Layer」の PyTorch による再実装（https://arxiv.org/abs/1701.06538）

オープンマルチモーダルネイティブMoE「Aria」のコードベース

Tutel MoE: 最適化された Mixture-of-Experts ライブラリ。FP8/NVFP4/MXFP4 を使用して GptOss/DeepSeek/Kimi-K2/Qwen3 をサポート

⛷️ LLaMA-MoE: 継続事前学習によるLLaMAからのMixture-of-Expertsの構築 (EMNLP 2024)

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。

SMT: サロゲートモデリングツールボックス

Andrej Karpathy の makemore にインスパイアされた、スパース Mixture of Experts 言語モデルのスクラッチ実装 :)

Swiftletは、ストレージから専門家ウェイトをストリーミングすることで、Apple製デバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行するSwiftおよびMetalランタイムです。iPhoneを含む低RAM環境でも35Bおよび80Bモデルの実行を可能にします。

中国語Mixtral混合専門家大規模言語モデル（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis は、VRAM が限られたコンシューマー向けハードウェア上で大型モデルを効率的に実行することに特化したハイブリッド LLM ランタイムです

複数の LLM エキスパートを簡単に統合し、統合された LLM を効率的にトレーニングするためのライブラリ