mixture-of-experts

DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die verteilte Training und Inferenz einfach, effizient und effektiv macht.

Ein 2,78-Billionen-Parameter-Modell Kimi K3, das Inferenz auf einer einzigen CPU in 8,24 GB RAM ausführt. Tragbares C99: kein BLAS, kein Framework, keine GPU.

Optimierung des Inferenz-Proxys für LLMs

Dezentrales Deep Learning in PyTorch. Entwickelt, um Modelle auf Tausenden von Freiwilligen weltweit zu trainieren.

Führe Mixtral-8x7B-Modelle in Colab oder Consumer-Desktops aus

【TMM 2025🔥】Mixture-of-Experts für Large Vision-Language Models

PyTorch-Neuimplementierung von „The Sparsely-Gated Mixture-of-Experts Layer“ von Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Codebasis für Aria – ein Open Multimodal Native MoE

Tutel MoE: Optimierte Mixture-of-Experts-Bibliothek, unterstützt GptOss/DeepSeek/Kimi-K2/Qwen3 mit FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Erstellung von Mixture-of-Experts aus LLaMA mit kontinuierlichem Vortraining (EMNLP 2024)

Das cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt in die cuDNN-Bibliothek und eine wachsende Sammlung von Hochleistungs-Open-Source-Kerneln.

SMT: Die Surrogate Modeling Toolbox

Implementierung eines Sparse Mixture of Experts-Sprachmodells von Grund auf, inspiriert von Andrej Karpathys makemore :)

Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Expert-Gewichte vom Speicher gestreamt werden. Dies ermöglicht den Betrieb von 35B- und 80B-Modellen mit geringem RAM-Verbrauch, auch auf dem iPhone.

Chinesisches Mixtral-MoE-Sprachmodell (Chinese Mixtral MoE LLMs).

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis ist eine hybride LLM-Laufzeitumgebung, die auf den effizienten Betrieb größerer Modelle auf Hardware mit begrenztem VRAM für Endverbraucher spezialisiert ist.

Eine Bibliothek zum einfachen Zusammenführen mehrerer LLM-Experten und zum effizienten Training des zusammengeführten LLM.