mixture-of-experts

DeepSpeed est une bibliothèque d'optimisation de deep learning qui rend l'entraînement et l'inférence distribués simples, efficaces et performants.

Kimi K3 avec 2,78 billions de paramètres exécutant l'inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.

Optimisation du proxy d'inférence pour les LLM.

Apprentissage profond décentralisé avec PyTorch, conçu pour entraîner des modèles sur des milliers de volontaires à travers le monde.

Exécutez des modèles Mixtral-8x7B sur Colab ou des ordinateurs grand public.

TMM 2025 : Mélange d'experts (Mixture-of-Experts) pour les grands modèles vision-langage.

Réimplémentation PyTorch de « The Sparsely-Gated Mixture-of-Experts Layer » par Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Base de code pour Aria, un modèle MoE multimodal natif open source

Tutel MoE : bibliothèque optimisée de Mixture-of-Experts, prenant en charge GptOss/DeepSeek/Kimi-K2/Qwen3 avec FP8/NVFP4/MXFP4.

⛷️ LLaMA-MoE : Construction de Mixture-of-Experts à partir de LLaMA avec un pré-entraînement continu (EMNLP 2024).

cuDNN Frontend est le point d'entrée moderne et open-source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open-source haute performance.

SMT : La boîte à outils de modélisation de substitution.

Implémentation from scratch d'un modèle de langage de type sparse mixture of experts, inspiré par makemore d'Andrej Karpathy.

Swiftlet est un runtime Swift et Metal qui exécute localement de grands modèles Qwen Mixture-of-Experts sur les appareils Apple en diffusant les poids des experts depuis le stockage, permettant aux modèles 35B et 80B de fonctionner avec peu de RAM, y compris sur iPhone.

Grands modèles de mélange d'experts Mixtral en chinois (Chinese Mixtral MoE LLMs)

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis est un runtime LLM hybride axé sur l'exécution efficace de grands modèles sur du matériel grand public à VRAM limitée.

Une bibliothèque pour fusionner facilement plusieurs experts LLM et entraîner efficacement le modèle fusionné.