mixture-of-experts

DeepSpeed es una biblioteca de optimización de aprendizaje profundo que hace que el entrenamiento y la inferencia distribuidos sean fáciles, eficientes y efectivos.

Un Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

Optimización del proxy de inferencia para LLMs

Deep learning descentralizado en PyTorch. Diseñado para entrenar modelos con miles de voluntarios en todo el mundo.

Ejecuta modelos Mixtral-8x7B en Colab o en ordenadores de escritorio de consumo

【TMM 2025🔥】 Mixture-of-Experts para grandes modelos de visión y lenguaje

Reimplementación en PyTorch de "The Sparsely-Gated Mixture-of-Experts Layer" de Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Base de código para Aria, un MoE nativo multimodal abierto.

Tutel MoE: Biblioteca optimizada de Mixture-of-Experts, compatible con GptOss/DeepSeek/Kimi-K2/Qwen3 usando FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Construcción de Mixture-of-Experts a partir de LLaMA con preentrenamiento continuo (EMNLP 2024)

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de alto rendimiento.

SMT: La caja de herramientas de modelado subrogado.

Implementación desde cero de un modelo de lenguaje de mezcla dispersa de expertos inspirado en makemore de Andrej Karpathy.

Swiftlet es un entorno de ejecución de Swift y Metal que ejecuta modelos de mezcla de expertos Qwen de gran tamaño localmente en dispositivos Apple mediante la transmisión de pesos de expertos desde el almacenamiento, permitiendo ejecutar modelos de 35B y 80B con poca memoria RAM, incluso en iPhone.

Modelos de lenguaje grandes (LLM) Mixtral MoE en chino.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos grandes en hardware de consumo con VRAM limitada.

Una biblioteca para fusionar fácilmente múltiples expertos LLM y entrenar eficientemente el modelo resultante.