moe

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

Ajuste fino eficiente y unificado de más de 100 LLMs y VLMs (ACL 2024)

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grande y modelos multimodales.

Usa PEFT o parámetros completos para CPT/SFT/DPO/GRPO en más de 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) y más de 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

TensorRT LLM ofrece a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++ que organizan la ejecución de inferencias de alto rendimiento.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Un Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

FlashInfer: Biblioteca de kernels para servir LLM

Una aplicación cliente no oficial con interfaz enfocada para https://bgm.tv en Android e iOS, construida con React Native.

GLM-4.5: Modelos base de agentes, razonamiento y codificación (ARC)

【TMM 2025🔥】 Mixture-of-Experts para grandes modelos de visión y lenguaje

MoBA: Mixture of Block Attention para LLMs de contexto largo

UCCL es una biblioteca de comunicación eficiente para GPUs, que cubre colectivos, P2P (por ejemplo, transferencia de caché KV, transferencia de pesos RL) y EP (por ejemplo, impulsado por GPU).

Reimplementación en PyTorch de "The Sparsely-Gated Mixture-of-Experts Layer" de Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Tutel MoE: Biblioteca optimizada de Mixture-of-Experts, compatible con GptOss/DeepSeek/Kimi-K2/Qwen3 usando FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Construcción de Mixture-of-Experts a partir de LLaMA con preentrenamiento continuo (EMNLP 2024)

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de alto rendimiento.

Adan: Algoritmo de momento de Nesterov adaptativo para una optimización más rápida de modelos profundos.

Solución de código abierto para el ajuste fino de parámetros completos de DeepSeek-V3/R1 671B, que incluye código y scripts completos desde el entrenamiento hasta la inferencia, así como experiencias prácticas y conclusiones.

Servidor de inferencia LLM nativo en MLX Swift para Apple Silicon. API compatible con OpenAI, streaming SSD para modelos MoE de más de 100B, compresión de caché KV TurboQuant, aplicación para MACOS + iOS iPhone.

[CVPR2026] Código oficial para el artículo "YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection." (YOLO = You Only Look Once)

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Modelos de lenguaje grandes (LLM) Mixtral MoE en chino.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp