flash-attention

El repositorio oficial de Qwen (通义千问) chat y modelo de lenguaje grande preentrenado propuesto por Alibaba Cloud.

Notas de aprendizaje de CUDA moderno con PyTorch para principiantes, más de 200 CUDA Kernels, Tensor Cores, HGEMM, FA-2 MMA.

Lanzamiento oficial de la serie InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).

Proyecto de segunda fase de LLaMA-2 y Alpaca-2 en chino + modelo de contexto ultra largo de 64K (LLaMA-2 y Alpaca-2 LLMs en chino con modelos de contexto largo de 64K)

📚 Una lista seleccionada de los mejores artículos de inferencia LLM/VLM con código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

MoBA: Mixture of Block Attention para LLMs de contexto largo

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de alto rendimiento.

rCM y Causal-rCM: Algoritmos e infraestructuras unificadas y líderes para la destilación de difusión de video bidireccional/autorregresiva a gran escala

Atención dispersa entrenable, rápida y eficiente en memoria

De profesor a tiles: un motor de destilación y servicio de LLM creado desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo paged-KV, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.