datawhale

Cours systématique sur la construction de grands modèles de langage (LLM) couvrant l'ingénierie des données de pré-entraînement, Tokenizer, Transformer, MoE, programmation GPU (CUDA/Triton), entraînement distribué, lois d'échelle, optimisation de l'inférence et alignement (SFT/RLHF/GRPO), avec 6 exercices progressifs axés sur le code.

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。