datawhale

Curso sistemático de construção de Large Language Models | Abrange engenharia de dados de pré-treinamento, Tokenizer, Transformer, MoE, programação GPU (CUDA/Triton), treinamento distribuído, Scaling Laws, otimização de inferência e alinhamento (SFT/RLHF/GRPO) | 6 exercícios progressivos orientados a código para estabelecer uma visão full-stack de LLMs

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。