mlsys

AISystem 主要指 AI 系統，包括 AI 晶片、AI 編譯器、AI 推理與訓練框架等 AI 全棧底層技術

LLM 基於代理應用的 RL Bridge，簡單且靈活

🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials.

[ICLR2025 Spotlight] SVDQuant：通過低秩組件吸收離群值，適用於4位元擴散模型

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不損失語言、影像與影片模型的端到端指標

ComfyUI 的 Nunchaku 插件

[ICML2025] SpargeAttention：一種無需訓練的稀疏注意力機制，可加速任何模型的推論。