openai-triton

LightLLM 是一個基於 Python 的 LLM（大型語言模型）推理與服務框架，以輕量化設計、易於擴展與高速性能著稱

https://wavespeed.ai/ 用於 NVIDIA GPU 上 HuggingFace Diffusers 的最佳推論效能最佳化框架。

PyTorch 神經網路模組的子集，使用 OpenAI 的 Triton 以 Python 編寫。