openai-triton

LightLLM 是一个基于 Python 的 LLM（大型语言模型）推理与服务框架，以轻量化设计、易于扩展与高速性能著称

https://wavespeed.ai/ 用于 NVIDIA GPU 上 HuggingFace Diffusers 的最佳推理性能优化框架。

PyTorch 神经网路模组的子集，使用 OpenAI 的 Triton 以 Python 编写。