turboderp-org 收录中的开源项目,按星标数排序。
一个快速推理库,能在现代消费级 GPU 上本地运行 LLM。
一个优化的量化与推理库,用于在现代消费级 GPU 上本地运行 LLM
ExLlamaV2 的网页界面