turboderp-org 收錄中的開源專案,依星數排序。
一個快速推理庫,能在現代消費級 GPU 上本地運行 LLM。
一個優化的量化與推理庫,用於在現代消費級 GPU 上本地運行 LLM
ExLlamaV2 的網頁介面