intentee 收錄中的開源專案,依星數排序。
開源的 LLM/VLM 負載平衡與服務平台,可用於大規模自架 LLM(與 VLM)🏓🦙。為 llm-d、Docker Model Runner 等專案的替代方案,但組件更少、部署更簡單,並圍繞 ggml 生態系建構。支援 CPU 與 GPU 執行。