主題 · inference-server

inference-server

標記 inference-server 主題、收錄中的開源專案，依星數排序。

專案數

9

總星數

40,297

平均星數

4,477

佔比

0.00%

常跟 inference-server 一起出現在同一個專案上的主題。

近期新秀

近 90 天內建立、標記 inference-server 主題的專案。

近 90 天內還沒有新專案標記這個主題。

#1
omlx ↗@jundotPython
適用於 Apple Silicon 的 LLM 推論伺服器，具持續批次處理與 SSD 快取功能，可從 macOS 功能表列管理
★ 21,333+380近 7 天星數變化
#2
shimmy ↗@Michael-A-KuykendallRust
⚡ 純 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支援任何 GPU。無 Python，無 llama.cpp，單一二進位檔。
★ 5,816+6近 7 天星數變化
#3
ramalama ↗@containersPython
RamaLama 是一款開源開發者工具，透過大眾熟悉的容器語言，簡化從任何來源在本地端提供 AI 模型的流程，並促進其在生產環境中的推論應用。
★ 3,031+6近 7 天星數變化
#4
sie ↗@superlinkedPython
為你的 Agent 所需的所有模型提供開源推論伺服器與生產叢集。
★ 3,030+173近 7 天星數變化
#5
inference ↗@roboflowPython
將任何電腦或邊緣裝置變成電腦視覺專案的指揮中心。
★ 2,431+2近 7 天星數變化
#6
vllm-mlx ↗@waybarriosPython
針對 Apple Silicon 的高效能 OpenAI 與 Anthropic 相容 LLM 推論伺服器。原生支援 MLX、連續批次處理、多模態模型、MCP 工具呼叫以及 Claude Code。
★ 1,557+6近 7 天星數變化
#7
truss ↗@basetenlabsPython
在生產環境中提供 AI/ML 模型服務的最簡單方式
★ 1,199+3近 7 天星數變化
#8
TurboOCR ↗@aiptimizerC++
TurboOCR，>200 img/s OmnidocBench。TensorRT FP16、PP-OCRv6、HTTP + gRPC
★ 1,059+17近 7 天星數變化
#9
pipeless ↗@pipeless-aiRust
一個可在數分鐘內建置與部署應用的開源電腦視覺框架
★ 851-1近 7 天星數變化

← 返回主題列表