inference-server

适用于 Apple Silicon 的 LLM 推理服务器，具持续批处理与 SSD 缓存功能，可从 macOS 菜单栏管理

⚡ 纯 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支持任何 GPU。无 Python，無 llama.cpp，单一二进位文件。

RamaLama 是一款开源开发者工具，通过大家熟悉的容器语言，简化了从任何来源在本地提供 AI 模型的流程，并促进其在生产环境中的推理应用。

为你的 Agent 所需的所有模型提供开源推理服务器与生产集群。

将任何计算机或边缘设备变成计算机视觉项目的指挥中心。

针对 Apple Silicon 的高性能 OpenAI 与 Anthropic 兼容 LLM 推理服务器。原生支持 MLX、连续批处理、多模态模型、MCP 工具调用以及 Claude Code。

在生产环境中提供 AI/ML 模型服务的最简单方式

TurboOCR，>200 img/s OmnidocBench。TensorRT FP16、PP-OCRv6、HTTP + gRPC

一个可在数分钟内构建与部署应用的开源计算机视觉框架