inference-server

Apple Silicon向けの連続バッチ処理とSSDキャッシングを備えたLLM推論サーバー — macOSメニューバーから管理可能

⚡ 純粋なRustによるWebGPU推論エンジン — OpenAI-API互換、GGUFネイティブ、あらゆるGPUで動作。Python不要。llama.cpp不要。単一バイナリ。

RamaLama は、あらゆるソースからの AI モデルのローカル配信を簡素化し、コンテナのおなじみの操作性を通じて本番環境での推論への利用を容易にするオープンソースの開発者ツールです。

エージェントに必要なすべてのモデルに対応する、オープンソースの推論サーバーおよび本番用クラスター

あらゆるコンピューターやエッジデバイスを、コンピュータビジョンプロジェクトのコマンドセンターに変える

Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、連続バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code をサポート。

AI/ML モデルを本番環境で運用する最も簡単な方法

TurboOCR、>200 img/s OmnidocBench。TensorRT FP16、PP-OCRv6、HTTP + gRPC

数分でアプリを構築・デプロイできるオープンソースのコンピュータビジョンフレームワーク