llm-inference

純粋なJavaによるLlama 3以降の推論

LeaderWorkerSet: ポッドのグループをレプリケーションの単位としてデプロイするためのAPI

LLM-PowerHouse: カスタムトレーニングと推論のための厳選されたチュートリアル、ベストプラクティス、すぐに使えるコードを通じて、LLMの可能性を最大限に引き出す

LLMFlows - シンプル、明示的、かつ透明性の高い LLM アプリ

USP: 長文脈 Transformer モデルのトレーニングと推論のための統一型（ハイブリッド / 2D）シーケンス並列アテンション

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

純粋なRust製の推論エンジン

Apple Silicon で最大 4 倍高速なロスレス LLM デコード。DeepSeek の DSpark および z-lab の DFlash スペキュラティブデコードのネイティブ MLX ポート — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三値 Bonsai-27B。

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。

Rust 製の RDNA ネイティブ LLM 推論エンジン

Rockchip NPU 向け Ollama 代替: 最適化された NPU サポート (rkllm) により Rockchip デバイス上で AI およびディープラーニングモデルを実行するための効率的なソリューション

もう一つの言語モデル：C++/CUDA による LLM 推論（入出力以外のライブラリなし）

オープンソースのローカル AI SDK。クラウドや API キーなしでデバイス上で AI を実行可能。GGUF、RAG、画像・音楽・動画生成、音声認識、P2P 推論などをサポート。クロスプラットフォーム対応 (Linux、macOS、Windows、Android、iOS)。

ブラウザから直接実行できる AI アシスタントを搭載した、ミニマリスト向けのウェブ検索プラットフォーム。デモ: https://felladrin-minisearch.hf.space

git worktreeを使用して多数のコーディングエージェントを並列実行するためのCLI。

ローカル AI アシスタント

LLM（大規模言語モデル）のファインチューニング

キャンパス採用やインターンシップに最適なプロジェクト。ゼロから手を動かして、LLaMA2/3およびQwen2.5をサポートする大規模言語モデル（LLM）推論フレームワークを実装します。

静的でsucklessな単一バッチのCUDA専用qwen3-0.6Bミニ推論エンジン

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

LLM 向けの低遅延かつ高スループットなサービングエンジン

Krasis は、VRAM が限られたコンシューマー向けハードウェア上で大型モデルを効率的に実行することに特化したハイブリッド LLM ランタイムです

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

vLLM を使用して LLM を提供するためのコマンドラインインターフェイスツール。