llm-inference

以纯 Java 实现的 Llama 3+ 推理

LeaderWorkerSet：用于将一组 Pod 作为复制单元部署的 API

LLM-PowerHouse：透过精选教学、最佳实践以及可用于自定义训练与推理的即用代码，释放 LLM 的潜力。

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。

LLMFlows - 简单、明确且透明的 LLM 应用程序

USP：用于长文本 Transformers 模型训练与推理的统一（亦称混合、2D）序列并行注意力机制

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

纯 Rust 推理引擎

在 Apple Silicon 上实现高达 4 倍更快的 LLM 解码，无损。原生 MLX 移植 DeepSeek 的 DSpark 与 z-lab 的 DFlash 推测解码 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三进制 Bonsai-27B。

使用 Rust 编写的 RDNA 原生 LLM 推理引擎

Rockchip NPU 的 Ollama 替代方案：在 Rockchip 设备上运行 AI 与深度学习模型的高效解决方案（rkllm），并提供优化的 NPU 支持

开源本地 AI SDK - 在设备端运行 AI，无需云端、无需 API 密钥。支持 GGUF、RAG、图像、音乐与视频生成、语音转文字、P2P 推理等。跨平台：Linux、macOS、Windows、Android、iOS。

又一个语言模型：使用 C++/CUDA 实现的 LLM 推理，除 I/O 外不依赖任何库

极简主义网页搜索平台，内置可直接在浏览器中执行的 AI 助理。演示：https://felladrin-minisearch.hf.space

用于通过 git worktrees 并行执行大量代码代理的 CLI 工具

本地 AI 助理。

LLM (大型语言模型) 微调

校招、秋招、春招与实习项目，带您从零实现支持 LLama2/3 与 Qwen2.5 的大模型推理框架。

静态 suckless 单批次仅限 CUDA 的 qwen3-0.6B 小型推理引擎。

用于 LLM 的低延迟与高吞吐量服务引擎

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Krasis 是一款混合型 LLM 运行时，专注于在消费级 VRAM 受限的硬件上高效执行大型模型。

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

使用 vLLM 部署 LLM 的命令行界面工具