llm-inference

分散式 LLM 推理。将家用设备连接成强大集群，加速 LLM 推理。设备越多，推理越快

Medusa：通过多个解码头加速 LLM 生成的简单框架

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 与 EAGLE-3 (NeurIPS'25) 的官方实现。

一个适用于终端机的开源编码代理，由社区集体打造而非单一公司。自备模型、将代码保留在本地电脑上，且不欠任何人任何东西。

PHP 生态系统的 Agentic 框架，用于构建可投入生产的 AI 驱动应用程序。将组件（LLMs、工具、向量数据库、内存）连接到与您的数据和 UI 交互的 Agent。

AICI：将提示词作为 (Wasm) 程序

在任何地方（Linux/Windows/Mac）通过 GPU 或 CPU 结合 gradio UI 在本地运行任何 Llama 2。使用 `llama2-wrapper` 作为生成式代理／应用程序的本地 llama2 后端。

超高速无服务器 GPU 推理、沙箱与后台任务

借助 ExecuTorch 在 React Native 设备端以声明式方式运行 AI 模型。

开源持续推理基准研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即将推出™ TPUv6e/v7/Trainium2/3

针对 LLM、VLM、DiT 与 REC 模型的高性能推理引擎，针对各种 AI 加速器进行了优化。托管于 OpenAtom Foundation。

通过点数、补助金与资源在印度推动 AI 发展的非营利组织

在浏览器中运行本地 LLM，例如 llama、deepseek-distill、kokoro 等

允许通过 AI 辅助进行网络搜索的软件清单：https://hf.co/spaces/felladrin/awesome-ai-web-search

供 Agent 使用的本地 AI 应用与推理引擎。在你的电脑上私密、100% 离线运行开放权重 LLM。欢迎加入我们的 Discord：https://discord.com/invite/8wGSsvmg4V

《How To Scale Your Model》的主页，这本短篇博客风格教材介绍了如何在 TPU 上扩展 LLM

跨多个领域的顶级渗透测试工具与生产力实用程序精选集合。加入我们以探索、贡献并增强您的黑客工具箱！

在 Lean 中作为定理证明 Copilot 的 LLM

用于动态 GPU 共享及更高应用的虚拟化弹性 KV 缓存

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

通过低代码方式简化开发者与非技术用户的 Prompt 设计。

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

OpenAlpha_Evolve 是一个开源 Python 框架，灵感来自于 DeepMind AlphaEvolve 等自主编码代理的突破性研究。

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向，无论你是初学者还是进阶开发者，都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势，并通过实践掌握从理论到落地的全过程。

按最低方案价格排序的 awesome 主机清单

用于在计算机上进行实时聊天的多个模型的纯 C++ 实现（支持 CPU 和 GPU）

针对 Llama 及其变体的高度最佳化 LLM 推理加速引擎。

LLM 笔记，包含模型推理、Transformer 模型结构，以及 LLM 框架代码分析笔记。

为期 10 周、每天 30 分钟的 LLM 推理服务与优化学习蓝图。包含 vLLM、SGLang、量化、推测解码、性能评测。

LLM.swift 是一个简单易读的库，让您能在 macOS、iOS、watchOS、tvOS 和 visionOS 上轻松地在本地与大语言模型交互。