llm-inference

分散式 LLM 推理。將家用裝置連接成強大叢集，加速 LLM 推理。裝置越多，推理越快

Medusa：透過多個解碼頭加速 LLM 生成的簡單框架

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 與 EAGLE-3 (NeurIPS'25) 的官方實作。

一個適用於終端機的開源編碼代理程式，由社群集體打造而非單一公司。自備模型、將程式碼保留在本地電腦上，且不欠任何人任何東西。

PHP 生態系統的 Agentic 框架，用於建構可投入生產的 AI 驅動應用程式。將元件（LLMs、工具、向量資料庫、記憶體）連接到與您的資料和 UI 互動的 Agent。

AICI：將提示詞作為 (Wasm) 程式

在任何地方（Linux/Windows/Mac）透過 GPU 或 CPU 結合 gradio UI 在本地執行任何 Llama 2。使用 `llama2-wrapper` 作為生成式代理／應用程式的本地 llama2 後端。

超高速無伺服器 GPU 推論、沙箱與背景工作

透過 ExecuTorch 在 React Native 裝置端以宣告式方式執行 AI 模型。

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

針對 LLM、VLM、DiT 與 REC 模型的高效能推論引擎，針對各種 AI 加速器進行最佳化。託管於 OpenAtom Foundation。

透過點數、補助金與資源在印度推動 AI 發展的非營利組織

在瀏覽器中執行本機 LLM，例如 llama、deepseek-distill、kokoro 等

允許透過 AI 輔助進行網路搜尋的軟體清單：https://hf.co/spaces/felladrin/awesome-ai-web-search

供 Agent 使用的本地 AI 應用程式與推論引擎。在你的電腦上私密、100% 離線運行開放權重 LLM。歡迎加入我們的 Discord：https://discord.com/invite/8wGSsvmg4V

《How To Scale Your Model》的主頁，這本短篇部落格風格教材介紹了如何在 TPU 上擴充 LLM

跨多領域的頂級滲透測試工具與生產力公用程式精選集合。加入我們以探索、貢獻並強化您的駭客工具箱！

在 Lean 中作為定理證明 Copilot 的 LLM

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

透過低程式碼方式簡化開發者與非技術使用者的 Prompt 設計。

使用 C++ 與 CUDA 建構你自己的高效能 LLM 推理引擎 - vLLM 的精簡版

OpenAlpha_Evolve 是一個開源 Python 框架，靈感來自於 DeepMind AlphaEvolve 等自主編碼代理的突破性研究。

「AI-Compass」將為社群指引在 AI 技術海洋中航行的方向，無論你是初學者還是進階開發者，都能在這裡找到通往 AI 各大方向的路徑。旨在幫助開發者系統性地了解 AI 的核心概念、主流技術、前沿趨勢，並透過實踐掌握從理論到落地的全過程。

按最低方案價格排序的 awesome 主機清單

用於在電腦上進行即時聊天的多個模型的純 C++ 實作（支援 CPU 與 GPU）

針對 Llama 及其變體的高度最佳化 LLM 推論加速引擎。

LLM 筆記，包含模型推論、Transformer 模型結構，以及 LLM 框架程式碼分析筆記。

為期 10 週、每天 30 分鐘的 LLM 推論服務與最佳化學習藍圖。包含 vLLM、SGLang、量化、推測解碼、效能評測。

LLM.swift 是一個簡單易讀的函式庫，讓您能在 macOS、iOS、watchOS、tvOS 和 visionOS 上輕鬆地在本地端與大型語言模型互動。