llm-inference

GPT4All：在任何裝置上本地執行 LLM。開源且可商業使用

Ray 是一個 AI 計算引擎，包含核心分散式執行環境與加速機器學習工作負載的 AI 函式庫套件

使用 Gitleaks 尋找機密資訊 🔑

本項目旨在分享大模型相關技術原理以及實戰經驗（大模型工程化、大模型應用落地）

20+ 高效 LLM，附預訓練、微調與大規模部署範例

在雲端將任何開源 LLM（如 DeepSeek、Llama）作為兼容 OpenAI 的 API 端點運行。

OpenVINO™：用於優化與部署 AI 推論的開源工具套件

高速大型語言模型本地部署服務

最簡便的 AI 應用與模型服務方式 ─ 建立模型推論 API、工作佇列、LLM 應用、多模型流水線等

LMDeploy 是一套用於壓縮、部署與服務 LLM 的工具組。

資料中心規模的分布式推論服務框架

AlphaEvolve 的開源實作

Kimi K3 2.78 兆參數模型，單 CPU 推理 8.24 GB RAM，C99 可攜式：無 BLAS、無框架、無 GPU

Plano 是一個 AI 原生代理伺服器與資料平面，為代理應用提供智能 LLM 路由、可觀測性、代理編排與安全防護，讓你專注於核心邏輯

Gemma 4 26B-A4B 推理在任何 M 系列 MacBook 上約 2 GB RAM

FlashInfer：大型語言模型服務的核心函式庫

量化、核心、執行時與推論引擎，適用於行動裝置、穿戴裝置、智慧家庭與機器人。

標準化的分散式生成式與預測式 AI 推論平台，支援在 Kubernetes 上以多框架擴展部署

⚡ 純 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支援任何 GPU。無 Python，無 llama.cpp，單一二進位檔。

一個 GPU 叢集管理器，用於高效能 AI 模型服務（vLLM、SGLang）以及按需可 SSH 存取的 GPU 實例。

Lemonade 幫助用戶發現並運行本地 AI 應用，直接在自己的 GPU 和 NPU 上提供優化 LLM，加入我們的 Discord：https://discord.gg/5xXzkMu8Zk

📚 精選Awesome LLM/VLM推理論文與程式碼清單：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

Superduper：端到端框架，用於構建自訂 AI 應用與代理

Eko (Eko Keeps Operating) - 用自然語言構建可生產使用的代理工作流 - eko.fellou.ai

RuVector 是一個高性能、實時、自學 AI 向量 GNN，內建 Rust 記憶體資料庫

為 LLM 優化推理代理

為加速基礎設施與微服務架構優化的生成式 AI 參考工作流程

可擴展至數千個微調LLM的Multi-LoRA推理伺服器

一套科學方法、流程、演算法與系統，用於構建故事與模型

為您的運營資料庫添加即時分析節點。Spice 是一個可攜帶、加速的 SQL 查詢、搜尋與 LLM 推理引擎，使用 Rust 開發，適用於資料驅動的 AI 應用與代理。