llm-inference

GPT4All：在任何设备上本地运行 LLM。开源且可商业使用

Ray 是一个 AI 计算引擎，包含核心分布式运行时和加速机器学习工作负载的 AI 库套件

使用 Gitleaks 查找机密信息 🔑

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

20+ 高效 LLM，附预训练、微调与大规模部署示例

在云端将任何开源 LLM（如 DeepSeek、Llama）作为兼容 OpenAI 的 API 端点运行。

OpenVINO™：用于优化与部署 AI 推理的开源工具套件

高速大型语言模型本地部署服务

最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等

LMDeploy 是一套用于压缩、部署与服务 LLM 的工具套件。

数据中心规模的分布式推理服务框架

Kimi K3 2.78 兆参数模型，单 CPU 推理 8.24 GB RAM，C99 可携式：无 BLAS、无框架、无 GPU

AlphaEvolve 的开源实现

Plano 是一个 AI 原生代理服务器与数据平面，为代理应用提供智能 LLM 路由、可观测性、代理编排与安全防护，让你专注于核心逻辑

Gemma 4 26B-A4B 推理在任何 M 系列 MacBook 上约 2 GB RAM

FlashInfer：大型语言模型服务的内核库

量化、核心、运行时与推理引擎，适用于移动设备、可穿戴设备、智能家居和机器人。

标准化的分布式生成式与预测式 AI 推理平台，支持在 Kubernetes 上进行多框架可扩展部署

⚡ 纯 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支持任何 GPU。无 Python，無 llama.cpp，单一二进位文件。

一个 GPU 集群管理器，用于高效能 AI 模型服务（vLLM、SGLang）以及按需可 SSH 访问的 GPU 实例。

Lemonade 帮助用户发现并运行本地 AI 应用，直接在自己的 GPU 和 NPU 上提供优化 LLM，加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

📚 精选Awesome LLM/VLM推理论文与代码清单：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

Superduper：端到端框架，用于构建自定义 AI 应用与代理

Eko (Eko Keeps Operating) - 用自然语言构建可生产使用的代理工作流 - eko.fellou.ai

RuVector 是一个高性能、实时、自学 AI 向量 GNN，内建 Rust 记忆体数据库

为 LLM 优化推理代理

为加速基础设施与微服务架构优化的生成式 AI 参考工作流程

可扩展至数千个微调LLM的Multi-LoRA推理服务器

一套科学方法、流程、算法与系统，用于构建故事与模型

为您的运营数据库添加实时分析节点。Spice 是一个可携带、加速的 SQL 查询、搜索与 LLM 推理引擎，使用 Rust 开发，适用于数据驱动的 AI 应用与代理。