inference-engine

✍🏻 源代码深度解析、系统设计与工程博客 | Halfrost-Field 冰霜之地：源码解析、系统设计与工程实践笔记

Kimi K3 2.78 兆参数模型，单 CPU 推理 8.24 GB RAM，C99 可携式：无 BLAS、无框架、无 GPU

FEDML - 用于大规模分布式训练、模型部署与联邦学习的统一且具扩展性的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 任务。基于此库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的大规模生成式 AI 平台。

校招、秋招、春招、实习好项目！带你从零实现一个高性能的深度学习推理库，支持大模型 llama2、Unet、Yolov5、Resnet 等模型的推理。一步步实现高性能深度学习推理库。

使用 Golang 实现的规则引擎

OneDiff：一个用于扩散模型的开箱即用加速库。

在 Apple Silicon 上通过 MLX 实现快 3 倍的速度 | Qwen 3.8 27B | 原生 MTP 推测解码，无需外部草稿模型。

大规模 LLM 推理引擎

针对 LLM、VLM、DiT 与 REC 模型的高性能推理引擎，针对各种 AI 加速器进行了优化。托管于 OpenAtom Foundation。

用于动态 GPU 共享及更高应用的虚拟化弹性 KV 缓存

Qualcomm® AI Hub Models 是我们针对性能（延迟、内存等）优化并可随时部署至 Qualcomm® 设备的最先进机器学习模型集合。

Paddle.js 是一个百度 PaddlePaddle 的网页项目，这是一个在浏览器中运行的开源深度学习框架。Paddle.js 可以加载预先训练好的模型，或通过 Paddle.js 提供的模型转换工具将 paddle-hub 的模型进行转换。它可以在任何支持 WebGL/WebGPU/WebAssembly 的浏览器中运行，也可以在百度智能小程序与微信小程序中运行。

NobodyWho 是一款推理引擎，让你能在任何设备上高效地在本地运行 LLM。

MLX Studio - JANG_Q 的家 - 图像生成/编辑 + 聊天/代码 一体化 - + OpenClaw (Anthropic API)

针对 Llama 及其变体的高度最佳化 LLM 推理加速引擎。

内置完整功能的 Python 电脑视觉与视频分析框架

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

在 Apple Silicon 上实现高达 4 倍更快的 LLM 解码，无损。原生 MLX 移植 DeepSeek 的 DSpark 与 z-lab 的 DFlash 推测解码 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三进制 Bonsai-27B。

又一个语言模型：使用 C++/CUDA 实现的 LLM 推理，除 I/O 外不依赖任何库

适用于 pylint 与其他项目的 Python 源代码通用基础表示法

校招、秋招、春招与实习项目，带您从零实现支持 LLama2/3 与 Qwen2.5 的大模型推理框架。

从教师模型到模型切片——从零开始的 LLM 蒸馏与服务引擎：包含自定义 Triton/CUDA 内核、FSDP 蒸馏、paged-KV 连续批处理、推测解码、Rust 网关、JAX 预测器与可解释性工具。

Krasis 是一款混合型 LLM 运行时，专注于在消费级 VRAM 受限的硬件上高效执行大型模型。

Intel 设备的推理引擎。通过 OpenAI 端点提供 LLM、VLM、Whisper、Kokoro-TTS、Embedding 与 Rerank 模型服务。