inference-engine

✍🏻 原始碼深度解析、系統設計與工程部落格 | Halfrost-Field 冰霜之地：源码解析、系统设计与工程实践笔记

Kimi K3 2.78 兆參數模型，單 CPU 推理 8.24 GB RAM，C99 可攜式：無 BLAS、無框架、無 GPU

FEDML - 用於大規模分散式訓練、模型部署與聯邦學習的統一且具擴充性的機器學習函式庫。跨雲排程器 FEDML Launch 進一步支援在任何 GPU 雲端或地端叢集上執行任何 AI 任務。基於此函式庫建構的 TensorOpera AI (https://TensorOpera.ai) 是您的大規模生成式 AI 平台。

校招、秋招、春招、實習好專案！帶你從零實現一個高效能的深度學習推理庫，支援大模型 llama2、Unet、Yolov5、Resnet 等模型的推理。一步步實現高效能深度學習推理庫。

使用 Golang 實作的規則引擎

OneDiff：一個用於擴散模型的開箱即用加速庫。

在 Apple Silicon 上透過 MLX 實現快 3 倍的速度 | Qwen 3.8 27B | 原生 MTP 推測解碼，無需外部草稿模型。

大規模 LLM 推論引擎

針對 LLM、VLM、DiT 與 REC 模型的高效能推論引擎，針對各種 AI 加速器進行最佳化。託管於 OpenAtom Foundation。

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

Qualcomm® AI Hub Models 是我們針對效能（延遲、記憶體等）最佳化並可隨時部署至 Qualcomm® 裝置的最先進機器學習模型集合。

Paddle.js 是一個百度 PaddlePaddle 的網頁專案，這是一個在瀏覽器中執行的開源深度學習框架。Paddle.js 可以載入預先訓練好的模型，或透過 Paddle.js 提供的模型轉換工具將 paddle-hub 的模型進行轉換。它可以在任何支援 WebGL/WebGPU/WebAssembly 的瀏覽器中執行，也可以在百度智慧小程序與微信小程式中執行。

NobodyWho 是一款推理引擎，讓你能在任何裝置上高效地在本機執行 LLM。

MLX Studio - JANG_Q 的家 - 影像生成/編輯 + 聊天/程式碼 一體化 - + OpenClaw (Anthropic API)

針對 Llama 及其變體的高度最佳化 LLM 推論加速引擎。

內建完整功能的 Python 電腦視覺與視訊分析框架

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

在 Apple Silicon 上實現高達 4 倍更快的 LLM 解碼，無損。原生 MLX 移植 DeepSeek 的 DSpark 與 z-lab 的 DFlash 推測解碼 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三進制 Bonsai-27B。

又一個語言模型：以 C++/CUDA 實作的 LLM 推論，除了 I/O 外不依賴任何函式庫

適用於 pylint 與其他專案的 Python 原始碼通用基礎表示法

校招、秋招、春招與實習專案，帶您從零實作支援 LLama2/3 與 Qwen2.5 的大模型推理框架。

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。

Krasis 是一款混合型 LLM 執行時期，專注於在消費級 VRAM 受限的硬體上高效執行大型模型。

Intel 裝置的推理引擎。透過 OpenAI 端點提供 LLM、VLM、Whisper、Kokoro-TTS、Embedding 與 Rerank 模型服務。