inference

Superduper：端到端框架，用於構建自訂 AI 應用與代理

cube studio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台，mlops 算法鏈路全流程，算力租賃平台，notebook 在線開發，拖拉拽任務流 pipeline 編排，多機多卡分布式訓練，超參數搜索，推理服務 VGPU 虛擬化，邊緣計算，標註平台自動化標註，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推理，私有知識庫，AI 模型市場，支援國產 CPU/GPU/NPU 昇騰生態，支援 RDMA，支援 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

易用的 PyTorch 到 TensorRT 转换器

Transformer 模型的快速推理引擎

TNN：由騰訊優圖實驗室和光影實驗室開發的統一深度學習推理框架，適用於手機、桌面和服務器。TNN 以跨平台能力、高性能、模型壓縮和代碼裁剪等優秀特性著稱。基於 ncnn 和 Rapidnet，TNN 進一步加強了對手機設備的支持和性能優化，並且

TypeDB：為系統而建，非僅僅是記錄

預訓練深度學習模型與範例（高品質且極速）。

在 Kubernetes 上使用現代加速器實現最先進的推理效能

一個統一的推理與後訓練框架，用於加速影片生成

CSGHub 是一個全新的開源平台，用於管理 LLM，開發者為 OpenCSG 團隊。它提供開源與本地/ SaaS 解決方案，功能可與 Hugging Face 相比。完全掌控 LLM、資料集與代理的生命周期，Python SDK 兼容 Hugging Face。加入我們！⭐️

Any model. Any hardware. Zero compromise. Built with @ziglang / @openxla / MLIR / @bazelbuild

基於 PaddlePaddle 的高效 LLM 與 VLM 推理與部署工具包

Apple Silicon 上最快的本地 AI 引擎。比 Ollama 快 4.2 倍，緩存 TTFT 0.08 秒，100% 工具呼叫。17 個工具解析器、提示緩存、推理分離、雲路由。即插即用的 OpenAI 替代品。與 Claude Code、Cursor、Aider 兼容。

校招、秋招、春招、實習好專案！帶你從零實現一個高效能的深度學習推理庫，支援大模型 llama2、Unet、Yolov5、Resnet 等模型的推理。一步步實現高效能深度學習推理庫。

加速 🤗 Transformers、Diffusers、TIMM 与 Sentence Transformers 的推理与训练，提供易用的硬件优化工具

📚 OpenVINO™ 的 Jupyter notebook 教學。

為你的 Agent 所需的所有模型提供開源推論伺服器與生產叢集。

PyTorch 原生量化，用于训练和推理

社群維護的 vLLM on Ascend 硬體外掛程式

在 JavaScript 中使用 Hugging Face

在 Rust 中為 ONNX 模型提供快速的 ML 推論與訓練

cubestudio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台/MaaS/mlops/人工智慧平台/訓推平台，演算法全鏈路流程，多租戶，算力租賃平台，token 中轉，拖拉拽任務流 pipeline 編排，多機多卡分散式訓練，超參搜尋，推論服務，VGPU 虛擬化，雲邊端協同，邊緣運算，自動化標註平台，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推論，私有知識庫 llmops 智能體，AI 模型市場，支援國產異構算力調度,昇騰/寒武紀/海光/摩爾/沐曦等，支援 ib/roce/RDMA，信創支援

適用於行動裝置、伺服器與 Web 的高效能浮點數類神經網路推論運算子

將任何電腦或邊緣裝置變成電腦視覺專案的指揮中心。

掌握應用 AI，一次掌握一個概念

針對雲端、Kubernetes 和裸機上的 NVIDIA、AMD、TPU 與 Tenstorrent，提供用於訓練、推論與代理工作負載的無供應商鎖定編排服務。

使用單一介面與 LLM 提供者進行通訊

在單一檔案中以純 🔥 推論 Llama 2

MII 在 DeepSpeed 的支援下，實現低延遲與高吞吐量的推論。

AICI：將提示詞作為 (Wasm) 程式