qwen3

高吞吐量且内存效率高的 LLM 推理与服务引擎

🔥 MaxKB 是开源的企业级智能体平台，功能强大且易于使用

使用 PEFT 或 Full-parameter 对 600+ LLM（Qwen3.6、DeepSeek-V4、GLM-5.1、InternLM3、Llama4、...）和 300+ MLLM（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5v、Gemma4、Llava、Phi4、...）进行 CPT/SFT/DPO/GRPO（AAAI 2025）

Agent Reinforcement Trainer：使用 GRPO 训练多步骤代理以执行真实任务。为您的代理提供在职培训。支持 Qwen3.6、GPT-OSS、Llama 等的强化学习

在 Qualcomm 设备上以少量代码本地运行前沿 LLM 和 VLM，支持 NPU、GPU 和 CPU

开源的深度研究平台，作为私有数据上的 Reason 与 Search 替代方案，使用 Python 编写

📚 精选Awesome LLM/VLM推理论文与代码清单：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

一款原生的 macOS 应用程序，让用户无需安装任何其他软件，即可与本地 LLM 进行对话，并根据 Mac 上的文件、文件夹和网站信息进行回复。由 llama.cpp 驱动。

ASR/STT 字幕生成器。使用 Qwen3-ASR、本地 LLM、Whisper、TEN-VAD。针对 JAV 具备抗噪能力

kubewall - 具备多集群管理与 AI 集成的单一二进制文件 Kubernetes 仪表板。(OpenAI / Claude 4 / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API 通过利用官方网页 UI，实现零成本访问领先的 AI 模型。它支持 DeepSeek、GLM、Kimi、MiniMax、Qwen 和 Z.ai 等供应商，并与 openlcaw、Cline 和 Roo-Code 等工具无缝集成。

与你的 Mac 对话、查询你的文档，无需云端。设备端语音 AI + RAG

用于系统评价中高效摘要和 PDF 筛选的 AI 驱动工具。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

用于民主化多模态训练的完全开放框架

🎬 通过 3D 交互控制从任何摄像机视角生成图像。在 3D 空间中拖拽摄像机或使用滑块设置方位角/仰角/距离后进行生成。基于 Three.js + Gradio 构建，支持中英双语界面。

🚀 针对 LLM/VLM 的 PyTorch 分布式原生训练库，开箱即用支持 Hugging Face

大模型驱动的拼音输入法

🚀🚀🚀 收集一些关于大型语言模型（LLM）、视觉语言模型（VLM）、视觉语言动作（VLA）、AI 生成内容（AIGC）以及相关数据集与应用的优秀公开项目。

大模型 API 网关 - 全新 AI 大模型接口管理与 API 聚合分发系统，支持将多种大模型转换成统一的 OpenAI 兼容接口、Claude 接口、Gemini 接口，可供个人或者企业内部大模型 API 统一管理和渠道分发使用（key 管理与二次分发），支持国际国内所有主流大模型，gemini、claude、qwen3、kimi-k2、豆包等，提供单可执行文件、docker 镜像、一键部署、开箱即用，完全开源、自主可控！本项目基于 New-API 和 One-API，整合了 NewAPI、OneAPI 所有功能及众多第三方插件为一身，功能超强！

MimikaStudio - 适用于 macOS (Apple Silicon) 的本地优先应用程序 + 支持 Agentic MCP

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

静态 suckless 单批次仅限 CUDA 的 qwen3-0.6B 小型推理引擎。

Zig INferenCe Engine — 在 AMD GPU 与 Apple Silicon 上运行的本地 LLM 推理引擎。