qwen3

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

🔥 MaxKB 是開源的企業級智能體平台，功能強大且易於使用

使用 PEFT 或 Full-parameter 於 600+ LLM（Qwen3.6、DeepSeek-V4、GLM-5.1、InternLM3、Llama4、...）與 300+ MLLM（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5v、Gemma4、Llava、Phi4、...）進行 CPT/SFT/DPO/GRPO（AAAI 2025）

Agent Reinforcement Trainer：使用 GRPO 訓練多步驟代理以執行真實任務。為您的代理提供在職訓練。支援 Qwen3.6、GPT-OSS、Llama 等的強化學習

在 Qualcomm 裝置上以少量程式碼本地執行前沿 LLM 與 VLM，支援 NPU、GPU 與 CPU

開源的深度研究平台，作為私有資料上的 Reason 與 Search 替代方案，使用 Python 編寫

📚 精選Awesome LLM/VLM推理論文與程式碼清單：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

一款原生的 macOS 應用程式，讓使用者無需安裝任何其他軟體，即可與本地 LLM 進行對話，並根據 Mac 上的檔案、資料夾和網站資訊進行回覆。由 llama.cpp 驅動。

ASR/STT 字幕產生器。使用 Qwen3-ASR、本機 LLM、Whisper、TEN-VAD。針對 JAV 具備抗噪能力

kubewall - 具備多叢集管理與 AI 整合的單一二進位檔 Kubernetes 儀表板。(OpenAI / Claude 4 / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API 透過利用官方網頁 UI，實現零成本存取領先的 AI 模型。它支援 DeepSeek、GLM、Kimi、MiniMax、Qwen 和 Z.ai 等供應商，並與 openlcaw、Cline 和 Roo-Code 等工具無縫整合。

與你的 Mac 對話、查詢你的文件，無需雲端。裝置端語音 AI + RAG

用於系統性文獻回顧中高效摘要與 PDF 篩選的 AI 驅動工具。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

用於民主化多模態訓練的完全開放框架

🎬 透過 3D 互動控制從任何攝影機視角生成影像。在 3D 空間中拖曳攝影機或使用滑桿設定方位角/仰角/距離後進行生成。基於 Three.js + Gradio 建構，支援中英雙語介面。

大模型 API 網關 - 全新 AI 大模型介面管理與 API 聚合分發系統，支援將多種大模型轉換成統一的 OpenAI 相容介面、Claude 介面、Gemini 介面，可供個人或者企業內部大模型 API 統一管理和渠道分發使用（key 管理與二次分發），支援國際國內所有主流大模型，gemini、claude、qwen3、kimi-k2、豆包等，提供單可執行檔案、docker 映像檔、一鍵部署、開箱即用，完全開源、自主可控！本專案基於 New-API 和 One-API，整合了 NewAPI、OneAPI 所有功能及眾多第三方外掛程式為一身，功能超強！

🚀 針對 LLM/VLM 的 PyTorch 分散式原生訓練函式庫，開箱即用支援 Hugging Face

大模型驅動的拼音輸入法

🚀🚀🚀 收集一些關於大型語言模型（LLM）、視覺語言模型（VLM）、視覺語言動作（VLA）、AI 生成內容（AIGC）以及相關資料集與應用的優秀公開專案。

MimikaStudio - 適用於 macOS (Apple Silicon) 的本機優先應用程式 + 支援 Agentic MCP

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

靜態 suckless 單批次僅限 CUDA 的 qwen3-0.6B 小型推論引擎。

Zig INferenCe Engine — 在 AMD GPU 與 Apple Silicon 上運行的本地 LLM 推論引擎。