qwen3

Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM

🔥 MaxKB là nền tảng mã nguồn mở để xây dựng các agent cấp doanh nghiệp. Nền tảng agent mã nguồn mở cấp doanh nghiệp mạnh mẽ và dễ sử dụng.

Sử dụng PEFT hoặc Full-parameter cho CPT/SFT/DPO/GRPO hơn 600 LLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) và hơn 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

Agent Reinforcement Trainer: huấn luyện các agent nhiều bước cho các tác vụ thực tế bằng GRPO. Cung cấp đào tạo tại chỗ cho các agent của bạn. Học tăng cường (Reinforcement learning) cho Qwen3.6, GPT-OSS, Llama và nhiều mô hình khác!

Chạy các LLM và VLM tiên tiến cục bộ trên thiết bị Qualcomm qua NPU, GPU và CPU chỉ với vài dòng mã

Giải pháp Deep Research thay thế mã nguồn mở để suy luận và tìm kiếm trên dữ liệu riêng tư. Được viết bằng Python.

📚 Danh sách tổng hợp các bài báo nghiên cứu về suy luận LLM/VLM xuất sắc kèm mã nguồn: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, v.v. 🎉

Một ứng dụng macOS nguyên bản cho phép người dùng trò chuyện với LLM cục bộ có thể phản hồi bằng thông tin từ các tệp, thư mục và trang web trên máy Mac của bạn mà không cần cài đặt thêm phần mềm nào khác. Được hỗ trợ bởi llama.cpp.

Công cụ tạo phụ đề ASR/STT. Sử dụng Qwen3-ASR, LLM cục bộ, Whisper, TEN-VAD. Kháng nhiễu hiệu quả cho JAV

kubewall - Kubernetes Dashboard file thực thi đơn lẻ với Quản lý đa cụm & Tích hợp AI. (OpenAI / Claude 4 / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API cho phép truy cập miễn phí vào các mô hình AI hàng đầu bằng cách tận dụng giao diện web chính thức. Nó hỗ trợ các nhà cung cấp như DeepSeek, GLM, Kimi, MiniMax, Qwen và Z.ai, đồng thời tích hợp liền mạch với các công cụ như openlcaw, Cline và Roo-Code.

Trò chuyện với Mac của bạn, truy vấn tài liệu mà không cần đám mây. AI giọng nói trên thiết bị + RAG

Công cụ hỗ trợ bởi AI để sàng lọc bản tóm tắt và PDF hiệu quả trong các tổng quan hệ thống.

Qwen3.8-27B chạy trên một card RTX 3090 duy nhất với vLLM: ~1.000 tok/s ở mức 64 luồng đồng thời (int8 tensor-core GEMMs, trạng thái fp16 DeltaNet), ~114 tok/s cho người dùng đơn lẻ ở chế độ lấy mẫu mặc định / ~124 greedy (MTP drafts, từ vựng dự đoán đầu ra riêng, lm_head int4 đã hiệu chỉnh, split-KV verify attention), ngữ cảnh 150k-262k; bao gồm các bản vá, tập lệnh tái lượng tử hóa và các bài kiểm tra hiệu năng.

Khung mã nguồn mở hoàn toàn dành cho đào tạo đa phương thức phi tập trung

🎬 Tạo hình ảnh từ bất kỳ góc nhìn camera nào thông qua điều khiển tương tác 3D. Kéo camera trong không gian 3D hoặc sử dụng thanh trượt để thiết lập góc phương vị/góc ngẩng/khoảng cách, sau đó tạo hình ảnh. Được xây dựng bằng Three.js + Gradio, giao diện song ngữ Trung/Anh.

Cổng API mô hình lớn - Hệ thống quản lý và phân phối API AI mới. Hỗ trợ chuyển đổi nhiều mô hình lớn thành giao diện tương thích OpenAI, Claude, Gemini. Dùng cho cá nhân hoặc doanh nghiệp quản lý tập trung và phân phối API (quản lý key), hỗ trợ tất cả các mô hình lớn phổ biến trong và ngoài nước như Gemini, Claude, Qwen3, Kimi-K2, Doubao, v.v. Cung cấp tệp thực thi đơn lẻ, Docker image, triển khai một cú nhấp chuột, sẵn sàng sử dụng, mã nguồn mở hoàn toàn, tự chủ kiểm soát. Dựa trên New-API và One-API, tích hợp tất cả chức năng và nhiều plugin bên thứ ba.

🚀 Thư viện huấn luyện phân tán Pytorch cho LLM/VLM với hỗ trợ sẵn có cho Hugging Face

Bộ gõ Pinyin được vận hành bởi các mô hình ngôn ngữ lớn (LLM).

🚀🚀🚀 Bộ sưu tập các dự án công khai ấn tượng về Mô hình ngôn ngữ lớn (LLM), Mô hình ngôn ngữ thị giác (VLM), Hành động ngôn ngữ thị giác (VLA), Nội dung do AI tạo (AIGC), cùng các bộ dữ liệu và ứng dụng liên quan.

MimikaStudio - Ứng dụng ưu tiên cục bộ cho macOS (Apple Silicon) hỗ trợ Agentic MCP

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Công cụ suy luận mini qwen3-0.6B tĩnh, chạy trên CUDA, không cần phụ thuộc

Zig INferenCe Engine — Suy luận LLM cục bộ trên GPU AMD và Apple Silicon.