gguf

Hàng trăm mô hình và nhà cung cấp. Một lệnh để tìm những gì chạy được trên phần cứng của bạn.

Phân phối và chạy các LLM chỉ với một file duy nhất.

⚡ Công cụ suy luận WebGPU thuần Rust — tương thích OpenAI-API, gốc GGUF, chạy trên mọi GPU. Không Python. Không llama.cpp. File nhị phân đơn.

Tinh chỉnh LLMs chỉ từ một YAML. Layer streaming đào tạo mô hình 8B trên GPU laptop 4 GB.

Bộ công cụ đa năng cho AI ngoại tuyến. Trò chuyện, xem, nói chuyện và tạo hình ảnh trên điện thoại hoặc Mac — GGUF LLMs, thị giác máy tính, chuyển giọng nói thành văn bản Whisper, Stable Diffusion, gọi công cụ và máy chủ mạng nội bộ. Chạy trên CPU, GPU hoặc NPU của bạn. Không tài khoản, không khóa API, dữ liệu không rời khỏi thiết bị của bạn.

Maid là một ứng dụng mã nguồn mở và miễn phí để giao tiếp với các mô hình llama.cpp cục bộ, và với các mô hình Anthropic, DeepSeek, Ollama, Mistral và OpenAI từ xa.

Học thực hành Ollama, chạy triển khai LLM trên CPU, địa chỉ đọc trực tuyến: https://datawhalechina.github.io/handy-ollama/

AI Agent ưu tiên cục bộ. Được tối ưu hóa cho các mô hình AI chạy trên thiết bị. Cửa sổ ngữ cảnh dài. Hỗ trợ gọi công cụ chính xác. Hoạt động riêng tư trên thiết bị của bạn.

Framework LLM Agent trong ComfyUI bao gồm máy chủ MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 và các node nhắc lệnh FLUX, truy cập Feishu, discord, và tương thích với mọi LLM có giao diện tương tự OpenAI / aisuite như o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Tương thích với các LLM, VLM, GGUF chạy cục bộ như llama-3.3 Janus-Pro, Linkage graphRAG

Chạy các mô hình AI cục bộ trên máy của bạn với node.js bindings cho llama.cpp. Áp đặt JSON schema lên đầu ra của mô hình ở cấp độ tạo văn bản.

Suy luận chuyển giọng nói thành văn bản bằng ggml cho hơn 16 họ mô hình

Quản lý các mô hình Ollama của bạn bằng Go

Thuật toán lượng tử hóa SOTA cho suy luận LLM low-bit độ chính xác cao, được tối ưu hóa liền mạch cho CPU/XPU/CUDA, hỗ trợ đa kiểu dữ liệu và tương thích hoàn toàn với vLLM, SGLang và Transformers.

Dòng mô hình ASR dựa trên LLM mã nguồn mở cho tiếng Trung, phương ngữ, tiếng địa phương và giọng nói đa ngôn ngữ, với các thời gian chạy FunASR, vLLM, streaming và llama.cpp.

Giao diện cho các mô hình OuteTTS.

Ứng dụng AI cục bộ và công cụ suy luận cho các tác nhân. Chạy các LLM mã nguồn mở cục bộ — riêng tư, 100% ngoại tuyến trên máy tính của bạn.

Một công cụ DevOps mã nguồn mở từ CNCF dùng để đóng gói và quản lý phiên bản cho các mô hình AI/ML, tập dữ liệu, mã nguồn và cấu hình thành một OCI Artifact.

Studio AI cục bộ cắm và chạy: trò chuyện không kiểm duyệt, tạo hình ảnh & video, tác nhân lập trình. Chạy các LLM đã loại bỏ kiểm duyệt + ComfyUI ngoại tuyến 100%. Một trình cài đặt duy nhất, không cần Docker, không cần đám mây.

Máy chủ suy luận LLM gốc cho Apple Silicon. Tương thích với API OpenAI và Anthropic. Không sử dụng Python. Bao gồm ứng dụng MLX Core trên macOS với tính năng trò chuyện, chế độ đại lý và gọi công cụ.

Giao diện dòng lệnh (CLI) để ước tính dung lượng bộ nhớ suy luận cho các mô hình Hugging Face, viết bằng Python.

LLM.swift là một thư viện đơn giản và dễ đọc cho phép bạn tương tác cục bộ với các mô hình ngôn ngữ lớn trên macOS, iOS, watchOS, tvOS và visionOS.

Suy luận Llama 3+ bằng Java thuần.

Bộ công cụ AI phía máy khách (client-side) hoạt động hoàn toàn ngoại tuyến tiên tiến nhất trên Android hiện nay.

Công cụ dịch màn hình Android thời gian thực mã nguồn mở không cần ROOT, phù hợp cho trò chơi, tiểu thuyết hình ảnh và manga. Hỗ trợ OCR trên thiết bị và đám mây, LLM ngoại tuyến, nhiều dịch vụ dịch thuật, hiển thị bản dịch trên màn hình và chuyển văn bản thành giọng nói (TTS).

Go với trí tuệ của riêng bạn - Các ứng dụng Go tích hợp trực tiếp llama.cpp để suy luận cục bộ sử dụng tăng tốc phần cứng.

Các node ComfyUI dành cho mô hình ngôn ngữ - thị giác: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Cùng với khả năng phát hiện từ vựng mở, phân đoạn SAM2/SAM3, suy luận thời gian trong video, GGUF qua llama.cpp và các API LLM/VLM được lưu trữ.

Thư viện Go cho tìm kiếm vector nhúng và nhúng ngữ nghĩa sử dụng llama.cpp

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.