local-llm

Framework AI agent cá nhân siêu nhẹ, mã nguồn mở, tự host bằng Python với WebUI, công cụ, bộ nhớ, MCP, quy trình làm việc đa agent, tự động hóa và ứng dụng trò chuyện

Phân phối và chạy các LLM chỉ với một file duy nhất.

Đạt ~95% trên SimpleQA (ví dụ: Qwen3.6-27B trên RTX 3090). Hỗ trợ tất cả các LLM cục bộ và đám mây (llama.cpp, Ollama, Google,...). Hơn 10 công cụ tìm kiếm - arXiv, PubMed, tài liệu riêng tư. Mọi thứ đều cục bộ và được mã hóa.

Framework điều phối AI agent bằng TypeScript với quy trình làm việc động. Mô tả mục tiêu chứ không phải đồ thị: một bộ điều phối sẽ lập kế hoạch cho DAG nhiệm vụ tại thời điểm chạy và thực thi nó trên bất kỳ LLM nào (Claude, ChatGPT, Gemini, DeepSeek hoặc các mô hình cục bộ).

Nền tảng voice AI mã nguồn mở. Giải pháp thay thế tự lưu trữ cho Vapi và Retell. On Prem, BYOK qua Speech to Speech hoặc LLM/STT/TTS, tích hợp trình xây dựng quy trình trực quan, hỗ trợ MCP native và điện thoại.

AI y tế ưu tiên cục bộ: nhận diện thực thể y tế (clinical NER) và ẩn danh thông tin nhận dạng cá nhân tuân thủ HIPAA chạy 100% trên thiết bị. Hơn 2.200 mô hình y tế, 21 ngôn ngữ, Apple MLX + Python, không dùng đám mây, không dữ liệu bệnh nhân nào rời khỏi mạng của bạn. Giấy phép Apache-2.0

Tinh chỉnh LLMs chỉ từ một YAML. Layer streaming đào tạo mô hình 8B trên GPU laptop 4 GB.

Khai thác LLM với Lập trình Đa tác nhân (Multi-Agent Programming)

Công cụ AI cục bộ nhanh nhất cho Apple Silicon. Nhanh hơn 4.2x so với Ollama, TTFT được lưu vào bộ nhớ đệm 0.08s, gọi công cụ 100%. 17 trình phân tích cú pháp công cụ, bộ nhớ đệm prompt, tách biệt suy luận, định tuyến đám mây. Thay thế trực tiếp cho OpenAI. Hoạt động với Claude Code, Cursor, Aider.

Sổ tay AI cá nhân. Tổ chức tệp & trang web và tạo ghi chú từ chúng. Mã nguồn mở, dữ liệu cục bộ & mở, tự do lựa chọn mô hình (bao gồm cả cục bộ).

Chạy Claude Code 100% trên thiết bị với AI cục bộ trên Apple Silicon. Máy chủ Anthropic-API gốc MLX. Gồm 6 mô hình bao gồm Muse-Glimmer 30B (đa phương thức — đọc hình ảnh), Gemma 4 31B, Qwen 3.5 122B (65 token/s), DeepSeek V4 Flash (ngữ cảnh 1M). Riêng tư, ngoại tuyến, sẵn sàng cho môi trường cách ly. Được xây dựng cho các quy trình công việc pháp lý / y tế / bảo mật thông tin.

Máy chủ web Go nguyên bản nhỏ gọn, hỗ trợ Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, React 19 không cần npm, SQLite và PostgreSQL ++

Danh sách được tuyển chọn về các nền tảng, công cụ, thực tiễn và tài nguyên tuyệt vời giúp chạy LLM cục bộ

Một bộ khung được tối ưu hóa cho các LLM nhỏ hơn

AI Agent ưu tiên cục bộ. Được tối ưu hóa cho các mô hình AI chạy trên thiết bị. Cửa sổ ngữ cảnh dài. Hỗ trợ gọi công cụ chính xác. Hoạt động riêng tư trên thiết bị của bạn.

Dịch sách và tài liệu dài với Ollama, OpenAI (tương thích), Gemini, Mistral, Poe hoặc OpenRouter. Giữ nguyên định dạng. Tiếp tục từ nơi bạn đã dừng lại. Không giới hạn kích thước tệp.

Endpoint API chuyển văn bản thành giọng nói miễn phí, chất lượng cao để thay thế OpenAI, Azure hoặc ElevenLabs

AI đa thức thời gian thực trên thiết bị với các tính năng tương tự GPT-Live

Máy chủ suy luận LLM hiệu năng cao tương thích với OpenAI và Anthropic dành cho Apple Silicon. Hỗ trợ MLX native, continuous batching, các mô hình đa phương thức, gọi công cụ MCP và Claude Code.

Row-Bot - Chủ quyền AI cá nhân. Trợ lý AI ưu tiên cục bộ với các công cụ tích hợp, biểu đồ kiến thức cá nhân, giọng nói, thị giác, shell, tự động hóa trình duyệt, tác vụ theo lịch trình, theo dõi sức khỏe và kênh nhắn tin. Chạy cục bộ thông qua Ollama hoặc thêm các mô hình đám mây tùy chọn. Dữ liệu của bạn được giữ trên máy của bạn.

Ứng dụng AI cục bộ và công cụ suy luận cho các tác nhân. Chạy các LLM mã nguồn mở cục bộ — riêng tư, 100% ngoại tuyến trên máy tính của bạn.

Tinh chỉnh LLM trên máy Mac của bạn với Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding và tinh chỉnh OCR — chạy gốc trên MLX. API tương thích với Unsloth.

Studio AI cục bộ cắm và chạy: trò chuyện không kiểm duyệt, tạo hình ảnh & video, tác nhân lập trình. Chạy các LLM đã loại bỏ kiểm duyệt + ComfyUI ngoại tuyến 100%. Một trình cài đặt duy nhất, không cần Docker, không cần đám mây.

🌌 Thổi hồn cho các nhân vật yêu thích của bạn. Soul of Waifu là ứng dụng trò chuyện nhập vai trên màn hình desktop & trợ lý AI tích hợp avatar Live2D/VRM, trò chuyện bằng giọng nói và LLM cục bộ. Cùng nhau phát triển qua các đoạn chat nhập vai, phiêu lưu RPG và ngay trên màn hình desktop của bạn.

Ouroboros — AI agent tự tạo. Ra đời ngày 16 tháng 2 năm 2026.

WUPHF cho phép bạn khởiχ tạo văn phòng cá nhân gồm các đồng nghiệp AI cộng tác qua ngữ cảnh chung. Hỗ trợ Claude Code, Codex, OpenClaw, OpenCode, các LLM cục bộ.

Qwen3.8-27B chạy trên một card RTX 3090 duy nhất với vLLM: ~1.000 tok/s ở mức 64 luồng đồng thời (int8 tensor-core GEMMs, trạng thái fp16 DeltaNet), ~114 tok/s cho người dùng đơn lẻ ở chế độ lấy mẫu mặc định / ~124 greedy (MTP drafts, từ vựng dự đoán đầu ra riêng, lm_head int4 đã hiệu chỉnh, split-KV verify attention), ngữ cảnh 150k-262k; bao gồm các bản vá, tập lệnh tái lượng tử hóa và các bài kiểm tra hiệu năng.

Một MCP server tìm kiếm web đơn giản, được lưu trữ cục bộ để sử dụng với Local LLMs

Synthadoc: Công cụ biên dịch kiến thức LLM mã nguồn mở biến tài liệu thô thành wiki cấu trúc, ưu tiên cục bộ. Giải pháp thay thế minh bạch, con người có thể đọc được cho RAG truyền thống, có thể tự quản lý và tự cải thiện mà không cần sử dụng bất kỳ công cụ nào.

Máy chủ suy luận LLM gốc cho Apple Silicon. Tương thích với API OpenAI và Anthropic. Không sử dụng Python. Bao gồm ứng dụng MLX Core trên macOS với tính năng trò chuyện, chế độ đại lý và gọi công cụ.