llama-cpp

Phân phối và chạy các LLM chỉ với một file duy nhất.

Ứng dụng đọc chính tả macOS nhanh nhất và duy nhất có tính năng STT trên thiết bị và mô hình cải tiến AI được huấn luyện tùy chỉnh. Có sẵn bản dựng sẵn cho Windows! Một giải pháp thay thế Wispr Flow cục bộ. Nhắn tin cho chúng tôi trên X để nhận trứng Phục sinh 😉 - https://x.com/fluidvoiceapp

Một chatbot giống ChatGPT tự lưu trữ, chạy ngoại tuyến. Được hỗ trợ bởi Llama 2. Bảo mật 100%, không có dữ liệu nào rời khỏi thiết bị của bạn. Mới: Hỗ trợ Code Llama!

Thay thế GPT bằng bất kỳ LLM nào chỉ với một dòng mã. Xinference cho phép bạn chạy các mô hình mã nguồn mở, giọng nói và đa phương thức trên đám mây, tại chỗ hoặc trên máy tính xách tay — tất cả thông qua một API suy luận thống nhất, sẵn sàng cho môi trường sản xuất.

Mô hình SenseVoiceSmall mã nguồn mở cho ASR tiếng Quan Thoại, Quảng Đông, Anh, Nhật và Hàn, nhận diện ngôn ngữ, cảm xúc và sự kiện âm thanh.

Biến PC, Mac hoặc máy Linux của bạn thành một AI server. Suy luận LLM, giao diện trò chuyện, giọng nói, tác nhân, quy trình làm việc, RAG và tạo hình ảnh.

Thư viện C#/.NET để chạy LLM (🦙LLaMA/LLaVA) trên thiết bị cục bộ của bạn một cách hiệu quả.

Nền tảng kỹ năng camera AI mã nguồn mở, AI NVR & Giám sát CCTV. Phân tích video VLM cục bộ với Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Tác nhân camera bảo mật hỗ trợ LLM — theo dõi, hiểu, ghi nhớ và bảo vệ ngôi nhà của bạn qua Telegram, Discord hoặc Slack. Các kỹ năng AI có thể cắm rời. OpenAI, Google, Anthropic hoặc AI cục bộ. Chạy trên Mac Mini & AI PC.

Bộ công cụ đa năng cho AI ngoại tuyến. Trò chuyện, xem, nói chuyện và tạo hình ảnh trên điện thoại hoặc Mac — GGUF LLMs, thị giác máy tính, chuyển giọng nói thành văn bản Whisper, Stable Diffusion, gọi công cụ và máy chủ mạng nội bộ. Chạy trên CPU, GPU hoặc NPU của bạn. Không tài khoản, không khóa API, dữ liệu không rời khỏi thiết bị của bạn.

Máy chủ suy luận phỏng đoán LLM cho phần cứng tiêu dùng và không đồng nhất

Maid là một ứng dụng mã nguồn mở và miễn phí để giao tiếp với các mô hình llama.cpp cục bộ, và với các mô hình Anthropic, DeepSeek, Ollama, Mistral và OpenAI từ xa.

AI Agent ưu tiên cục bộ. Được tối ưu hóa cho các mô hình AI chạy trên thiết bị. Cửa sổ ngữ cảnh dài. Hỗ trợ gọi công cụ chính xác. Hoạt động riêng tư trên thiết bị của bạn.

Một framework Python dành cho việc gọi công cụ LLM tự lưu trữ và quy trình làm việc đa bước của agent

Chạy các mô hình AI cục bộ trên máy của bạn với node.js bindings cho llama.cpp. Áp đặt JSON schema lên đầu ra của mô hình ở cấp độ tạo văn bản.

Tạo nhân vật trong Unity bằng LLM!

Trò chuyện với Mac của bạn, truy vấn tài liệu mà không cần đám mây. AI giọng nói trên thiết bị + RAG

Dòng mô hình ASR dựa trên LLM mã nguồn mở cho tiếng Trung, phương ngữ, tiếng địa phương và giọng nói đa ngôn ngữ, với các thời gian chạy FunASR, vLLM, streaming và llama.cpp.

Một ngôi nhà ấm cúng dành cho các LLM của bạn.

llama.go giống như llama.cpp viết bằng Golang thuần túy!

Binding React Native của llama.cpp

Xây dựng và chạy các AI agent bằng Docker Compose. Bộ sưu tập các ví dụ sẵn sàng sử dụng để điều phối LLM mã nguồn mở, công cụ và môi trường chạy agent.

Cotabby là công cụ tự động hoàn thành bằng AI cục bộ cho toàn bộ máy Mac của bạn. Mã nguồn mở. Chạy trên thiết bị. Ở mọi nơi bạn gõ.

Công cụ giám sát hệ thống Apple Silicon không cần sudo (GUI SwiftUI gốc) với tính năng theo dõi ANE / Media Engine / băng thông bộ nhớ

Công cụ dịch màn hình Android thời gian thực mã nguồn mở không cần ROOT, phù hợp cho trò chơi, tiểu thuyết hình ảnh và manga. Hỗ trợ OCR trên thiết bị và đám mây, LLM ngoại tuyến, nhiều dịch vụ dịch thuật, hiển thị bản dịch trên màn hình và chuyển văn bản thành giọng nói (TTS).

Một tác nhân lập trình tối giản, chạy trên terminal được viết bằng C.

Phỏng vấn tự đánh giá dành cho lập trình viên AI

Các node ComfyUI dành cho mô hình ngôn ngữ - thị giác: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Cùng với khả năng phát hiện từ vựng mở, phân đoạn SAM2/SAM3, suy luận thời gian trong video, GGUF qua llama.cpp và các API LLM/VLM được lưu trữ.

GraphRAG-rs là bản triển khai Rust hiệu năng cao, hiện đại của GraphRAG (Graph-based Retrieval Augmented Generation), giúp xây dựng đồ thị tri thức từ tài liệu và cho phép truy vấn bằng ngôn ngữ tự nhiên với khả năng trích xuất thực thể có thể cấu hình và tích hợp LLM cục bộ

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp