gguf

Ratusan model & penyedia. Satu perintah untuk menemukan apa yang berjalan di perangkat keras Anda.

Distribusikan dan jalankan LLM dengan satu file.

⚡ Mesin inferensi WebGPU berbasis Pure-Rust — Kompatibel dengan OpenAI-API, mendukung GGUF secara native, berjalan di GPU apa pun. Tanpa Python. Tanpa llama.cpp. Berupa biner tunggal.

Fine-tune LLM dari satu file YAML. Streaming layer melatih model 8B pada GPU laptop 4 GB.

Pisau lipat Swiss untuk AI offline. Mengobrol, melihat, berbicara, dan menghasilkan gambar di ponsel atau Mac Anda — mendukung LLM GGUF, visi, pengenalan suara Whisper, Stable Diffusion, pemanggilan alat, dan server jaringan lokal. Berjalan di CPU, GPU, atau NPU Anda. Tanpa akun, tanpa kunci API, data tidak keluar dari perangkat Anda.

Maid adalah aplikasi sumber terbuka gratis untuk berinteraksi dengan model llama.cpp secara lokal, serta model Anthropic, DeepSeek, Ollama, Mistral, dan OpenAI secara jarak jauh.

Belajar Ollama secara praktis, menjalankan deployment model besar di CPU, baca daring di: https://datawhalechina.github.io/handy-ollama/

AI Agent Local First. Dioptimalkan untuk model AI lokal. Jendela konteks panjang. Pemanggilan alat yang tepat. Berjalan secara pribadi di perangkat Anda.

Framework Agen LLM di ComfyUI mencakup server MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0, dan node prompt FLUX, akses ke Feishu, discord, serta beradaptasi dengan semua LLM dengan antarmuka serupa openai / aisuite, seperti o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Diadaptasi untuk LLM lokal, VLM, GGUF seperti llama-3.3, Janus-Pro, dan Linkage graphRAG

Jalankan model AI secara lokal di mesin Anda dengan binding node.js untuk llama.cpp. Terapkan skema JSON pada output model di tingkat generasi

Inferensi speech-to-text ggml untuk 16+ keluarga model

Mari kelola model Ollama Anda

Algoritma kuantisasi SOTA untuk inferensi LLM bit-rendah dengan akurasi tinggi, dioptimalkan secara mulus untuk CPU/XPU/CUDA, dengan dukungan berbagai tipe data dan kompatibilitas penuh dengan vLLM, SGLang, dan Transformers.

Keluarga model ASR berbasis LLM open-source untuk bahasa Mandarin, dialek, aksen, dan ucapan multilingual, lengkap dengan runtime FunASR, vLLM, streaming, dan llama.cpp.

Antarmuka untuk model OuteTTS.

Aplikasi AI lokal dan mesin inferensi untuk agen. Jalankan LLM bobot-terbuka secara lokal — privat, 100% offline di komputer Anda. Bergabunglah dengan Discord kami: https://discord.com/invite/8wGSsvmg4V

Alat DevOps sumber terbuka dari CNCF untuk memaketkan dan melakukan versi pada model AI/ML, dataset, kode, serta konfigurasi ke dalam OCI Artifact.

Studio AI lokal siap pakai: obrolan tanpa sensor, pembuatan gambar & video, agen koding. Menjalankan LLM abliterated + ComfyUI 100% secara offline. Satu penginstal, tanpa Docker, tanpa cloud.

Server inferensi LLM native untuk Apple Silicon. Kompatibel dengan API OpenAI + Anthropic. Tanpa Python. Termasuk aplikasi macOS MLX Core dengan obrolan, mode agen, dan pemanggilan alat.

CLI untuk memperkirakan kebutuhan memori inferensi untuk model Hugging Face, ditulis dengan Python.

LLM.swift adalah pustaka yang sederhana dan mudah dibaca yang memungkinkan Anda berinteraksi dengan model bahasa besar secara lokal dengan mudah untuk macOS, iOS, watchOS, tvOS, dan visionOS.

Inferensi Llama 3+ dalam Java murni.

Suite AI sisi klien yang sepenuhnya offline dan paling canggih di Android saat ini.

Alat penerjemah layar real-time Android sumber terbuka tanpa ROOT, cocok untuk game, novel visual, dan manga. Mendukung OCR perangkat dan cloud, LLM offline, berbagai layanan terjemahan, dan text-to-speech (TTS), dengan terjemahan yang langsung ditampilkan di layar.

Gunakan kecerdasan Anda sendiri - Aplikasi Go yang secara langsung mengintegrasikan llama.cpp untuk inferensi lokal menggunakan akselerasi perangkat keras.

Node ComfyUI untuk model vision-language: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Ditambah deteksi open-vocabulary, segmentasi SAM2/SAM3, penalaran temporal video, GGUF melalui llama.cpp, dan API LLM/VLM yang dihost.

Pustaka Go untuk pencarian vektor tersemat dan embedding semantik menggunakan llama.cpp

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.