gpt-oss

Mulai dan jalankan Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma, dan model lainnya.

Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM

SGLang adalah kerangka kerja penyajian berkinerja tinggi untuk model bahasa besar dan model multimodal.

[MLsys2026]: RAG untuk segalanya dengan LEANN. Hemat penyimpanan hingga 97% sambil menjalankan aplikasi RAG yang cepat, akurat, dan 100% privat di perangkat pribadi Anda.

Lakukan fine-tuning, evaluasi, dan deploy Qwen, Gemma, atau LLM open weight lainnya dengan mudah!

Jalankan LLM dan VLM terdepan secara lokal di perangkat Qualcomm melalui NPU, GPU, dan CPU hanya dengan beberapa baris kode

Mesin pelatihan generasi berikutnya yang dibangun untuk model MoE skala ultra-besar.

Aplikasi macOS native yang memungkinkan pengguna mengobrol dengan LLM lokal yang dapat merespons dengan informasi dari file, folder, dan situs web di Mac Anda tanpa menginstal perangkat lunak lain. Didukung oleh llama.cpp.

Plugin Zotero AI dan MCP yang kuat dengan ChatGPT, Gemini 3.6, Claude Fable 5, Claude Sonnet 5, DeepSeek V4, Grok, OpenRouter, Kimi k3, GLM 5.2, SiliconFlow, GPT-oss, Gemma 4, Qwen 3.7

TokenSpeed adalah mesin inferensi LLM secepat kilat.

Aplikasi AI lokal dan mesin inferensi untuk agen. Jalankan LLM bobot-terbuka secara lokal — privat, 100% offline di komputer Anda. Bergabunglah dengan Discord kami: https://discord.com/invite/8wGSsvmg4V

Workstation Agen Ringan untuk Codex CLI + Claude Code — dengan penjadwal tugas, git worktree & kendali jarak jauh

🚀 Pustaka pelatihan native Pytorch Distributed untuk LLM/VLM dengan dukungan bawaan Hugging Face

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp