llm-inference

Inferensi Llama 3+ dalam Java murni.

LeaderWorkerSet: Sebuah API untuk mendeploy sekelompok pod sebagai unit replikasi

LLM-PowerHouse: Maksimalkan potensi LLM melalui tutorial terkurasi, praktik terbaik, dan kode siap pakai untuk pelatihan serta inferensi kustom.

LLMFlows - Aplikasi LLM yang sederhana, eksplisit, dan transparan.

USP: Unified (alias Hybrid, 2D) Sequence Parallel Attention untuk Pelatihan dan Inferensi Model Transformers Konteks Panjang

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Mesin Inferensi Pure Rust

Dekode LLM hingga 4x lebih cepat di Apple Silicon, tanpa kehilangan data. Port MLX asli dari DSpark DeepSeek & DFlash speculative decoding z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。

Mesin inferensi LLM asli RDNA dalam Rust.

Alternatif Ollama untuk Rockchip NPU: Solusi efisien untuk menjalankan model AI dan Deep learning pada perangkat Rockchip dengan dukungan NPU yang dioptimalkan (rkllm)

Yet Another Language Model: Inferensi LLM dalam C++/CUDA, tanpa pustaka kecuali untuk I/O

SDK AI lokal open-source - jalankan AI di perangkat tanpa cloud, tanpa kunci API. Mendukung GGUF, RAG, generasi gambar, musik, dan video, speech-to-text, inferensi P2P, dan lainnya. Lintas platform: Linux, macOS, Windows, Android, iOS.

Platform pencarian web minimalis dengan asisten AI yang berjalan langsung dari browser Anda. Demo: https://felladrin-minisearch.hf.space

CLI untuk menjalankan sejumlah besar agen pengodean secara paralel dengan git worktrees

Asisten AI Lokal

FineTuning LLM (Large Language Model)

Proyek bagus untuk rekrutmen kampus, rekrutmen musim gugur, musim semi, dan magang, membimbing Anda membangun kerangka kerja inferensi model besar dari awal yang mendukung LLama2/3 dan Qwen2.5.

Mesin inferensi mini qwen3-0.6B khusus CUDA batch tunggal statis yang suckless

Mesin penayangan latensi rendah & throughput tinggi untuk LLM

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Krasis adalah runtime Hybrid LLM yang berfokus pada efisiensi menjalankan model yang lebih besar pada perangkat keras tingkat konsumen dengan VRAM terbatas

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Alat antarmuka baris perintah (CLI) untuk menyajikan LLM menggunakan vLLM.