llm-inference

Suy luận Llama 3+ bằng Java thuần.

LeaderWorkerSet: Một API để triển khai nhóm các pod như một đơn vị sao chép

LLM-PowerHouse: Khai phá tiềm năng của LLM thông qua các hướng dẫn được tuyển chọn, phương pháp thực hành tốt nhất và mã nguồn sẵn sàng sử dụng cho việc huấn luyện và suy luận tùy chỉnh.

LLMFlows - Ứng dụng LLM đơn giản, rõ ràng và minh bạch

USP: Unified (hay còn gọi là Hybrid, 2D) Sequence Parallel Attention cho việc huấn luyện và suy luận mô hình Transformers ngữ cảnh dài

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Công cụ suy luận (Inference Engine) viết bằng Rust thuần

Giải mã LLM nhanh hơn tới 4 lần trên Apple Silicon, không mất dữ liệu. Bản port MLX gốc của DSpark từ DeepSeek và DFlash từ z-lab cho giải mã suy đoán — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。

Công cụ suy luận LLM hỗ trợ RDNA gốc viết bằng Rust

Giải pháp thay thế Ollama cho Rockchip NPU: Giải pháp hiệu quả để chạy các mô hình AI và Deep learning trên thiết bị Rockchip với hỗ trợ NPU tối ưu (rkllm)

Yet Another Language Model: Suy luận LLM bằng C++/CUDA, không sử dụng thư viện ngoại trừ I/O.

SDK AI cục bộ mã nguồn mở - chạy AI trên thiết bị mà không cần đám mây, không cần khóa API. Hỗ trợ GGUF, RAG, tạo hình ảnh, âm nhạc, video, chuyển đổi giọng nói thành văn bản, suy luận P2P và nhiều tính năng khác. Đa nền tảng: Linux, macOS, Windows, Android, iOS.

Nền tảng tìm kiếm web tối giản với trợ lý AI chạy trực tiếp từ trình duyệt của bạn. Bản demo: https://felladrin-minisearch.hf.space

CLI để chạy số lượng lớn các tác tử lập trình song song với git worktrees

Trợ lý AI cục bộ

Tinh chỉnh (Fine-Tuning) mô hình ngôn ngữ lớn (LLM).

Dự án thực hành cho sinh viên, hướng dẫn tự xây dựng khung suy luận mô hình lớn hỗ trợ LLama2/3 và Qwen2.5 từ con số không.

Công cụ suy luận mini qwen3-0.6B tĩnh, chạy trên CUDA, không cần phụ thuộc

Công cụ phục vụ LLM với độ trễ thấp và thông lượng cao

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Krasis là một runtime LLM lai tập trung vào việc chạy hiệu quả các mô hình lớn trên phần cứng tiêu dùng bị giới hạn VRAM

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Công cụ giao diện dòng lệnh để phục vụ LLM sử dụng vLLM