intentee

Nền tảng phục vụ và cân bằng tải LLM/VLM mã nguồn mở để tự host LLM (và VLM) quy mô lớn 🏓🦙 Thay thế cho các dự án như llm-d, Docker Model Runner, v.v. nhưng ít thành phần phụ thuộc hơn và dễ dàng triển khai xoay quanh hệ sinh thái ggml. Chạy được trên CPU và GPU.