intentee

Load balancer dan platform penyajian LLM/VLM open-source untuk hosting mandiri LLM (dan VLM) dalam skala besar 🏓🦙 Alternatif untuk proyek seperti llm-d, Docker Model Runner, dll tetapi dengan komponen yang lebih sedikit dan penerapan sederhana yang dibangun di sekitar ekosistem ggml. Berjalan di CPU dan GPU.