inference-server
Repositori open source terpantau bertanda inference-server, diurutkan berdasarkan bintang.
Topik terkait
Topik yang sering muncul berdampingan dengan inference-server di repositori yang sama.
Yang sedang naik
Repositori yang dibuat dalam 90 hari terakhir dan bertanda inference-server.
Tidak ada repositori baru bertanda topik ini dalam 90 hari terakhir.
- #1
Server inferensi LLM dengan continuous batching & caching SSD untuk Apple Silicon — dikelola dari menu bar macOS
★ 21.333+380Perubahan bintang dalam 7 hari terakhir - #2
⚡ Mesin inferensi WebGPU berbasis Pure-Rust — Kompatibel dengan OpenAI-API, mendukung GGUF secara native, berjalan di GPU apa pun. Tanpa Python. Tanpa llama.cpp. Berupa biner tunggal.
★ 5.816+6Perubahan bintang dalam 7 hari terakhir - #3
RamaLama adalah alat pengembang open-source yang menyederhanakan penyajian lokal model AI dari sumber apa pun dan memfasilitasi penggunaannya untuk inferensi dalam produksi, semuanya melalui bahasa kontainer yang sudah dikenal.
★ 3.031+6Perubahan bintang dalam 7 hari terakhir - #4
Server inferensi sumber terbuka dan kluster produksi untuk semua model yang dibutuhkan agen Anda.
★ 3.030+173Perubahan bintang dalam 7 hari terakhir - #5
Ubah komputer atau perangkat edge apa pun menjadi pusat kendali untuk proyek visi komputer Anda.
★ 2.431+2Perubahan bintang dalam 7 hari terakhir - #6
Server inferensi LLM yang kompatibel dengan OpenAI dan Anthropic berkinerja tinggi untuk Apple Silicon. Dilengkapi MLX asli, continuous batching, model multimodal, pemanggilan alat MCP, dan dukungan Claude Code.
★ 1.557+6Perubahan bintang dalam 7 hari terakhir - #7★ 1.199+3Perubahan bintang dalam 7 hari terakhir
- #8★ 1.056+16Perubahan bintang dalam 7 hari terakhir
- #9
Kerangka kerja computer vision open-source untuk membangun dan menerapkan aplikasi dalam hitungan menit
★ 851+0Perubahan bintang dalam 7 hari terakhir
