inference-engine

Analisis kode sumber, desain sistem, dan catatan praktik rekayasa perangkat lunak

Kimi K3 dengan 2,78 triliun parameter yang menjalankan inferensi pada satu CPU dalam RAM 8,24 GB. C99 portabel: tanpa BLAS, tanpa framework, tanpa GPU.

FEDML - Pustaka ML yang terpadu dan dapat diskalakan untuk pelatihan terdistribusi skala besar, penyajian model, dan federated learning. FEDML Launch, penjadwal lintas cloud, memungkinkan eksekusi pekerjaan AI apa pun di cloud GPU atau klaster on-premise mana pun. Dibangun di atas pustaka ini, TensorOpera AI (https://TensorOpera.ai) adalah platform AI generatif Anda dalam skala besar.

Proyek untuk rekrutmen kampus. Implementasi pustaka inferensi deep learning berkinerja tinggi dari nol, mendukung model seperti Llama2, Unet, Yolov5, dan Resnet.

Implementasi mesin aturan dalam Golang

OneDiff: Pustaka akselerasi siap pakai untuk model difusi.

Mesin inferensi LLM berskala besar

Kecepatan 3x lebih cepat pada MLX | Qwen 3.8 27B | Native MTP Speculative Decoding pada Apple Silicon tanpa Drafter eksternal.

Mesin inferensi performa tinggi untuk model LLM, VLM, DiT, dan REC, yang dioptimalkan untuk berbagai akselerator AI. Dihosting di OpenAtom Foundation.

Qualcomm® AI Hub Models adalah koleksi model machine learning canggih yang dioptimalkan untuk performa (latensi, memori, dll.) dan siap diterapkan di perangkat Qualcomm®.

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

Paddle.js adalah proyek web untuk Baidu PaddlePaddle, yang merupakan kerangka kerja pembelajaran mendalam sumber terbuka yang berjalan di browser. Paddle.js dapat memuat model yang telah dilatih sebelumnya, atau mengubah model dari paddle-hub dengan alat pengubah model yang disediakan oleh Paddle.js. Ini dapat berjalan di setiap browser yang mendukung WebGL/WebGPU/WebAssembly. Ini juga dapat berjalan di Baidu Smartprogram dan WX miniprogram.

NobodyWho adalah mesin inferensi yang memungkinkan Anda menjalankan LLM secara lokal dan efisien di perangkat apa pun.

MLX Studio - Rumah JANG_Q - Pembuatan/Pengeditan Gambar + Obrolan/Kode Semua dalam satu - + OpenClaw (Anthropic API)

Mesin akselerasi inferensi LLM yang sangat dioptimalkan untuk Llama dan variannya.

Framework Computer Vision & Analisis Video Python yang Lengkap dan Siap Pakai

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Dekode LLM hingga 4x lebih cepat di Apple Silicon, tanpa kehilangan data. Port MLX asli dari DSpark DeepSeek & DFlash speculative decoding z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

Yet Another Language Model: Inferensi LLM dalam C++/CUDA, tanpa pustaka kecuali untuk I/O

Representasi basis umum kode sumber python untuk pylint dan proyek lainnya

Proyek bagus untuk rekrutmen kampus, rekrutmen musim gugur, musim semi, dan magang, membimbing Anda membangun kerangka kerja inferensi model besar dari awal yang mendukung LLama2/3 dan Qwen2.5.

Dari guru ke tile — mesin distilasi & penyajian LLM dari awal: kernel Triton/CUDA kustom, distilasi FSDP, batching kontinu paged-KV, dekoding spekulatif, gateway Rust, oracle JAX, dan alat interpretabilitas.

Krasis adalah runtime Hybrid LLM yang berfokus pada efisiensi menjalankan model yang lebih besar pada perangkat keras tingkat konsumen dengan VRAM terbatas

Mesin inferensi untuk perangkat Intel. Menjalankan LLM, VLM, Whisper, Kokoro-TTS, model Embedding dan Rerank melalui endpoint OpenAI.