llm-inference

Inferensi LLM terdistribusi. Hubungkan perangkat rumah ke dalam kluster yang kuat untuk mempercepat inferensi LLM. Semakin banyak perangkat, semakin cepat inferensinya.

Medusa: Framework Sederhana untuk Mempercepat Generasi LLM dengan Multiple Decoding Heads

Implementasi Resmi dari EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), dan EAGLE-3 (NeurIPS'25).

Sebuah coding agent terbuka untuk terminal Anda, yang dibangun oleh kolektif komunitas alih-alih perusahaan. Gunakan model Anda sendiri, simpan kode di mesin Anda, dan bebas dari ikatan apa pun.

Framework Agen untuk ekosistem PHP guna membangun aplikasi berbasis AI yang siap produksi. Menghubungkan komponen (LLM, Tools, DB vektor, memori) ke agen yang berinteraksi dengan data dan UI Anda.

AICI: Prompt sebagai program (Wasm)

Jalankan Llama 2 apa pun secara lokal dengan antarmuka gradio di GPU atau CPU dari mana saja (Linux/Windows/Mac). Gunakan `llama2-wrapper` sebagai backend llama2 lokal Anda untuk Agen/Aplikasi Generatif.

Inferensi GPU serverless yang sangat cepat, sandbox, dan pekerjaan latar belakang

Cara deklaratif untuk menjalankan model AI di React Native secara on-device, didukung oleh ExecuTorch.

Platform Riset Benchmark Inferensi Berkelanjutan Open Source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & segera hadir™ TPUv6e/v7/Trainium2/3 | Platform riset benchmark inferensi berkelanjutan open-source — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, segera hadir™ TPUv6e/v7/Trainium2/3

Mesin inferensi performa tinggi untuk model LLM, VLM, DiT, dan REC, yang dioptimalkan untuk berbagai akselerator AI. Dihosting di OpenAtom Foundation.

Organisasi nirlaba yang memajukan AI di India melalui kredit, hibah, dan sumber daya

Jalankan LLM lokal seperti llama, deepseek-distill, kokoro, dan lainnya langsung di dalam browser Anda

Daftar perangkat lunak yang memungkinkan pencarian web dengan bantuan AI: https://hf.co/spaces/felladrin/awesome-ai-web-search

Aplikasi AI lokal dan mesin inferensi untuk agen. Jalankan LLM bobot-terbuka secara lokal — privat, 100% offline di komputer Anda. Bergabunglah dengan Discord kami: https://discord.com/invite/8wGSsvmg4V

Rumah untuk "How To Scale Your Model", buku teks singkat bergaya blog tentang penskalaan LLM pada TPU

Kumpulan kurasi alat penetration testing tingkat atas dan utilitas produktivitas di berbagai domain. Bergabunglah dengan kami untuk menjelajahi, berkontribusi, dan meningkatkan perangkat peretasan Anda!

LLM sebagai Copilot untuk Pembuktian Teorema di Lean

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark

Meyederhanakan dan mengefisienkan desain prompt untuk pengembang dan pengguna non-teknis dengan pendekatan low-code.

Bangun mesin inferensi LLM berkinerja tinggi Anda sendiri dalam C++ dan CUDA - versi yang lebih kecil dari vLLM.

OpenAlpha_Evolve adalah kerangka kerja Python sumber terbuka yang terinspirasi oleh penelitian inovatif tentang agen pengkodean otonom seperti AlphaEvolve dari DeepMind.

“AI-Compass” akan memandu komunitas dalam menavigasi lautan teknologi AI. Baik Anda pemula maupun pengembang tingkat lanjut, Anda dapat menemukan jalur ke berbagai arah AI di sini. Bertujuan untuk membantu pengembang memahami konsep inti AI, teknologi utama, dan tren terkini secara sistematis, serta menguasai seluruh proses dari teori hingga implementasi melalui praktik.

Daftar hosting hebat yang diurutkan berdasarkan harga paket minimum

Implementasi C++ murni dari beberapa model untuk obrolan waktu nyata di komputer Anda (CPU & GPU)

Mesin akselerasi inferensi LLM yang sangat dioptimalkan untuk Llama dan variannya.

Catatan LLM, termasuk inferensi model, struktur model transformer, dan catatan analisis kode kerangka kerja LLM.

Roadmap 10 minggu, 30 menit per hari untuk inferensi dan pengoptimalan penyajian LLM. vLLM, SGLang, kuantisasi, decoding spekulatif, benchmarking.

LLM.swift adalah pustaka yang sederhana dan mudah dibaca yang memungkinkan Anda berinteraksi dengan model bahasa besar secara lokal dengan mudah untuk macOS, iOS, watchOS, tvOS, dan visionOS.