ztxz16/fastllm

fastllm adalah pustaka inferensi LLM berkinerja tinggi tanpa dependensi backend. Mendukung inferensi paralel tensor untuk model padat dan inferensi mode campuran untuk model MoE, memungkinkan inferensi DeepSeek penuh pada kartu grafis apa pun di atas 10G. Menyebarkan model asli presisi penuh DeepSeek pada server dual-socket 9004/9005 dengan satu GPU menghasilkan 20 tps untuk satu konkurensi; model kuantisasi INT4 mencapai 30 tps untuk satu konkurensi, dan konkurensi multi dapat mencapai 60+.