ztxz16/fastllm

fastllm은 백엔드 의존성이 없는 고성능 대규모 언어 모델 추론 라이브러리입니다. 텐서 병렬 추론을 통한 촘촘한(dense) 모델과 MoE 모델의 혼합 모드 추론을 동시에 지원하며, 10G 이상의 그래픽카드만 있으면 온전한 성능의 DeepSeek 추론이 가능합니다. 듀얼 9004/9005 서버 + 단일 그래픽카드 환경에서 온전한 성능 및 정밀도의 오리지널 DeepSeek 모델 배포 시 단일 동시성 20tps, INT4 양자화 모델은 단일 동시성 30tps, 다중 동시성은 60+ tps에 달합니다.