ztxz16

fastllm ist eine hochleistungsfähige LLM-Inferenzbibliothek ohne Backend-Abhängigkeiten. Sie unterstützt die Tensor-Parallel-Inferenz für dichte Modelle und den Hybridmodus für MOE-Modelle. Jede Grafikkarte mit 10 GB oder mehr kann DeepSeek in voller Stärke ausführen. Auf einem Dual-9004/9005-Server mit einer einzelnen Grafikkarte erreicht DeepSeek (Originalmodell in voller Präzision) 20 tps bei Einzelkonkurrenz; das INT4-quantisierte Modell erreicht 30 tps bei Einzelkonkurrenz und über 60 tps bei Mehrfachkonkurrenz.