syv-ai/qwen38-27b-rtx3090

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

↗ Auf GitHub öffnen

Sterne

1.274

Forks

177

Sprache

Python

Lizenz

Apache-2.0

Letzter Push

vor 3 Stunden

Python llm-inference vllm local-llm qwen quantization kv-cache speculative-decoding qwen3 rtx-3090

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel