quantization

找到 1 篇关于此标签的文章

Qwen3.5-9B GGUF Quant Rankings: Q8_0 Dominates KLD Scores

社区对 Qwen3.5- 9B 逾 35 种 GGUF 量化版本的 KLD 基准测试显示，Q8_0 变体得分接近 0.001，Q5 以下质量急剧下降。