返回首页
quantization
找到 2 篇关于此标签的文章
Qwen3.5GGUF
Qwen3.5-9B GGUF Quant Rankings: Q8_0 Dominates KLD Scores
社区对 Qwen3.5- 9B 逾 35 种 GGUF 量化版本的 KLD 基 准测试显示，Q8_0 变体得分接近 0.001，Q5 以 下质量急剧下降。
Apr 141 分钟
llama.cppGemma 4
Gemma 4 26B: Q8 mmproj Unlocks 60K+ Context With Vision
Switching from F16 to Q8_0 mmproj on Gemma 4 26B adds ~30K context tokens with no vision quality loss.
Apr 62 分钟