量化

找到 2 篇关于此标签的文章

llama.cppllama-bench

llama.cpp 的 llama-bench 新增 -fitc 和 -fitt 基准测试标志

llama-bench 从 b8679 版本起新增 -fitc 和 -fitt 标志，使开发者能更精细地控制基准测试的时间输出格式。

llama.cppGemma 4

Gemma 4 26B：Q8 mmproj 解锁 60K+ 上下文与视觉能力

在 Gemma 4 26B 上将 mmproj 从 F16 切换至 Q8_0，可在无损视觉质量的前提下增加约 30K 上下文令牌。