推理优化

KV 缓存压缩出现独立评估工具 — 推理优化的重心正转向基础设施

KV 缓存是大模型长文本推理的显存大户，现在有人为 TurboQuant 压缩方案写了独立评估工具。这意味着推理优化正从'能不能跑'走向'怎么跑得稳'。