显存优化

KV缓存压缩技术突破：本地大模型部署成本的结构性重写

llama.cpp实现6.8倍KV缓存压缩，131K上下文显存从8.2GB降至1.2GB，直接重写本地部署AI的硬件采购逻辑。