NVIDIA

找到 2 篇关于此标签的文章

NVIDIA 自研 4 位量化把 26B 模型塞进消费显卡 — 精度损失不到 1%

NVIDIA 发布 NVFP4 量化版 Gemma-4-26B，压缩至 18.8GB 可在消费显卡运行，6 项基准测试精度损失均不超过 0.7%。4 位量化正从妥协变成优选，但这也是 NVIDIA 生态锁定的一步棋。

NVIDIA 开源 AITune：自动为 PyTorch 模型选择最快推理后端

NVIDIA 开源推理优化工具 AITune，可自动对多个推理后端进行基准测试，并为 PyTorch 模型选出最优配置，显著降低工程团队的手动调优成本。