本地 LLM

找到 3 篇关于此标签的文章

llama.cppllama-bench

llama.cpp 的 llama-bench 新增 -fitc 和 -fitt 基准测试标志

llama-bench 从 b8679 版本起新增 -fitc 和 -fitt 标志，使开发者能更精细地控制基准测试的时间输出格式。

MiniMaxMiniMax-M2.7

MiniMax-M2.7 开源发布推迟至本周末

MiniMax 因基础设施适配工作推迟 MiniMax-M2.7 开源发布，目标发布时间已调整为本周末。

37 个大语言模型在 MacBook Air M5 32GB 上完成基准测试：完整速度结果

社区使用 llama-bench 在 M5 Air 32GB 上对 37 个本地 LLM 进行基准测试，结果显示 MoE 模型在速度与质量比方面表现最佳。