local-llm

找到 2 篇关于此标签的文章

本地运行 Gemma 4 26B：vLLM 与 NVFP4 量化指南

一个可用的 bash 脚本通过 Docker 在消费级硬件上使用 vLLM 和 NVFP4 量化运行 Gemma 4 26B。

local-llmollama

LLM测试提示词：揭示模型真实质量，助力开发者选型

社区整理的测试提示词暴露本地LLM推理缺陷，帮助独立开发者选择可靠模型用于生产工作流。