事件经过
据 r/
LocalLLaMA 上一篇获得 120 点赞、55 条
评论的帖子，一位同时使用 RTX 5090 与 RTX 4090
双卡配置的开发者报告称，他以 Q8 量化加载
了阿里巴巴的 qwen3.6-35b-a3b 模型，在完
整 260K 上下文下实现了约 170 tokens/秒的推理速度。该用户 Epic
guru 将其描述为第一个在实际开发工
作中真正替代云端编程助手的本地模型。
背景如下：这位开发者此 前通过 GitHub 学生计划使用 Claude Sonnet 和 Opus，但该计划随后被取 消。在评估了多个本地模型作 为代码生成任务的替代方案后——主要用于 Avalonia 中的 UI XML 编写以 及嵌入式系统 C++ 开发——Qwen3.6 被 认为是第一个真正跨越实用门槛、可用 于日常开发的本地模型。
为何重要
这件事的意义并不在于孤立的 跑分表现，而在于能力与干预成 本之间的比值。这位开发者的表述非常精 准：此前的模型要么输出错误，要么需要大 量的后期手动修改，导致其 整体效率与手写代码相差无几。而 Qwen3.6 的出现，至少在这一使 用场景与硬件配置下，改变了这一算账逻辑。
对于正在评估本地推理方案以降低成
本或保障数据隐私的工程团队而
言，这一数据点具有参考价值。一个总参数量
35B、每次前向传播激活约 3B 参数的混
合专家模型（即 35b-a3b 命
名规则的含义），在不造成生产力损
耗的推理速度下交付了接近前沿水平的编程能力——
170 tokens/秒已经超过大多数开发者阅读生
成代码的速度。
与 Gemma 4 的对比值得关 注。帖子中明确提到 Google 的 Gemma 4 在相同硬件配置下未 能达到同等水准，这意味着 Qwen3.6 的优势并 非单纯来自硬件加成，而是在实际编程工作流中切 实超越了一个直接竞争对手。需要指出的是，这一结论来自单一 用户的测试，而非受控基准评估，应作相应权重考 量。
更宏观的市场含义在于：根据早期社区测试， 阿里巴巴 Qwen 团队发布的这一模型，在编程任务上 已能与订阅制 API 服务相抗 衡，且完全运行在资深开发者可能 已经拥有的硬件上。如果这一结论能在更多用户与任务类型中 得到验证，将直接对代码生成领域的中 端 API 定价形成压力——而这 一细分市场目前主要由 Claude 和 Gemini Flash 主导。
技术细节
模型命名 qwen3.
6-35b-a3b 遵循 Qwen 混合专家模型的命名规范：总
参数量 350 亿，每个 token 推理时
激活约 30 亿参数。这一架构正是该模型能在双
消费级 GPU 上以 Q8 量化运行的原因——其显存占用反映的
是推理时的激活参数量，而非总参数量。
- 量化精度：Q8（8-bit），在现有 量化级别中属于最高精度
- 上下文窗口：260 K tokens，完整加载，未因显存限 制截断
- 推理速度：在 RTX 5090 + RTX 4090 双卡配置下约 170 tokens/秒
- 自我校正行为：开发者报告称，单 次自我审查流程可在约十分之九 的情况下发现并修正错误，大幅减少人工干预
自 我审查的可靠性是来自单一用户工作流的定性描述，并 非正式评估结论。然而，它指向一个可量 化的特征：该模型的指令遵循保真度 足够高，当被要求审查自身输出时，能产 出可操作的修正建议，而非出现 幻觉式的虚假确认——后者是规模较 小或训练不足的模型中常见的失效模式 。
在消费级硬件上以 Q8 量化运行完整 260K 上下文，需要双张高端 GPU。RTX 5090 配 备 32GB GDDR7 显存，RTX 4090 配备 24GB GDDR6X 显存，合计 56GB VRAM，正是这一显存总量使得模型能够在不 将数据卸载到系统内存的前提下运行 Q8 量化与 完整上下文——一旦依赖系统内存，吞吐量将大幅下降。 硬件配置不及此标准的开发者需要考虑使 用更低量化精度或缩减上下文窗口。
后续值得关注的方 向
以下几项近期进展将 决定这份社区报告是反映了 持久的能力跃升，还是仅代表特定用 户特定工作负载下的有利条件：
- 更广泛的基准测试：针对 Qwen3.6 35B-A3B 在编程基准（HumanEval、SWE-bench、LiveCodeBench）上与 Gemma 4 及同类 MoE 模型的独立 评测，将验证或修正此处引 用的正面对比结论。
- 低量化级 别下的表现：Q4 和 Q5 变体的表现将 决定该模型对更大范围开 发者群体（即使用单张 24GB GPU 的用户）的可及性。低量化精度下的能力 衰减程度是关键变量。
- Ollama 与 LM Studio 集成：关 注官方模型卡及优化推理配置是 否会出现在主流本地推理平台上，这将降 低部署门槛并扩大测试用户群体。
- 阿里巴巴的发布节奏：Qwen 团队一直保持快速的 模型更新频率。基于过往发布规 律——尽管这只是历史推断而非已 确认的路线图——针对同一硬件级 别的 Qwen3.6-72B 或指令微调变体有可能在 30 天内跟进发布。
- GitHub Copilot 及 API 定价的应对策略：若失 去免费 API 访问权限的开发者加速采用 Q wen3.6，预计 API 服务商将对面 向学生和独立开发者细分市场进行定价调整或扩大免费额度。