Qwen2-MoE

纯 Triton MoE 内核在 512 以下批次规模中超越 Megablocks 运行 Mixtral

一种融合 Triton 内核将 MoE 前向传播从 24+ 次启动减少至 5 次，在批次规模 128 时比 Megablocks 快 31%。