大模型推理

16台Nvidia超算拼成集群跑通大模型 — 企业自建算力的焦点正转向显存

Reddit用户用16台Nvidia DGX Spark搭成集群跑通434GB大模型，验证了统一内存的实用价值。大模型推理瓶颈正从算力转向显存，企业自建本地算力有了新思路。