推理加速

找到 1 篇关于此标签的文章

本地部署122B大模型跑出198字/秒：算力租赁商的末日倒计时

两张消费级GPU在本地跑出企业级推理速度，按字收费的云AI算力租赁模式正面临颠覆——老板该续约还是自建？