标签:DeepSpeed

使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理

本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型 生成文本时如何获得超快的词吞吐 (per token throughput)。 因为在使用 bf16 (bfloat16) 权重时该模...