标签:SLURM

使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过本文,你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中,我们主要会用到 Hugging Face Transformers、Accelerate 和 TR...