大模型

这是 大模型评估排障指南 系列文章的第三篇，敬请关注系列文章: 关于推理 关于 $\LaTeX$ 公式解析 关于可复现性 假设你读了一篇最近的新模型技术报告，然后心血来潮想要在本机复现他们的结果，却发...

这是 大模型评估排障指南 系列文章的第二篇，敬请关注系列文章: 关于推理 关于 $\LaTeX$ 公式解析 关于可复现性 解析 LaTeX 很难。这个问题在评估输出为 $\LaTeX$ 的模型时经常会...

这是 大模型评估排障指南 系列文章的第一篇，敬请关注系列文章: 关于推理 关于 $\LaTeX$ 公式解析 关于可复现性 模型运行非常慢怎么办？ 调整 batch size 如果你想要评估结果完全可复...

本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着...