本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着...

Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适...

探索两篇刚出炉的重磅 LLM 基准测试论文： GAIA：这是一项全方位的人工智能助手评测（顺便一提，视频作者与其他杰出人士合著） GPQA：一个高级别的谷歌可证明问答评测（作者团队同样令人敬佩） 当两...

4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...

我们的工程师，Transformers.js 作者Joshua Lochne在2023年11月18日在杭州举办 FEDAY 上带来了主题为「Transformers.js: State-of-the...

作者 / 技术与社会部 Anoop Sinha 以及 Google Research、Responsible AI 和以人为本技术团队 Marian Croak 标准基准是衡量重要产品质量的公认方法...

作者 / Google 开源安全团队 (GOSST): Mihai Maruseac、Sarah Meiklejohn、Mark Lodato 消费者和企业几乎每天都会接触到新的 AI 创新和应用。安...

LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步，而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数。蒸馏...

这篇论文简要介绍了“大型语言模型中的角色扮演”，该论文讨论了如何将大型语言模型视为角色扮演者，以更好地理解它们的运作方式。作者强调了大型语言模型与人类语言理解的不同之处，指出它们通过预测下一个最可能出...

我们中国地区负责人/ 高级工程师 王铁震受 Intel OpenVINO的邀请 与英特尔AI软件工程师杨亦诚一起做了一场关于「人工智能普惠化」的讲座 对Hugging Face是如何通过开源来推进人工...