Google Colab 环境现已无需手动登录 HF 账号
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适...
排序
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelera...
携手 MLCommons，制定有效且值得信赖的 AI 安全基准
作者 / 技术与社会部 Anoop Sinha 以及 Google Research、Responsible AI 和以人为本技术团队 Marian Croak 标准基准是衡量重要产品质量的公认方法...
保护 ML 供应链，提高 AI 安全透明度
作者 / Google 开源安全团队 (GOSST): Mihai Maruseac、Sarah Meiklejohn、Mark Lodato 消费者和企业几乎每天都会接触到新的 AI 创新和应用。安...
使用 MakerSuite 的调整功能快速生成高质量模型
作者: AI 开发者关系团队 Joe Fernandez，以及 AI 开发者营销 人工智能 (AI) 是我们正在积极探索的前沿科技领域。尽管很多人都对使用 AI 感兴趣，但我们意识到大多数开发者可能尚...
TensorFlow 2.12 和 Keras 2.12 新功能简介
发布人: TensorFlow 和 Keras 团队 TensorFlow 2.12 和 Keras 2.12 现已发布！此版本的亮点包括全新的 Keras 模型保存和导出格式、keras.utils...
使用 TensorFlow 进行深度学习，轻松处理视频数据
发布人: Shilpa Kancharla 视频数据包含丰富的信息，其结构比图像数据的结构更庞大、更复杂。使用深度学习以节省内存的方式对视频进行分类，可以帮助我们更好地理解数据内容。我们在 tenso...
使用 PyTorch 完全分片数据并行技术加速大模型训练
本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着...
Google Colab 现已支持直接使用 🤗 transformers 库
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适...
深入理解 BigBird 的块稀疏注意力
4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...