Google Colab 环境现已无需手动登录 HF 账号
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适...
排序
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBER...
3D 高斯喷溅 🤗 为什么图形永远不会相同
高斯喷溅 (Gaussian Splatting) 技术是一种翻天覆地的渲染手段，能够以 144 帧每秒的速度渲染出高质量的场景，这和传统的图形处理流程截然不同 🎨 这种将高斯数据转换成图像的过程，与...
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelera...
使用 PyTorch 完全分片数据并行技术加速大模型训练
本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着...
Google Colab 现已支持直接使用 🤗 transformers 库
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适...
【开源 LLM 基准测试】全新大语言模型基准测试论文：GAIA 与 GPQA 概览
探索两篇刚出炉的重磅 LLM 基准测试论文： GAIA：这是一项全方位的人工智能助手评测（顺便一提，视频作者与其他杰出人士合著） GPQA：一个高级别的谷歌可证明问答评测（作者团队同样令人敬佩） 当两...
深入理解 BigBird 的块稀疏注意力
4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...
Transformers.js：Web 上的最新机器学习技术
我们的工程师，Transformers.js 作者Joshua Lochne在2023年11月18日在杭州举办 FEDAY 上带来了主题为「Transformers.js: State-of-the...
携手 MLCommons，制定有效且值得信赖的 AI 安全基准
作者 / 技术与社会部 Anoop Sinha 以及 Google Research、Responsible AI 和以人为本技术团队 Marian Croak 标准基准是衡量重要产品质量的公认方法...