使用 PyTorch FSDP 微调 Llama 2 70B引言 通过本文,你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中,我们主要会用到 Hugging Face Transformers、Accelera...AI 技术文章# Accelerate# FSDP# Llama 2 70B2年前03570
Hugging Face Transformers 萌新完全指南欢迎阅读《Hugging Face Transformers 萌新完全指南》,本指南面向那些意欲了解有关如何使用开源 ML 的基本知识的人群。我们的目标是揭开 Hugging Face Transfo...AI 技术文章# Transformers2年前03430
机器学习即代码的时代已经到来译者注: 到底是 AI 会吃掉软件还是软件会吃掉 AI?为了 job security 工程师应该把宝押在哪儿?这篇 2021 年的文章提供的一些视角似乎印证了它现在的流行,有点“运筹于帷幄之中,决胜...AI 技术文章# Kubeflow# ML# MLOps2年前03390
万事通,专精部分领域的多功能 Transformer 智能体介绍 我们很高兴分享“万事通”(Jack of All Trades,简称 JAT) 项目,该项目旨在朝着通用智能体的方向发展。该项目最初是作为对 Gato (Reed 等,2022 年) 工作的公开...AI 技术文章# JAT# Transformers2年前03110
用 Sentence Transformers v3 训练和微调嵌入模型Sentence Transformers 是一个 Python 库,用于使用和训练各种应用的嵌入模型,例如检索增强生成 (RAG)、语义搜索、语义文本相似度、释义挖掘 (paraphrase min...AI 技术文章# Transformers2年前02730
基于 Quanto 和 Diffusers 的内存高效 transformer 扩散模型过去的几个月,我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image,T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构...AI 技术文章# Diffusers# Quanto# Transformers1年前02030
更快的辅助生成: 动态推测⭐ 在这篇博客文章中,我们将探讨 动态推测解码 ——这是由英特尔实验室和 Hugging Face 开发的一种新方法,可以加速文本生成高达 2.7 倍,具体取决于任务。从 Transformers🤗 ...AI 技术文章# Transformers1年前01790