🤗 Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 ...
排序
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsand...
使用 MakerSuite 的调整功能快速生成高质量模型
作者: AI 开发者关系团队 Joe Fernandez，以及 AI 开发者营销 人工智能 (AI) 是我们正在积极探索的前沿科技领域。尽管很多人都对使用 AI 感兴趣，但我们意识到大多数开发者可能尚...
【发布会回放】Gradio 4.0 正式发布！
Gradio 的目标是使机器学习模型的演示更容易定制和访问，以满足不同用户的需求。在 4.0 正式版的发布活动上，Hugging Face 的 Gradio 团队介绍了自己为了提高机器学习模型的可访问...
长程 Transformer 模型
Tay 等人的 Efficient Transformers taxonomy from Efficient Transformers: a Survey 论文 本文由 Teven Le Scao、P...
Hugging Face: 代码生成模型的预训练和微调
和大家分享我们的机器学习工程师 Loubna Ben Allal 在 10 月上海 KubeCon 大会的主题演讲 题目是： 代码生成模型的预训练和微调 演讲介绍了构建和训练大型代码模型比如: Sta...
面向生产的 LLM 优化
注意 : _本文同时也是 Transformers 的文档。_ 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为...
Hugging Face 分词器新增聊天模板属性
一个幽灵，格式不正确的幽灵，在聊天模型中游荡！ 太长不看版 现存的聊天模型使用的训练数据格式各各不同，我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时...
使用 DDPO 在 TRL 中微调 Stable Diffusion 模型
引言 扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型，在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人...
机器学习即代码的时代已经到来
译者注: 到底是 AI 会吃掉软件还是软件会吃掉 AI？为了 job security 工程师应该把宝押在哪儿？这篇 2021 年的文章提供的一些视角似乎印证了它现在的流行，有点“运筹于帷幄之中，决胜...