Hugging Face 提供的推理 (Inference) 解决方案
每天，开发人员和组织都在使用 Hugging Face 平台上托管的模型，将想法变成用作概念验证（proof-of-concept）的 demo，再将 demo 变成生产级的应用。 Trans...
在 Transformers 中使用对比搜索生成可媲美人类水平的文本 🤗
1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Sea...
在 Transformers 中使用对比搜索生成可媲美人类水平的文本🤗
1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Sea...
使用 🧨 Diffusers 通过 Dreambooth 技术来训练 Stable Diffusion
DreamBooth 是一种使用专门的微调形式来训练 Stable Diffusion 的新概念技术。一些人用他仅仅使用很少的他们的照片训练出了一个很棒的照片，有一些人用他去尝...
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，...
优化故事- BLOOM 模型推理
经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延...
SetFit: 高效的无提示少样本学习
与标准微调相比，SetFit 能更高效地利用训练样本，同时对噪声也更健壮。 如何处理少标签或无标签的训练数据是每个数据科学家的梦魇 😱。最近几年来，基于预训...
使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型 生成文本时如何获得超快的词吞吐 (per token throughput)。 因为在使用 bf16 (bfloat16) 权重时该模型...
使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face...
大规模 Transformer 模型 8 比特矩阵乘简介 – 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结...
收录了国内外的众多 AI工具，包括AI写作工具、AI图像生成和处理、AI视频制作、AI音频转录、AI辅助编程、AI音乐生成、AI绘画设计、AI对话聊天等AI工具，以及AI学习开发的常用网站、教程、开源框架、开源模型和数据集等
