使用 Megatron-LM 训练语言模型在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上,并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创...AI 技术文章# LLM# PyTorch# Transformers3年前04910
“StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程如 ChatGPT,GPT-4,Claude语言模型 之强大,因为它们采用了 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF...AI 技术文章# LLaMA# RLHF# StackLLaMA3年前03980
道德与社会问题简报 #3: Hugging Face 上的道德开放性使命:开放和优秀的机器学习 在我们的使命中,我们致力于推动机器学习(ML)的民主化,我们在研究如何支持 ML 社区工作并有助于检查危害和防止可能的危害发生。开放式的发展和科学可以分散力量,让许多人集体...AI 技术文章# AI道德3年前03840
使用 SpeechT5 进行语音合成、识别和更多功能我们很高兴地宣布,SpeechT5 现在可用于 🤗 Transformers (一个开源库,提供最前沿的机器学习模型实现的开源库)。 SpeechT5 最初见于微软亚洲研究院的这篇论文 SpeechT...AI 技术文章# SpeechT5# Transformers# TTS3年前04080
如何使用 Megatron-LM 训练语言模型在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上,并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创...AI 技术文章# Hugging Face# LLM# Train3年前05360
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO,包含 7 亿对图像和文本,并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 A...AI 技术文章# ALIGN# COYO# Datasets3年前04200
随机 Transformer在这篇博客中,我们将通过一个端到端的示例来讲解 Transformer 模型中的数学原理。我们的目标是对模型的工作原理有一个良好的理解。为了使内容易于理解,我们会进行大量简化。我们将减少模型的维度,以...AI 技术文章# transformer3年前04090
最新 Hugging Face 强化学习课程(中文版)来啦!人工智能中最引人入胜的话题莫过于深度强化学习 (Deep Reinforcement Learning) 了,我们在 2022 年 12 月 5 日开启了《深度强化学习课程 v2.0》的课程学习,有来...AI 技术文章# Hugging Face# 强化学习# 深度强化学习3年前04901
SetFitABSA: 基于 SetFit 的少样本、方面级情感分析SetFitABSA 是一种可以有效从文本中检测方面级情感的技术。 方面级情感分析 (Aspect-Based Sentiment Analysis,ABSA) 是一种检测文本中特定方面的情感的任务...AI 技术文章# SetFit# SetFitABSA3年前03680
给科研人的 ML 开源发布工具包什么是开源发布工具包? 恭喜你的论文成功发表,这是一个巨大的成就!你的研究成果将为学界做出贡献。 其实除了发表论文之外,你还可以通过发布研究的其他部分,如代码、数据集、模型等,来增加研究的可见度和采用...AI 技术文章# ML# 工具包3年前03840