【开源 LLM 基准测试】全新大语言模型基准测试论文：GAIA 与 GPQA 概览
探索两篇刚出炉的重磅 LLM 基准测试论文： GAIA：这是一项全方位的人工智能助手评测（顺便一提，视频作者与其他杰出人士合著） GPQA：一个高级别的谷歌可证明问答评测（作者团队同样令人敬佩） 当两...
排序
使用 Hugging Face 微调 Gemma 模型
我们最近宣布了，来自 Google Deepmind 开放权重的语言模型 Gemma现已通过 Hugging Face 面向更广泛的开源社区开放。该模型提供了两个规模的版本：20 亿和 70 亿参数...
【论文快读】大型语言模型中的角色扮演者 (Role playing in Large Language Model)
这篇论文简要介绍了“大型语言模型中的角色扮演”，该论文讨论了如何将大型语言模型视为角色扮演者，以更好地理解它们的运作方式。作者强调了大型语言模型与人类语言理解的不同之处，指出它们通过预测下一个最可能出...
如何使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创...
欢迎 Gemma: Google 最新推出开源大语言模型
今天，Google 发布了一系列最新的开放式大型语言模型 —— Gemma！Google 正在加强其对开源人工智能的支持，我们也非常有幸能够帮助全力支持这次发布，并与 Hugging Face 生态完...
使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创...
合成数据: 利用开源技术节约资金、时间和减少碳排放
简单概括 你应该使用自己的模型，还是使用 LLM API？创建你自己的模型可以让你完全控制，但需要数据收集、训练和部署方面的专业知识。LLM API 使用起来更简单，但会将数据发送给第三方，并对提供商...
大语言模型快速推理：在 Habana Gaudi2 上推理 BLOOMZ
本文将展示如何在 Habana® Gaudi®2 上使用 🤗 Optimum Habana。Optimum Habana 是 Gaudi2 和 🤗 Transformers 库之间的桥梁。本文设计并实...
大语言模型：新的摩尔定律？
不久前，微软和 Nvidia 推出了 Megatron-Turing NLG 530B，一种基于 Transformer 的模型，被誉为是 “世界上最大且最强的生成语言模型”。 毫无疑问，此项成果对于...
在一张 24 GB 的消费级显卡上用 RLHF 微调 20B LLMs
我们很高兴正式发布 trl 与 peft 的集成，使任何人都可以更轻松地使用强化学习进行大型语言模型 (LLM) 微调！在这篇文章中，我们解释了为什么这是现有微调方法的有竞争力的替代方案。 请注意， ...