标签：LLM

为大语言模型建立红队对抗

在巨量文本数据下训练的大语言模型非常擅长生成现实文本。但是，这些模型通常会显现出一些不良行为像泄露个人信息 (比如社会保险号) 和生成错误信息，偏置，...

AI 技术文章

2年前 (2023)

使用 Megatron-LM 训练语言模型

在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face...

AI 技术文章

3年前 (2022)

千亿参数开源大模型 BLOOM 背后的技术

假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音...

AI 技术文章

3年前 (2022)

大语言模型：新的摩尔定律？

不久前，微软和 Nvidia 推出了 Megatron-Turing NLG 530B，一种基于 Transformer 的模型，被誉为是 “世界上最大且最强的生成语言模型”。毫无疑问，此项成果...

AI 技术文章

4年前 (2021)

1 2 34