重磅｜ Falcon 180B 正式在 Hugging Face Hub 上发布！
引言 我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face！ Falcon 180B...
排序
面向生产的 LLM 优化
注意 : _本文同时也是 Transformers 的文档。_ 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为...
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsand...
欢迎 Llama 3：Meta 的新一代开源大语言模型
介绍 Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地...
来自 AI Secure 实验室的 LLM 安全排行榜简介
近来，LLM 已深入人心，大有燎原之势。但在我们将其应用于千行百业之前，理解其在不同场景下的安全性和潜在风险显得尤为重要。为此，美国白宫发布了关于安全、可靠、可信的人工智能的行政命令; 欧盟人工智能法...
对 LLM 工具使用进行统一
我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它，你就可以在不同的模型上使用相同的代码，在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换，而...
LAVE: 使用 LLM 对 Docmatix 进行零样本 VQA 评估 – 我们还需要微调吗？
在开发 Docmatix 时，我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色，但在基准测试中得分仍比较低。为了提高基准测试得分，我们必须在 DocVQA 数据集上进一步对模...
让 LLM 来评判 | 基础概念
基础概念 这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是评估模...
让 LLM 来评判 | 选择 LLM 评估模型
基础概念 这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是评估模...
通用辅助生成: 使用任意辅助模型加速解码
太长不看版: 许多 LLM (如 gemma-2-9b 、 Mixtral-8x22B-Instruct-v0.1 等) 苦于缺乏对应小模型，而无法适用 辅助生成 方案。本文，我们将介绍由英特尔研究院...