自动评估基准 | 一些评估测试集
一些评估测试集 这是 自动评估基准 系列文章的第三篇，敬请关注系列文章: 基础概念 设计你的自动评估任务 一些评估测试集 技巧与提示 如果你感兴趣的任务已经得到充分研究，很可能评估数据集已经存在了。 ...
基于开放模型的推理时计算缩放
过去几年，大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效，但预训练更大模型所需的资源变得异常昂贵，数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴...
自动评估基准 | 技巧与提示
技巧与提示 这是 自动评估基准 系列文章的第四篇，敬请关注系列文章: 基础概念 设计你的自动评估任务 一些评估测试集 技巧与提示 数据污染管理 通常我们会假设在互联网上公开可用的数据集是存在数据污染问...
自动评估基准 | 设计你的自动评估任务
设计你的自动评估任务 这是 自动评估基准 系列文章的第二篇，敬请关注系列文章: 基础概念 设计你的自动评估任务 一些评估测试集 技巧与提示 选择数据集 做评估时，你可以选择现有的数据集 (参考 一些评...
自动评估基准 | 基础概念
基础概念 这是 自动评估基准 系列文章的第一篇，敬请关注系列文章: 基础概念 设计你的自动评估任务 一些评估测试集 技巧与提示 注：本文内容与我写的 通用评估博客 存在部分重叠 什么是自动评估基准？ ...
人工评估 | 技巧与提示
技巧与提示 这是 人工评估 系列文章的第三篇《技巧与提示》，全系列包括: 基础概念 人工标注员 技巧与提示 建议阅读本文之前先阅读 "Using human annotators"...
欢迎 PaliGemma 2 – 来自 Google 的新视觉语言模型
我们很高兴迎来 Google 全新的视觉语言模型 PaliGemma 2，这是 PaliGemma 的一个新版本。与其前代产品一样，PaliGemma 2 使用强大的 SigLIP 进行视觉处理，但在...
Hugging Face 机器人技术新突破
这次我们的 LeRobot 团队联合 @therobotstudio 和 @NepYope 打造了全新腱驱动（Tendon-driven）技术，以快、更准、更灵活的超凡表现，让机器人手部控制进入全新时...
人工评估 | 人工标注员
人工标注员 这是 人工评估 系列文章的第二篇《人工标注员》，全系列包括: 基础概念 人工标注员 技巧与提示 推荐阅读 这篇综述 的第三章，介绍了许多数据标注质量管理的实践经验。如果你追求的是生产级的质...
人工评估 | 基础概念
基础概念 这是 人工评估 系列文章的第一篇《基础概念》，全系列包括: 基础概念 人工标注员 技巧与提示 什么是人工评估？ 人工评估是指让人类评价模型输出回答的好坏。 本文讨论的都是后验评估，即模型已经...