数据集

基础概念 这是 人工评估 系列文章的第一篇《基础概念》，全系列包括: 基础概念 人工标注员 技巧与提示 什么是人工评估？ 人工评估是指让人类评价模型输出回答的好坏。 本文讨论的都是后验评估，即模型已经...

随着数据集的使用量急剧增加，Hugging Face 社区已经变成了众多数据集默认存放的仓库。每月，海量数据集被上传到社区，这些数据集亟需有效的查询、过滤和发现。 每个月在 Hugging Face ...

开放视频数据集稀缺，因此减缓了开源视频 AI 的发展。为此，我们构建了 FineVideo，这是一个包含 43,000 个视频的数据集，总时长为 3,400 小时，并带有丰富的描述、叙事细节、场景分割...

本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案，由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题，其题中之...