One Billion Words Benchmark

kaggle2021-12-17 更新2024-03-07 收录

下载链接：

https://www.kaggle.com/datasets/alexrenz/one-billion-words-benchmark

下载链接

链接失效反馈

官方服务：

资源简介：

Benchmark text corpus

创建时间：

2021-12-17

One Billion Word Benchmark

One Billion Word Benchmark是由谷歌创建的大型语言模型评估数据集，包含约8.29亿个词条。该数据集通过从WMT11网站获取的文本数据经过去重、分词和随机排序等处理步骤构建而成。数据集主要用于评估和比较不同统计语言建模技术的效果，特别是在自动语音识别和机器翻译等领域的应用。

arXiv2014-03-05 更新1010

Billion Word Benchmark

该数据集包含了大约8亿个词汇，这些词汇来源于2011年WMT新闻爬取数据。该数据集主要用于检索句子并计算TF-IDF值，以便为给定单词生成上下文词汇。其规模达到了8亿个单词，任务是对上下文词汇的生成。

arXiv100

azhang42/one-billion-words

这是一个包含文本数据的数据集，被分为训练集和验证集，训练集包含1000000个示例，验证集包含100000个示例。数据集的总大小为129372629字节。

Hugging Face2025-02-09 更新90

One Billion Word Benchmark Dataset

One Billion Word Benchmark for Measuring Progress in Statistical Language Models

kaggle2023-04-04 更新30

One Billion Word

The One Billion Word dataset is a large dataset of text, containing 0.8 billion words belonging to a vocabulary of 793 471 words. The dataset is used for word-level language modeling.

DataCite Commons2026-01-07 更新90