KorQuAD/squad_kor_v2
收藏Hugging Face2024-01-18 更新2024-06-15 收录
下载链接：
https://hf-mirror.com/datasets/KorQuAD/squad_kor_v2
下载链接
链接失效反馈官方服务：
资源简介：
---
annotations_creators:
- crowdsourced
language_creators:
- found
language:
- ko
license:
- cc-by-nd-4.0
multilinguality:
- monolingual
size_categories:
- 10K<n<100K
source_datasets:
- extended|squad_kor_v1
- original
task_categories:
- question-answering
task_ids:
- extractive-qa
paperswithcode_id: null
pretty_name: KorQuAD v2.1
dataset_info:
features:
- name: id
dtype: string
- name: title
dtype: string
- name: context
dtype: string
- name: question
dtype: string
- name: answer
struct:
- name: text
dtype: string
- name: answer_start
dtype: int32
- name: html_answer_start
dtype: int32
- name: url
dtype: string
- name: raw_html
dtype: string
config_name: squad_kor_v2
splits:
- name: train
num_bytes: 17983434492
num_examples: 83486
- name: validation
num_bytes: 2230543100
num_examples: 10165
download_size: 1373763305
dataset_size: 20213977592
---
# Dataset Card for KorQuAD v2.1
## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)
## Dataset Description
- [**Homepage**](https://korquad.github.io/)
- [**Repository**](https://github.com/korquad/korquad.github.io/tree/master/dataset)
- [**Paper**](https://korquad.github.io/dataset/KorQuAD_2.0/KorQuAD_2.0_paper.pdf)
### Dataset Summary
KorQuAD 2.0 is a Korean question and answering dataset consisting of a total of 100,000+ pairs. There are three major differences from KorQuAD 1.0, which is the standard Korean Q & A data. The first is that a given document is a whole Wikipedia page, not just one or two paragraphs. Second, because the document also contains tables and lists, it is necessary to understand the document structured with HTML tags. Finally, the answer can be a long text covering not only word or phrase units, but paragraphs, tables, and lists.
### Supported Tasks and Leaderboards
`question-answering`
### Languages
Korean
## Dataset Structure
Follows the standart SQuAD format. There is only 1 answer per question
### Data Instances
An example from the data set looks as follows:
```py
{'answer': {'answer_start': 3873,
'html_answer_start': 16093,
'text': '20,890 표'},
'context': '<!DOCTYPE html>\n<html>\n<head>\n<meta>\n<title>심규언 - 위키백과, 우리 모두의 백과사전</title>\n\n\n<link>\n.....[omitted]',
'id': '36615',
'question': '심규언은 17대 지방 선거에서 몇 표를 득표하였는가?',
'raw_html': '<!DOCTYPE html>\n<html c ...[omitted]',
'title': '심규언',
'url': 'https://ko.wikipedia.org/wiki/심규언'}
```
### Data Fields
```py
{'id': Value(dtype='string', id=None),
'title': Value(dtype='string', id=None),
'context': Value(dtype='string', id=None),
'question': Value(dtype='string', id=None),
'answer': {'text': Value(dtype='string', id=None),
'answer_start': Value(dtype='int32', id=None),
'html_answer_start': Value(dtype='int32', id=None)},
'url': Value(dtype='string', id=None),
'raw_html': Value(dtype='string', id=None)}
```
### Data Splits
- Train : 83486
- Validation: 10165
## Dataset Creation
### Curation Rationale
[More Information Needed]
### Source Data
Wikipedia
#### Initial Data Collection and Normalization
[More Information Needed]
#### Who are the source language producers?
[More Information Needed]
### Annotations
#### Annotation process
[More Information Needed]
#### Who are the annotators?
[More Information Needed]
### Personal and Sensitive Information
[More Information Needed]
## Considerations for Using the Data
### Social Impact of Dataset
[More Information Needed]
### Discussion of Biases
[More Information Needed]
### Other Known Limitations
[More Information Needed]
## Additional Information
### Dataset Curators
[More Information Needed]
### Licensing Information
[CC BY-ND 2.0 KR](https://creativecommons.org/licenses/by-nd/2.0/kr/deed.en)
### Citation Information
```
@article{NODE09353166,
author={Youngmin Kim,Seungyoung Lim;Hyunjeong Lee;Soyoon Park;Myungji Kim},
title={{KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension}},
booltitle={{Journal of KIISE 제47권 제6호}},
journal={{Journal of KIISE}},
volume={{47}},
issue={{6}},
publisher={The Korean Institute of Information Scientists and Engineers},
year={2020},
ISSN={{2383-630X}},
pages={577-586},
url={http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09353166}}
```
### Contributions
Thanks to [@cceyda](https://github.com/cceyda) for adding this dataset.
annotations_creators:
- 众包（crowdsourced）
language_creators:
- 公开采集（found）
language:
- ko
license:
- 知识共享署名-禁止演绎4.0国际许可协议（CC BY-ND 4.0）
multilinguality:
- 单语言（monolingual）
size_categories:
- 10K<n<100K
source_datasets:
- extended|squad_kor_v1
- original
task_categories:
- 问答（question-answering）
task_ids:
- 抽取式问答（extractive-qa）
paperswithcode_id: 无
pretty_name: KorQuAD v2.1
dataset_info:
features:
- name: 编号（id）
dtype: 字符串（string）
- name: 标题（title）
dtype: 字符串（string）
- name: 上下文（context）
dtype: 字符串（string）
- name: 问题（question）
dtype: 字符串（string）
- name: 答案（answer）
struct:
- name: 文本（text）
dtype: 字符串（string）
- name: 答案起始位置（answer_start）
dtype: 32位整数（int32）
- name: HTML答案起始位置（html_answer_start）
dtype: 32位整数（int32）
- name: 链接（url）
dtype: 字符串（string）
- name: 原始HTML（raw_html）
dtype: 字符串（string）
config_name: squad_kor_v2
splits:
- name: 训练集（train）
num_bytes: 17983434492
num_examples: 83486
- name: 验证集（validation）
num_bytes: 2230543100
num_examples: 10165
download_size: 1373763305
dataset_size: 20213977592
# KorQuAD v2.1 数据集卡片
## 目录
- [数据集描述](#dataset-description)
- [数据集概述](#dataset-summary)
- [支持任务与排行榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集构建](#dataset-creation)
- [构建初衷](#curation-rationale)
- [源数据](#source-data)
- [标注信息](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据集使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知局限性](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集维护者](#dataset-curators)
- [许可信息](#licensing-information)
- [引用信息](#citation-information)
- [贡献致谢](#contributions)
## 数据集描述
- [**主页**]("https://korquad.github.io/")
- [**代码仓库**]("https://github.com/korquad/korquad.github.io/tree/master/dataset")
- [**相关论文**]("https://korquad.github.io/dataset/KorQuAD_2.0/KorQuAD_2.0_paper.pdf")
### 数据集概述
KorQuAD 2.0是一款韩语问答数据集，总计包含10万余条问答样本对。与作为韩国问答数据集标准的KorQuAD 1.0相比，其存在三处核心差异：其一，给定的参考文档为完整的维基百科页面，而非仅一两段文本；其二，文档中包含表格与列表，因此模型需要理解带有HTML标签的结构化文本；其三，答案不仅可以是单词或短语单元，还可以是覆盖段落、表格乃至列表的长文本。
### 支持任务与排行榜
`问答（question-answering）`
### 语言
韩语
## 数据集结构
遵循标准SQuAD格式，每个问题仅对应一个答案。
### 数据实例
数据集的一条示例如下：
py
{'answer': {'answer_start': 3873,
'html_answer_start': 16093,
'text': '20,890 표'},
'context': '<!DOCTYPE html>
<html>
<head>
<meta>
<title>심규언 - 위키백과, 우리 모두의 백과사전</title>
<link>
.....[省略]',
'id': '36615',
'question': '심규언은 17대 지방 선거에서 몇 표를 득표하였는가?',
'raw_html': '<!DOCTYPE html>
<html c ...[省略]',
'title': '심규언',
'url': 'https://ko.wikipedia.org/wiki/심규언'}
### 数据字段
py
{'id': Value(dtype='string', id=None),
'title': Value(dtype='string', id=None),
'context': Value(dtype='string', id=None),
'question': Value(dtype='string', id=None),
'answer': {'text': Value(dtype='string', id=None),
'answer_start': Value(dtype='int32', id=None),
'html_answer_start': Value(dtype='int32', id=None)},
'url': Value(dtype='string', id=None),
'raw_html': Value(dtype='string', id=None)}
### 数据划分
- 训练集：83486条样本
- 验证集：10165条样本
## 数据集构建
### 构建初衷
[需补充更多信息]
### 源数据
维基百科
#### 初始数据采集与标准化
[需补充更多信息]
#### 谁是源语言生产者？
[需补充更多信息]
### 标注信息
#### 标注流程
[需补充更多信息]
#### 谁是标注人员？
[需补充更多信息]
### 个人与敏感信息
[需补充更多信息]
## 数据集使用注意事项
### 数据集的社会影响
[需补充更多信息]
### 偏差讨论
[需补充更多信息]
### 其他已知局限性
[需补充更多信息]
## 附加信息
### 数据集维护者
[需补充更多信息]
### 许可信息
[CC BY-ND 2.0 KR]("https://creativecommons.org/licenses/by-nd/2.0/kr/deed.en")
### 引用信息
@article{NODE09353166,
author={Youngmin Kim,Seungyoung Lim;Hyunjeong Lee;Soyoon Park;Myungji Kim},
title={{KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension}},
booltitle={{Journal of KIISE 제47권 제6호}},
journal={{Journal of KIISE}},
volume={{47}},
issue={{6}},
publisher={The Korean Institute of Information Scientists and Engineers},
year={2020},
ISSN={{2383-630X}},
pages={577-586},
url={http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09353166}}
### 贡献致谢
感谢 [@cceyda]("https://github.com/cceyda") 添加本数据集。
提供机构：
KorQuAD原始信息汇总
数据集概述
数据集描述
数据集摘要
KorQuAD 2.0 是一个包含超过 100,000 对韩语问答数据集。与 KorQuAD 1.0 相比，主要有三点不同：一是给定的文档是一个完整的维基百科页面，而不仅仅是一两个段落；二是文档包含表格和列表，需要理解带有 HTML 标签的结构化文档；三是答案可以是覆盖单词、短语、段落、表格和列表的长文本。
支持的任务和排行榜
question-answering
语言
- 韩语
数据集结构
数据实例
数据集中的一个示例如下：
python {answer: {answer_start: 3873, html_answer_start: 16093, text: 20,890 표}, context: <!DOCTYPE html> <html> <head> <meta> <title>심규언 - 위키백과, 우리 모두의 백과사전</title>
<link> .....[omitted], id: 36615, question: 심규언은 17대 지방 선거에서 몇 표를 득표하였는가?, raw_html: <!DOCTYPE html> <html c ...[omitted], title: 심규언, url: https://ko.wikipedia.org/wiki/심규언}
数据字段
python {id: Value(dtype=string, id=None), title: Value(dtype=string, id=None), context: Value(dtype=string, id=None), question: Value(dtype=string, id=None), answer: {text: Value(dtype=string, id=None), answer_start: Value(dtype=int32, id=None), html_answer_start: Value(dtype=int32, id=None)}, url: Value(dtype=string, id=None), raw_html: Value(dtype=string, id=None)}
数据分割
- 训练集：83486
- 验证集：10165
数据集创建
数据来源
- 维基百科
其他信息
许可证信息
引用信息
plaintext @article{NODE09353166, author={Youngmin Kim,Seungyoung Lim;Hyunjeong Lee;Soyoon Park;Myungji Kim}, title={{KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension}}, booltitle={{Journal of KIISE 제47권 제6호}}, journal={{Journal of KIISE}}, volume={{47}}, issue={{6}}, publisher={The Korean Institute of Information Scientists and Engineers}, year={2020}, ISSN={{2383-630X}}, pages={577-586}, url={http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09353166}}
搜集汇总
数据集介绍
构建方式
KorQuAD v2.1 是韩国语阅读理解领域的里程碑式数据集，由韩国科学技术院（KAIST）等机构基于众包方式构建。其构建过程以维基百科整页文档为源数据，而非仅截取段落，并保留了HTML结构化信息，包括表格和列表等复杂元素。数据标注团队针对每个问题在整页文档中定位答案，记录答案文本、字符起始位置及HTML中的起始位置，形成超过10万对问答实例。训练集包含83,486个样本，验证集包含10,165个样本，确保了数据规模的充足性与多样性。
特点
该数据集的核心特点在于其文档复杂性和答案多样性。与仅依赖单一段落的传统数据集不同，KorQuAD v2.1 要求模型理解包含表格、列表和嵌套结构的整页维基百科文档，极大提升了机器阅读理解的挑战性。答案形式不再局限于单词或短语，可涵盖整段文字、表格单元乃至列表条目，促使模型具备跨结构的信息整合能力。此外，数据集保留了原始HTML内容和URL，为多模态理解提供了基础资源。
使用方法
KorQuAD v2.1 遵循标准SQuAD格式，适用于抽取式问答任务的训练与评估。用户可通过HuggingFace Datasets库直接加载，使用`load_dataset('squad_kor_v2', split='train')`获取训练数据。每个样本包含id、title、context（纯文本）、question、answer（含text和answer_start）及raw_html字段，便于模型进行文本级和结构级推理。建议在微调韩语预训练语言模型时，将context与question拼接作为输入，利用answer_start进行答案跨度预测，并对比纯文本与HTML特征的效果差异。
背景与挑战
背景概述
KorQuAD 2.1是由韩国科学技术院（KAIST）等机构的研究人员于2020年构建的大规模韩语机器阅读理解数据集，旨在推动韩语自然语言处理领域的发展。该数据集基于维基百科页面，包含超过10万对问答样本，其核心研究问题在于提升模型对结构化网页文档的理解能力，涵盖表格、列表及多段落内容。作为KorQuAD系列的进阶版本，它弥补了KorQuAD 1.0仅依赖单一段落的局限，为韩语问答系统提供了更具挑战性的基准，显著促进了相关领域的研究进步。
当前挑战
数据集面临的挑战主要体现在两方面。首先，在领域问题层面，KorQuAD 2.1要求模型处理包含HTML标签的复杂文档结构，如表格和列表，这超越了传统纯文本问答的范畴，需解决跨模态信息提取与长文本推理的难题。其次，在构建过程中，数据采集依赖众包标注，需确保问答对在多样化网页内容中的准确性与一致性，同时处理答案跨度跨越段落、表格等复杂场景，增加了标注难度与质量控制成本。
常用场景
经典使用场景
KorQuAD v2.1作为韩语机器阅读理解领域的标杆性数据集，其经典使用场景聚焦于基于整篇维基百科页面的抽取式问答任务。与仅依赖单一段落的前代版本不同，该数据集要求模型在包含表格、列表及HTML结构化标签的复杂文档中定位答案，从而推动模型对多模态文档结构的深度理解。研究者常借助其十万余对问答实例，评估模型在长文本上下文中的信息检索与精准抽取能力，尤其关注跨段落、跨元素的信息整合表现。
实际应用
在实际应用中，KorQuAD v2.1为韩语智能问答系统、企业知识库检索及对话式AI产品提供了关键训练基础。例如，基于该数据集微调的模型可部署于维基百科类开放域问答服务，帮助用户从海量结构化网页中快速提取精确答案。此外，其处理HTML文档的能力直接赋能于网页信息抽取工具、智能客服系统及教育领域的自动答疑平台，使机器能够理解包含复杂排版和多媒体元素的真实网络内容，大幅提升信息获取效率与用户体验。
衍生相关工作
该数据集衍生了一系列具有影响力的研究工作。在模型架构层面，研究者提出了针对长文档的层级注意力机制与结构化编码器，以应对整页维基百科的挑战。在方法创新上，出现了融合表格与文本的双流推理模型，以及利用HTML标签结构进行答案定位的远程监督方法。此外，KorQuAD v2.1还催生了跨语言迁移学习研究，探索如何将韩语问答知识迁移至资源稀缺语言，并推动了多模态问答评估基准的构建，为后续如KorQuAD 3.0等更大规模数据集的设计奠定了方法论基础。
以上内容由遇见数据集搜集并总结生成
