heegyu/open-korean-instructions

---
license: mit
---

4가지 한국어 챗봇 학습용 데이터셋을 합쳐놓았습니다. 이중 ShareGPT 데이터는 멀티턴으로 되어있습니다.
데이터 생성 및 합치는 코드는 https://github.com/HeegyuKim/open-korean-instructions 여기를 참고하세요

| 이름 | # | 타입 |
|---|---|---|
| [KoAlpaca v1.0](https://huggingface.co/datasets/Bingsu/ko_alpaca_data) | 52K | 싱글턴 |
| [KoAlpaca v1.1](https://raw.githubusercontent.com/Beomi/KoAlpaca/main/KoAlpaca_v1.1.jsonl) | 21K | 싱글턴 |
| [ShareGPT DeepL 번역](https://huggingface.co/datasets/junelee/sharegpt_deepl_ko) | 620K(싱글턴), 84K(멀티턴) | 멀티턴, 싱글턴 |
| [OIG-small-chip2-ko](https://huggingface.co/datasets/heegyu/OIG-small-chip2-ko) | 210K | 싱글턴 |
| [Korquad-Chat](https://huggingface.co/datasets/heegyu/korquad-chat-v1) | 9.6K | 멀티턴, 지식기반 |

모든 데이터는 포멧이 통일되어 있습니다. `<sys>`, `<usr>`, `<bot>` 세가지 토큰과 줄넘김으로 화자를 구분합니다.
korquad-chat 데이터의 경우, 유저와 봇이 서로를 호칭할 때는 `<|bot|>`, `<|user|>`로 되어있습니다.

```
{"source": "koalpaca-v1.0", "text": "<usr> 홀수 중 하나를 밝히세요.\n<sys> 트위터, 인스타그램, 텔레그램\n<bot> 텔레그램입니다."}
{"source": "korquad-chat", "text": "
<sys>1984년 9월부터 덴노지 역 ~ 히네노 역간에 운전을 개시한 '홈 라이너 이즈미'가 전신이다. 특급 구로시오의 381계 전동차의 히네노 전차구 입선 회송 열차를 좌석 정리권을 필요로 하는 정원제 열차로서 운행해온 것으로 간사이 지방 최초의 홈 라이너였다. 1986년 11월 개정에 따라 운전 구간이 와카야마 역까지 연장되어 한와 라이너로 개칭되어 현재에 이르게 되었다. 이전에는 평일에 상행 3편, 하행 6편이 운전되었지만 일부가 신오사카 역이나 교토 역 방면 발착 특급 구로시오로 변경되어 2002년 3월 이후에는 상행 2편, 하행 4편으로 축소되었다. 2009년 3월의 시간표 개정부터는 휴일 시간대의 운전이 중단되었으며 같은 해 6월 1일부터는 전면 금연화되었다.\n
<usr> 안녕하세요, <|bot|>. \"한와_선\"에 대해 알고 계시나요?\n
<bot> 네, 전체적으로 알고 있습니다. 1984년에 운전을 개시한 \"홈 라이너 이즈미\"가 전신이며, 간사이 지방 최초의 홈 라이너였습니다. 1986년에는 와카야마 역까지 연장된 후 \"한와 라이너\"로 개칭되었습니다.\n
<usr> 그렇군요. 이전에는 평일에 몇 편이 운행되었나요?\n
<bot> 평일에 상행 3편, 하행 6편이 운전되었습니다. 하지만 2002년 이후로는 상행 2편, 하행 4편으로 축소되었습니다.\n
<usr> 그렇군요. 혹시 특급 구로시오와 연관이 있을까요?\n
<bot> 네, \"한와 라이너\"는 특급 구로시오의 381계 전동차의 히네노 전차구 입선 회송 열차를 좌석 정리권을 필요로 하는 정원제 열차로서 운행되었습니다."
}
```

许可证：MIT

本数据集整合了4套用于韩语聊天机器人训练的数据集，其中ShareGPT数据集采用多轮对话格式。
数据集的生成与整合代码可参考：https://github.com/HeegyuKim/open-korean-instructions

| 名称 | 数据量 | 类型 |
|---|---|---|
| [KoAlpaca v1.0](https://huggingface.co/datasets/Bingsu/ko_alpaca_data) | 52K | 单轮（single-turn） |
| [KoAlpaca v1.1](https://raw.githubusercontent.com/Beomi/KoAlpaca/main/KoAlpaca_v1.1.jsonl) | 21K | 单轮（single-turn） |
| [ShareGPT DeepL 翻译版](https://huggingface.co/datasets/junelee/sharegpt_deepl_ko) | 620K（单轮）、84K（多轮） | 多轮（multi-turn）、单轮（single-turn） |
| [OIG-small-chip2-ko](https://huggingface.co/datasets/heegyu/OIG-small-chip2-ko) | 210K | 单轮（single-turn） |
| [Korquad-Chat](https://huggingface.co/datasets/heegyu/korquad-chat-v1) | 9.6K | 多轮（multi-turn）、知识基（knowledge-based） |

所有数据集均采用统一格式，通过`<sys>`、`<usr>`、`<bot>`三种Token及换行符区分对话角色。针对Korquad-Chat数据集，当对话双方互相称呼时，需使用`<|bot|>`与`<|user|>`作为角色标识。

json
{"source": "koalpaca-v1.0", "text": "<usr> 홀수 중 하나를 밝히세요.
<sys> 트위터, 인스타그램, 텔레그램
<bot> 텔레그램입니다."}
{"source": "korquad-chat", "text": "
<sys>1984년 9월부터 덴노지 역 ~ 히네노 역간에 운전을 개시한 '홈 라이너 이즈미'가 전신이다. 특급 구로시오의 381계 전동차의 히네노 전차구 입선 회송 열차를 좌석 정리권을 필요로 하는 정원제 열차로서 운행해온 것으로 간사이 지방 최초의 홈 라이너였다. 1986년 11월 개정에 따라 운전 구간이 와카야마 역까지 연장되어 한와 라이너로 개칭되어 현재에 이르게 되었다. 이전에는 평일에 상행 3편, 하행 6편이 운전되었지만 일부가 신오사카 역이나 교토 역 방면 발착 특급 구로시오로 변경되어 2002년 3월 이후에는 상행 2편, 하행 4편으로 축소되었다. 2009년 3월의 시간표 개정부터는 휴일 시간대의 운전이 중단되었으며 같은 해 6월 1일부터는 전면 금연화되었다.

<usr> 안녕하세요, <|bot|>. "한와_선"에 대해 알고 계시나요?

<bot> 네, 전체적으로 알고 있습니다. 1984년에 운전을 개시한 "홈 라이너 이즈미"가 전신이며, 간사이 지방 최초의 홈 라이너였습니다. 1986년에는 와카야마 역까지 연장된 후 "한와 라이너"로 개칭되었습니다.

<usr> 그렇군요. 이전에는 평일에 몇 편이 운행되었나요?

<bot> 평일에 상행 3편, 하행 6편이 운전되었습니다. 하지만 2002년 이후로는 상행 2편, 하행 4편으로 축소되었습니다.

<usr> 그렇군요. 혹시 특급 구로시오와 연관이 있을까요?

<bot> 네, "한와 라이너"는 특급 구로시오의 381계 전동차의 히네노 전차구 입선 회송 열차를 좌석 정리권을 필요로 하는 정원제 열차로서 운행되었습니다."}

原始信息汇总

数据集概述

本数据集整合了四种用于韩语聊天机器人学习的语料库，包括：

名称	数据量	类型
KoAlpaca v1.0	52K	单轮
KoAlpaca v1.1	21K	单轮
ShareGPT DeepL 翻译	620K(单轮), 84K(多轮)	多轮, 单轮
OIG-small-chip2-ko	210K	单轮
Korquad-Chat	9.6K	多轮, 知识型

所有数据均采用统一格式，使用<sys>、<usr>、<bot>三种标记和换行符来区分说话者。在korquad-chat数据中，用户和机器人相互称呼时使用<|bot|>和<|user|>标记。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量指令数据的匮乏是制约韩语对话系统发展的关键瓶颈。为应对这一挑战，该数据集将四种韩语聊天机器人训练语料整合为统一资源。构建过程中，采用格式归一化策略，通过`<sys>`、`<usr>`、`<bot>`三种特殊标记配合换行符区分系统、用户与机器人的发言角色，确保多源数据无缝融合。具体来源包括：KoAlpaca v1.0与v1.1的73K单轮对话、ShareGPT经DeepL翻译后的620K单轮与84K多轮对话、OIG-small-chip2-ko的210K单轮样本，以及基于KorQAD构建的9.6K多轮知识型对话。各子集保持原始对话结构，其中ShareGPT与Korquad-Chat保留了多轮交互特性，而Korquad-Chat在角色指代上使用`<|bot|>`与`<|user|>`标记以示区分，最终形成层次清晰、格式统一的综合性指令数据集。

特点

该数据集的核心优势在于其规模宏大与异质性融合。总计超过百万条指令样本，覆盖单轮与多轮两种对话范式，并包含知识驱动型交互，为韩语对话模型提供了丰富的训练素材。其显著特点在于格式的高度标准化，所有数据均采用统一的角色标记体系，极大降低了预处理复杂度。此外，数据来源的多样性赋予其广泛的语义覆盖：既有通用指令任务，亦有翻译后的全球化对话内容，以及基于韩国本土问答语料的知识型对话。这种跨领域、跨结构的混合设计，使得模型能够同时学习指令遵循、多轮记忆与事实检索能力，从而在单一数据集上实现对话能力的综合提升。

使用方法

使用该数据集时，可直接加载统一的JSON格式文件，每条样本包含`source`与`text`字段。`text`字段已内置角色标记，无需额外解析即可用于序列到序列模型的训练。针对多轮对话，建议保留完整的`<usr>`与`<bot>`交替序列以维持上下文连贯性。训练前，可根据需求过滤特定来源，例如仅使用KoAlpaca系列进行单轮指令微调，或整合ShareGPT多轮部分增强对话连续性。对于Korquad-Chat中的知识型样本，推荐结合检索增强生成框架使用。模型输入时，可将`<sys>`标记后的系统提示作为上下文前缀，`<usr>`后的用户输入作为查询，`<bot>`后的回复作为目标输出，实现端到端的指令学习。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域的迅猛发展，高质量指令微调数据集成为提升模型对话能力的关键资源。在此背景下，韩国科研人员Heegyu Kim于2023年构建了open-korean-instructions数据集，旨在为韩语聊天机器人提供统一的训练数据。该数据集整合了KoAlpaca v1.0、KoAlpaca v1.1、经过DeepL翻译的ShareGPT、OIG-small-chip2-ko以及Korquad-Chat等多个来源，涵盖单轮与多轮对话形式，总计超过90万条样本。其核心研究问题在于如何通过多源异构数据的标准化融合，增强韩语大模型的指令遵循与交互能力。该数据集的出现填补了韩语指令微调领域公开数据集的空白，对推动韩语自然语言理解与生成研究具有重要影响。

当前挑战

open-korean-instructions数据集面临的挑战主要体现在领域问题与构建过程两方面。在领域层面，韩语指令微调数据稀缺且质量参差不齐，现有数据多依赖机器翻译或有限语料，导致模型在复杂对话、知识推理等场景中泛化能力不足。构建过程中，多源数据格式差异显著，如ShareGPT的多轮结构与Korquad-Chat的知识基元数据需统一为<sys>、<usr>、<bot>标记体系，增加了预处理复杂度。此外，某些子集（如KoAlpaca v1.0）仅含单轮指令，而多轮数据（如ShareGPT翻译版）存在翻译不精确、语境断裂等问题，可能引入噪声，影响模型训练的一致性与可靠性。

常用场景

经典使用场景

在韩语自然语言处理领域，指令微调数据集的匮乏长期制约着对话模型的性能提升。heegyu/open-korean-instructions 数据集通过整合 KoAlpaca、ShareGPT 韩译版、OIG-small-chip2-ko 及 Korquad-Chat 等多个来源，构建了涵盖单轮与多轮对话的统一格式语料库。其最经典的使用场景是作为韩语大语言模型的指令微调训练数据，研究者可利用其丰富的指令-回复对，使模型掌握遵循用户意图、生成流畅韩语回复的能力，从而提升在问答、任务执行等场景中的表现。

解决学术问题

该数据集有效解决了韩语对话模型研究中高质量指令数据稀缺的核心难题。此前，韩语模型多依赖机器翻译英语指令数据或小规模人工标注，导致语义偏差与领域覆盖不足。heegyu/open-korean-instructions 通过整合多源数据并统一格式，提供了超过 90 万条指令样本，覆盖知识问答、日常对话、多轮交互等场景，显著降低了数据采集成本。其意义在于为韩语指令微调提供了标准化基准，推动了韩语大模型在零样本推理、任务泛化等学术方向的进展，并为跨语言指令学习研究提供了宝贵的对比资源。

衍生相关工作

heegyu/open-korean-instructions 衍生了一系列经典工作。研究者基于其统一格式，开发了韩语指令微调模型如 KoAlpaca 和 KoChatGPT，这些模型在韩语基准测试中取得了显著性能提升。同时，该数据集被用于评估不同微调策略对韩语对话质量的影响，催生了关于多轮对话一致性、指令遵循能力等方向的研究。此外，其多源整合方法启发了后续韩语数据集的构建，如 KOR-Bench 等评测基准的建立，进一步推动了韩语自然语言处理领域的系统化发展。