wannaphong/thai-dialect-isan-dataset

---
language:
- th
license: apache-2.0
task_categories:
- automatic-speech-recognition
tags:
- audio
- speech-processing
- isan-dialect
pretty_name: Thai Dialect Isan Speech Corpus
size_categories:
- 10k<n<100k
dataset_info:
features:
- name: id
dtype: string
- name: audio
struct:
- name: array
sequence: float32
- name: path
dtype: string
- name: sampling_rate
dtype: int64
- name: raw
dtype: string
- name: thai_spelling
dtype: string
- name: isan_spelling
dtype: string
- name: name
dtype: string
- name: district
dtype: string
- name: province
dtype: string
- name: age
dtype: string
- name: gender
dtype: string
- name: question_id
dtype: string
- name: question
dtype: string
- name: duration
dtype: float64
splits:
- name: train
num_bytes: 19226874522
num_examples: 9987
- name: test
num_bytes: 892537211
num_examples: 500
download_size: 8839972206
dataset_size: 20119411733
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

# Dataset Card for Thai Dialect Isan Speech Corpus

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Structure](#dataset-structure)
- [Data Statistics](#data-statistics)
- [Key Features](#key-features)
- [Usage](#usage)
- [Additional Information](#additional-information)

## Dataset Description

This dataset contains audio recordings of **Isan (Northeastern Thai)** speech, paired with rich transcriptions and demographic metadata. It is designed to support Automatic Speech Recognition (ASR), dialect study, and text normalization tasks for the Isan language.

The dataset features spontaneous responses to specific questions, covering two domains (General and Finance), recorded by speakers from different provinces in Northeastern Thailand.

- **Language:** Isan (Northeastern Thai)
- **Total Examples:** 10,487
- **Input:** Audio (WAV)
- **Output:** Transcriptions (Isan spelling, Thai spelling, and Raw annotated format)
- **License:** CC-BY-4.0

## Dataset Structure

### Data Splits

| Split | Examples |
| ----- | :------: |
| Train | 9,987 |
| Test | 500 |

### Data Fields

Each data point contains the following fields:

- **id** (`string`): A unique identifier for the dataset entry.
- **audio** (`audio`): A dictionary containing the path to the audio file, the decoded audio array, and the sampling rate.
- **raw** (`string`): The raw transcription containing dialect-to-standard annotation tokens.
- *Format:* `[Isan Word]<Standard Thai Word>`
- *Example:* `"ข้อย[กะ]<ก็>บ่ค่อยมี[แฮง]<แรง>"`
- **thai_spelling** (`string`): The transcription normalized to Standard Thai spelling.
- *Example:* `"ข้อยก็บ่ค่อยมีแรง"`
- **isan_spelling** (`string`): The transcription written in Isan spelling (phonetic to the dialect).
- *Example:* `"ข้อยกะบ่ค่อยมีแฮง"`
- **name** (`string`): The original filename, often containing metadata codes (e.g., `opentyphoon;is;x_061;gen;0049.wav`).
- **district** (`string`): The district (Amphoe) where the speaker resides.
- **province** (`string`): The province (Changwat) where the speaker resides.
- **age** (`int`): The age of the speaker.
- **gender** (`string`): The gender of the speaker. Values include `"m"` (male), `"f"` (female), and `"x"` (not specified).
- **question_id** (`string`): The ID of the prompt question asked to the speaker.
- **question** (`string`): The text of the question asked to the speaker.
- **duration** (`float`): The duration of the audio clip in seconds.

## Key Features

### 1. Rich Annotation Format
The `raw` field provides a unique mapping between Isan dialect and Standard Thai. This is valuable for dialect normalization and translation tasks.
- **Format:** `[dialect spelling]<standard Thai spelling>`
- **Example:** `[เฮา]<เรา>` indicates the speaker said "hao" (Isan) which corresponds to "rao" (Thai for "We/Us").

### 2. Demographic Diversity
The dataset includes speakers from multiple key provinces in the Isan region, allowing for analysis of regional accent variations. Provinces include:
- Khon Kaen
- Udon Thani
- Ubon Ratchathani
- Chaiyaphum
- Roi Et
- Maha Sarakham
- Kalasin
- Nong Bua Lam Phu
- Beung Kan

### 3. Prompted Speech
Recordings are responses to specific questions (found in the `question` field), providing context for the speech. This helps in analyzing semantic understanding and sentiment in the local dialect.

## Usage

### Loading the Dataset

```python
from datasets import load_dataset
import IPython.display as ipd

# Load the dataset
dataset = load_dataset("scb10x/thai-dialect-isan-dataset")

# Select a sample
example = dataset['train'][0]

# Print transcriptions
print(f"Transcript (Isan): {example['isan_spelling']}")
print(f"Transcript (Thai): {example['thai_spelling']}")

# Listen to audio
ipd.Audio(example['audio']['array'], rate=example['audio']['sampling_rate'])

language:
- 泰语
license: Apache-2.0
task_categories:
- 自动语音识别（Automatic Speech Recognition）
tags:
- 音频
- 语音处理
- 伊桑方言（Isan dialect）
pretty_name: 伊桑泰语方言语音语料库
size_categories:
- 10000 < 样本量 < 100000
dataset_info:
features:
- name: id
dtype: 字符串（string）
- name: audio
struct:
- name: array
sequence: float32
- name: path
dtype: 字符串（string）
- name: sampling_rate
dtype: 整数（int64）
- name: raw
dtype: 字符串（string）
- name: thai_spelling
dtype: 字符串（string）
- name: isan_spelling
dtype: 字符串（string）
- name: name
dtype: 字符串（string）
- name: district
dtype: 字符串（string）
- name: province
dtype: 字符串（string）
- name: age
dtype: 字符串（string）
- name: gender
dtype: 字符串（string）
- name: question_id
dtype: 字符串（string）
- name: question
dtype: 字符串（string）
- name: duration
dtype: 浮点数（float64）
splits:
- name: 训练集（train）
num_bytes: 19226874522
num_examples: 9987
- name: 测试集（test）
num_bytes: 892537211
num_examples: 500
download_size: 8839972206
dataset_size: 20119411733
configs:
- config_name: 默认配置（default）
data_files:
- split: 训练集（train）
path: data/train-*
- split: 测试集（test）
path: data/test-*

---

# 伊桑泰语方言语音语料库数据集卡片

## 目录
- [数据集描述](#dataset-description)
- [数据集结构](#dataset-structure)
- [数据统计](#data-statistics)
- [核心特性](#key-features)
- [使用方法](#usage)
- [附加信息](#additional-information)

## 数据集描述

本数据集包含伊桑方言（Isan，东北部泰语）的语音录音，搭配丰富的转写文本与人口统计元数据，旨在支持伊桑语的自动语音识别（Automatic Speech Recognition，简称ASR）、方言研究以及文本归一化任务。

本数据集收录泰国东北部不同地区受访者针对特定问题的自发应答语音，涵盖通用与金融两个领域。

- **语言：** 伊桑方言（东北部泰语）
- **总样本量：** 10487
- **输入：** 音频（WAV格式）
- **输出：** 转写文本（包含伊桑方言拼写、标准泰语拼写与原始标注格式三种形式）
- **许可证：** CC-BY-4.0

## 数据集结构

### 数据划分

| 划分方式 | 样本量 |
| ----- | :------: |
| 训练集 | 9987 |
| 测试集 | 500 |

### 数据字段

每条数据包含以下字段：

- **id**（字符串类型）：数据集条目的唯一标识符。
- **audio**（音频结构体）：包含音频文件路径、解码后的音频数组与采样率的字典。
- **raw**（字符串类型）：包含方言-标准语标注标记的原始转写文本。
- 格式：`[伊桑方言词汇]<标准泰语词汇>`
- 示例：`"ข้อย[กะ]<ก็>บ่ค่อยมี[แฮง]<แรง>"`
- **thai_spelling**（字符串类型）：归一化为标准泰语拼写的转写文本。
- 示例：`"ข้อยก็บ่ค่อยมีแรง"`
- **isan_spelling**（字符串类型）：采用伊桑方言拼写（贴合方言发音）的转写文本。
- 示例：`"ข้อยกะบ่ค่อยมีแฮง"`
- **name**（字符串类型）：原始文件名，通常包含元数据编码（例如：`opentyphoon;is;x_061;gen;0049.wav`）。
- **district**（字符串类型）：受访者居住的县（Amphoe，泰国县级行政区）。
- **province**（字符串类型）：受访者居住的府（Changwat，泰国省级行政区）。
- **age**（字符串类型）：受访者的年龄。
- **gender**（字符串类型）：受访者的性别，取值包括`"m"`（男性）、`"f"`（女性）与`"x"`（未指定）。
- **question_id**（字符串类型）：向受访者提出的提示问题的ID。
- **question**（字符串类型）：向受访者提出的问题文本。
- **duration**（浮点类型）：音频片段的时长，单位为秒。

## 核心特性

### 1. 丰富的标注格式
`raw`字段提供了伊桑方言与标准泰语之间的专属映射关系，可有效支撑方言归一化与翻译任务。
- 格式：`[方言拼写]<标准泰语拼写>`
- 示例：`[เฮา]<เรา>` 表示受访者说出的伊桑方言词汇“hao”对应标准泰语中的“rao”（意为“我们”）。

### 2. 人口统计多样性
本数据集收录伊桑地区多个核心府的受访者语音，支持区域口音差异分析，涉及的府包括：
- 孔敬府（Khon Kaen）
- 乌隆他尼府（Udon Thani）
- 乌汶叻差他尼府（Ubon Ratchathani）
- 猜也蓬府（Chaiyaphum）
- 黎逸府（Roi Et）
- 马哈沙拉堪府（Maha Sarakham）
- 加拉信府（Kalasin）
- 农磨兰普府（Nong Bua Lam Phu）
- 汶干府（Beung Kan）

### 3. 提示式语音
本数据集的语音均为受访者针对特定问题（详见`question`字段）的应答，自带语境信息，有助于分析当地方言的语义理解与情感倾向。

## 使用方法

### 数据集加载
python
from datasets import load_dataset
import IPython.display as ipd

# 加载数据集
dataset = load_dataset("scb10x/thai-dialect-isan-dataset")

# 选取样本
example = dataset['train'][0]

# 打印转写文本
print(f"伊桑方言转写：{example['isan_spelling']}")
print(f"标准泰语转写：{example['thai_spelling']}")

# 播放音频
ipd.Audio(example['audio']['array'], rate=example['audio']['sampling_rate'])