botp/yentinglin-traditional_mandarin_instructions

Taiwan-LLaMa是一个基于LLaMa 2的全参数微调模型，专门用于传统中文应用。该模型在超过50亿个标记上进行了预训练，并在超过49万次对话上进行了指令调优，以支持传统中文并适用于台湾文化及相关应用。模型的关键特性包括传统中文支持、指令调优、在Vicuna基准测试中的表现以及灵活的定制选项。此外，模型还提供了多种检查点，用户可以根据需要选择使用。

Taiwan-LLaMa is a full-parameter fine-tuned model based on LLaMa 2, exclusively developed for Traditional Chinese applications. Pre-trained on over 5 billion tokens and instruction-tuned on more than 490,000 dialogues, this model is optimized to support Traditional Chinese and adapt to Taiwanese cultural contexts and related use cases. Key features of Taiwan-LLaMa include native Traditional Chinese support, instruction tuning capability, competitive performance on the Vicuna benchmark, and flexible customization options. Additionally, multiple pre-trained checkpoints are provided, allowing users to select appropriate ones according to their practical needs.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-4.0
• 任务类别:
  • 对话
  • 文本生成
  • 文本到文本生成
• 语言: 中文
• 名称: Traditional Chinese Instruction-tuning Set
• 数据量: 100K<n<1M
• 来源: yentinglin/traditional_mandarin_instructions

模型概述

• 模型名称: Taiwan-LLaMa
• 基于模型: LLaMa 2
• 版本: v1.0
• 预训练: 超过50亿个标记
• 指令调优: 超过49万次对话

关键特性

1. 支持繁体中文: 模型经过调优，适用于繁体中文文本理解和生成。
2. 指令调优: 在对话数据上进一步调优，提供上下文感知和指令遵循的响应。
3. 性能基准: 在Vicuna基准测试中，与GPT-4和ChatGPT等模型相比，性能优化。
4. 灵活定制: 提供高级选项，如系统提示、温度、top-p和top-k，以控制模型行为。

数据集链接

• 指令调优数据集: yentinglin/traditional_mandarin_instructions
• 繁体中文预训练数据集: yentinglin/zh_TW_c4

模型架构

• 基础架构: LLaMa 2，利用transformer架构、flash attention 2和bfloat16。
• 预训练阶段: 在大量繁体中文语料库上预训练。
• 调优阶段: 在多轮对话数据上进一步调优，以增强指令遵循和上下文感知能力。

性能评估

• 基准测试: Vicuna基准测试，使用ChatGPT作为基准（100%）。
• 相对性能:
  • GPT-4: 102.59%
  • ChatGPT: 100.00%
  • Taiwan-LLaMa v1.0: 76.76%
  • Claude-Instant-1.2: 74.04%
  • Llama2_Traditional_Chinese_13b_Chat: 56.21%

搜集汇总

数据集介绍

构建方式

该数据集专为繁体中文环境下的指令微调而构建，旨在提升大语言模型对台湾文化语境的理解与响应能力。其构建过程基于大规模繁体中文语料库，从Common Crawl中提取超过50亿个token进行预训练，随后利用超过49万轮的多轮对话数据进行指令微调，确保模型能够精准遵循用户指令并生成上下文感知的回答。数据集的生成部分借助OpenAI模型完成，并遵循相关使用条款。整体架构以LLaMa 2为基础，融合Flash Attention 2与bfloat16技术，优化训练效率与模型性能。

特点

该数据集的核心特点在于其深度适配繁体中文与台湾文化场景，尤其在处理本地化知识如地名、习俗及社会现象时表现出色。与通用模型相比，它在涉及台湾文化的问答中显著减少错误，例如正确识别田寮月世界、NTU为国立台湾大学等。数据集涵盖超过10万条至100万条样本，规模适中，兼具多样性与针对性。此外，它支持灵活的系统提示、温度及top-p参数调节，便于用户根据需求定制模型行为，且已在Vicuna基准测试中展现出优于同类繁体中文模型的相对性能。

使用方法

使用该数据集时，推荐通过Hugging Face的Text Generation Inference框架部署模型，以简化推理流程。用户需遵循Vicuna v1.1模板的提示格式，即“A chat between a curious user and an artificial intelligence assistant...”，将用户输入嵌入{user}占位符。开发环境可通过Conda创建Python 3.10虚拟环境，并安装requirements.txt中的依赖项。模型支持多GPU部署，可通过调整NUM_GPUS、MAX_INPUT_LEN等参数优化性能。数据集的许可为CC BY-NC 4.0，仅限非商业用途，引用时请使用提供的BibTeX条目。

背景与挑战

背景概述

在大型语言模型领域，针对特定语言与文化场景的适配一直是研究热点。传统普通话模型虽已取得显著进展，但面向繁体中文及台湾文化语境的模型仍存在空白。为此，由Yen-Ting Lin与Yun-Nung Chen领导的研究团队于2023年创建了Taiwan-LLaMa项目，其中核心数据集“traditional_mandarin_instructions”应运而生。该数据集包含超过49万条多轮对话指令，专门用于微调模型以理解并生成符合台湾文化的繁体中文内容。基于LLaMa 2架构，研究者通过全参数微调，使模型在Vicuna基准测试中达到ChatGPT相对性能的76.76%，显著优于其他繁体中文模型。该数据集不仅推动了多语言模型的本土化发展，也为台湾文化相关的自然语言处理应用奠定了坚实基础。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，繁体中文与台湾文化涉及大量独特的地域知识（如“22K”、“肉圆加香菜”等），模型需克服从通用语料到特定文化语境的迁移难题，避免产生如将“唐凤”误认为中国演员的知识偏差。其次，构建过程中，研究者需从Common Crawl中筛选超过50亿繁体中文token，并人工设计对话模板以确保指令质量，同时处理数据版权问题（如使用OpenAI生成数据需遵守其使用条款）。此外，模型在Vicuna基准上的76.76%相对得分表明，与GPT-4等顶尖模型相比，其在回答的准确性和自然度上仍有较大提升空间，尤其面对台湾本地化问题时，需进一步优化预训练策略与数据多样性。

常用场景

经典使用场景

该数据集专为繁体中文化场景设计，主要用于指令微调（instruction-tuning）大规模语言模型，以提升模型对台湾地区文化、习俗及语言表达的理解与生成能力。通过包含超过49万条多轮对话数据的训练，经典使用场景涵盖面向台湾本土知识的问答系统，例如地理景点辨识（如田寮月世界）、社会现象解释（如22K薪资议题）及文化习俗讨论（如肉圆是否加香菜），从而确保模型输出贴合繁体中文用户的认知语境。

衍生相关工作

该数据集衍生了多项重要工作，包括Taiwan-LLaMa系列模型（v0.0至v1.0），其中v1.0版本在Vicuna基准测试中相对ChatGPT达到76.76%的性能，显著超越未经历繁体中文预训练的基线模型。基于该数据集的研究还探索了RoPE机制扩展模型上下文长度至8k，以及结合Flash Attention 2优化推理效率。后续工作进一步将其与C4繁体中文预训练语料结合，推动了大语言模型在台湾文化场景下的持续进化。

数据集最近研究

最新研究方向

该数据集聚焦于繁体中文指令微调，旨在提升大型语言模型对台湾文化语境的理解与生成能力。当前前沿研究方向包括基于LLaMA 2的全参数微调，通过在超过50亿tokens的繁体中文语料上预训练，并利用49万条多轮对话数据进行指令微调，使模型能够更精准地回应涉及台湾本土知识（如恶地景观、22K起薪、肉圆饮食文化等）的查询。相关热点事件为Taiwan-LLaMa的发布，其在Vicuna基准测试中相对ChatGPT达到76.76%的性能，显著优于未经过繁体中文预训练的模型，凸显了文化对齐在语言模型本地化中的关键作用。这一研究不仅推动了繁体中文NLP的进展，也为保护与传承台湾文化提供了技术支撑，同时为其他方言或文化区域的模型适配树立了范式。