alfredplpl/wikipedia-qa-ja-1m

--- language: - ja license: cc-by-sa-3.0 size_categories: - 1M<n<10M task_categories: - question-answering dataset_info: features: - name: id dtype: string - name: url dtype: string - name: question dtype: string - name: answer dtype: string splits: - name: train num_bytes: 381548920 num_examples: 1395760 download_size: 0 dataset_size: 381548920 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "wikipedia-qa-ja-1m" # Original Dataset - hpprc/wikipedia-20240101 # Procedure - Extract the first line of the title from the dataset. - Generate the answer by summizing the line using LLM: - Input RAG-like prompt to CALM 2 7B Chat. - Format the response. # RAG-like Prompt ```python f"""USER: {title}とはなんですか？次の文章を参考に一言でまとめてください。{text} ASSISTANT: """ ```

原始信息汇总

数据集概述

基本信息

• 语言: 日语
• 许可证: CC BY-SA 3.0
• 数据集大小: 1M < n < 10M
• 任务类别: 问答

数据集结构

特征

• id: 字符串类型
• url: 字符串类型
• question: 字符串类型
• answer: 字符串类型

分割

• 训练集:
  • 字节数: 381548920
  • 样本数: 1395760

下载与数据集大小

• 下载大小: 0
• 数据集大小: 381548920

配置

• 默认配置:
  • 数据文件:
    • 分割: 训练集
    • 路径: data/train-*