jfinqa
收藏资源简介：
jfinqa是一个用于评估大型语言模型在日语金融问答任务中表现的数据集，特别关注需要对真实公司披露信息进行数值推理的场景。该数据集包含927个问题，覆盖68家公司和三种会计准则（J-GAAP、IFRS、US-GAAP）。数据集分为三个子任务：数值推理（550个问题）、一致性检查（200个问题）和时间推理（177个问题）。每个数据样本包含多个字段，如公司名称、EDINET代码、会计年度、会计准则、问题文本、答案、程序步骤和相关表格数据等。数据来源于日本金融厅运营的EDINET系统，采用Apache-2.0许可协议发布。该数据集特别考虑了日语特有的财务术语、数字格式和会计准则差异。
JFinQA is a dataset designed to evaluate the performance of large language models (LLMs) on Japanese financial question answering tasks, with a special focus on scenarios requiring numerical reasoning over real corporate disclosure information. This dataset contains 927 questions covering 68 companies and three accounting standards: J-GAAP, IFRS, and US-GAAP. It is divided into three subtasks: numerical reasoning (550 questions), consistency checking (200 questions), and temporal reasoning (177 questions). Each data sample includes multiple fields such as company name, EDINET code, fiscal year, accounting standard, question text, answer, procedural steps, and relevant tabular data. The dataset is sourced from the EDINET system operated by the Financial Services Agency of Japan, and is released under the Apache-2.0 license. This dataset specifically takes into account Japanese-specific financial terminology, number formats, and differences in accounting standards.
jfinqa: Japanese Financial QA Benchmark 数据集概述
数据集基本信息
- 数据集名称: jfinqa: Japanese Financial QA Benchmark
- 许可证: Apache-2.0
- 主要语言: 日语 (ja)
- 标签: benchmark, financial, question-answering, numerical-reasoning, japanese, edinet
- 规模类别: n<1K
- 任务类别: question-answering, table-question-answering
数据集内容与结构
- 总问题数: 927
- 涉及公司数: 68
- 数据划分: 仅包含测试集 (test)
- 平均程序步骤: 2.53
子任务配置
数据集包含三个子任务配置，每个配置仅包含测试集：
all: 包含所有927个问题。numerical_reasoning: 从表格数据计算财务指标，包含550个问题。consistency_checking: 验证报告数字的内部一致性，包含200个问题。temporal_reasoning: 分析跨时期的趋势和变化，包含177个问题。
数据特征 (Features)
每个数据示例包含以下字段：
id: 唯一标识符 (字符串)subtask: 任务类别 (字符串)company_name: 公司名称 (日语，字符串)edinet_code: EDINET公司代码 (字符串)source_doc_id: 源文档ID (字符串)filing_year: 财年 (字符串)accounting_standard: 会计准则 (字符串，如 J-GAAP, IFRS, US-GAAP)scale: 数字单位 (字符串，如 百万円, 億円)pre_text: 表格前的上下文段落 (字符串序列)post_text: 表格后的上下文段落 (字符串序列)table_headers: 表格列标题 (字符串序列)table_rows: 表格数据行 (字符串序列的序列)question: 问题 (日语，字符串)answer: 标准答案 (字符串)program: FinQA兼容的DSL程序 (字符串序列)gold_evidence: 相关表格行的索引 (int64序列)
数据集特点
- 核心任务: 评估大语言模型在需要对真实公司披露信息进行数值推理的日语财务问答任务上的能力。
- 任务复杂性: 要求模型交叉引用文本和表格以执行多步骤计算，不同于专注于分类或简单查找的现有日语财务基准。
- 会计准则覆盖: 涵盖 J-GAAP (528例)、IFRS (360例)、US-GAAP (39例)。
- 日语特定特征:
- 处理 J-GAAP (経常利益)、IFRS 和 US-GAAP 的差异。
- 支持日语数字格式：△ 表示负数、百万円/億円等单位、全角数字。
- 包含日语财务术语：売上高、営業利益、経常利益等。
- 数据格式兼容性: 数据格式与 FinQA 兼容。
数据来源
- 主要来源: 财务数据来自日本金融厅运营的 EDINET。
- 数据许可: EDINET数据依据 Public Data License 1.0 提供。
使用方式
可通过 datasets 库加载：
python
from datasets import load_dataset
ds = load_dataset("ajtgjmdjp/jfinqa", "all", split="test")
或使用专用的 jfinqa 库（安装：pip install jfinqa）进行加载和评估。
相关资源
- 项目仓库: https://github.com/ajtgjmdjp/jfinqa
- 评估库: https://github.com/ajtgjmdjp/jfinqa
- 伴生项目: https://github.com/ajtgjmdjp/edinet-mcp (EDINET XBRL解析器)
- 相关基准: FinQA (英文财务QA基准), EDINET-Bench (Sakana AI的财务分类基准)
引用
bibtex @misc{jfinqa2025, title={jfinqa: Japanese Financial Numerical Reasoning QA Benchmark}, author={ajtgjmdjp}, year={2025}, url={https://github.com/ajtgjmdjp/jfinqa}, }
