haoranli-ml/genvf-filtered-proof-graded_score7_only_test

---
dataset_info:
features:
- name: index
dtype: int64
- name: row_id
dtype: int64
- name: problem
dtype: string
- name: answer
dtype: 'null'
- name: source
list: string
- name: mean_reward
dtype: float64
- name: full_response
dtype: string
- name: full_reasoning
dtype: string
- name: model
dtype: string
- name: prefix
dtype: string
- name: prefix_end_index
dtype: int64
- name: num_thoughts
dtype: int64
- name: prefix_type
dtype: string
- name: prefix_type_description
dtype: string
- name: suffix_num
list: int64
- name: suffix_model
list: string
- name: pending
list: bool
- name: pending_model
list: 'null'
- name: suffix_response
list: string
- name: suffix_summary
list: string
- name: self_summary
list: string
- name: suffix_reasoning
list: 'null'
- name: finish_reason
list: string
- name: budget_used
list: int64
- name: escalation
list: int64
- name: usage
list:
- name: completion_tokens
dtype: int64
- name: prompt_tokens
dtype: int64
- name: total_tokens
dtype: int64
- name: error
list: 'null'
- name: error_type
list: 'null'
- name: prefix_model
dtype: string
- name: gemini_summary_of_future
dtype: string
- name: gemini_summary_list
list: string
- name: prefix_steps
list: string
- name: suffix_variants
list:
- name: detailed_steps
list: string
- name: high_level_steps
list: string
- name: id
dtype: int64
- name: dedup_note
dtype: string
- name: cross_prefix_alignment_scores
list:
- name: avg_alignment
dtype: float64
- name: individual_scores
list:
- name: compared_row_id
dtype: int64
- name: compared_summary_id
dtype: int64
- name: direction
dtype: string
- name: output_text
dtype: string
- name: problem_index
dtype: int64
- name: reasoning
dtype: string
- name: score
dtype: float64
- name: num_comparisons
dtype: int64
- name: summary_id
dtype: int64
- name: filtered_suffix
list:
- name: detailed_steps
list: string
- name: high_level_steps
list: string
- name: id
dtype: int64
- name: rubrics
dtype: string
- name: prefix_summary_steps
dtype: string
- name: filtered_suffix_summary_steps
list: string
- name: input_to_VF
dtype: string
- name: proof_scores
list:
- name: points
dtype: int64
- name: suffix_id
dtype: int64
- name: proof_details
list:
- name: assessment
dtype: string
- name: errors
dtype: string
- name: suffix_id
dtype: int64
splits:
- name: train
num_bytes: 7349052
num_examples: 26
download_size: 5859927
dataset_size: 7349052
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集源自对数学推理任务中模型生成轨迹的精细筛选与过滤，聚焦于高可靠性证明路径的收集。构建过程首先从大规模模型响应池中提取包含完整推理链的样本，继而引入基于评分机制的自动验证系统，对每个后缀推理步骤进行逐级评分，仅保留得分达到7分及以上的高质量轨迹。进一步地，通过跨前缀对齐评分与去重处理，确保数据集中每个问题对应的推理路径具备一致性与多样性，最终形成了包含26条精选样本的小规模但高精度的测试集。

特点

数据集的核心特色在于其多维度的结构化信息与严格的质控标准。每条数据不仅包含原始问题与模型的完整响应，还详尽记录了推理步骤、前缀类型、后缀变体及对应的评分矩阵，形成了从初始提示到最终答案的完整可追溯路径。特别是proof_scores与proof_details字段，提供了基于点数的细粒度评估与错误分析，使得数据集能够在微观层面揭示模型推理的薄弱环节。此外，数据集中整合了来自不同模型的对比信息与对齐分数，为研究模型间推理策略的差异提供了独特视角。

使用方法

使用方法上，该数据集主要面向数学推理验证与模型评估场景。研究人员可直接利用problem字段作为输入，结合full_reasoning或suffix_response中的推理链进行复现与分析。proof_scores字段可作为客观基准，用于比较不同模型在相同问题上的推理质量；而cross_prefix_alignment_scores则支持跨模型推理路径的一致性研究。鉴于数据集规模较小且结构复杂，推荐采用深度学习框架的DataLoader进行加载，并利用pandas对嵌套的列表与字典字段进行扁平化处理，以适配下游分析与可视化需求。

背景与挑战

背景概述

该数据集源于数学推理与证明自动化领域的前沿探索，由研究团队针对大规模语言模型在复杂数学问题求解中的推理能力验证而精心构建。创建于近期，核心研究焦点在于评估与提升模型生成数学证明的逻辑严谨性与步骤完整性。通过对模型输出的多维度评分、步骤对齐以及跨前缀一致性分析，该数据集为理解模型推理过程中的潜在缺陷与优势提供了精细化视角。其影响力体现在为数学推理基准测试提供了高筛选标准的测试样本，推动了模型在形式化证明任务上的可解释性研究。

当前挑战

数据集面临的核心领域挑战在于数学证明的非确定性本质：同一命题存在多种等价证明路径，而当前模型生成的证明常隐含逻辑跳跃或步骤冗余，如何设计评分机制以客观衡量证明的完整性与正确性成为难题。构建过程中，挑战尤为突出：需协调多模型生成差异、处理跨模型步骤对齐的模糊性、确保评分标准在不同证明变体间的鲁棒性，以及过滤低质量或语义冲突的推理链。此外，仅保留评分高于7的样本虽提升了数据质量，却可能引入选择偏差，限制了对模型失败模式的全面表征。

常用场景

经典使用场景

该数据集专注于数学推理与证明生成的质量评估，特别适用于检验大语言模型在生成严格数学证明时的表现。经典使用场景包括利用该数据集训练模型以区分高质量与低质量的证明步骤，或通过评分机制优化模型的推理链。研究者可将数据集中包含的完整推理过程、评分及对齐分数作为监督信号，引导模型生成逻辑缜密、符合数学规范的证明。此外，数据集的前缀-后缀结构为研究局部推理与全局证明一致性提供了独特的实验平台。

衍生相关工作

基于该数据集的特征设计，衍生了一系列经典工作，包括利用跨前缀对齐分数进行多步推理的一致性验证方法，以及通过过滤后缀机制筛选高质量证明样本的自蒸馏框架。此外，研究者基于评分数据提出了可学习的奖励模型，用于引导大模型在推理过程中自主修正错误。另有一部分工作借鉴其前缀-后缀结构，在数学定理证明任务中探索了局部到整体的推理聚合策略，显著提升了复杂定理的证明成功率。

数据集最近研究

最新研究方向

在当前大语言模型推理能力评估的前沿探索中，GenVf-Filtered-Proof-Graded-Score7-Only-Test数据集为数学证明与多步推理任务的质量验证提供了关键基准。该数据集聚焦于通过细粒度评分（score≥7）筛选出的高质量证明样本，结合前缀-后缀对齐架构与交叉一致性评分机制，推动了模型在复杂逻辑链条下的自我纠错与归纳总结能力研究。近期热点围绕利用此类结构化证明数据集进行强化学习奖励建模、思维链（Chain-of-Thought）的可解释性优化，以及多模型协同生成的鲁棒性验证展开，其意义在于为构建可追溯、可评估的推理智能体提供了标准化测试平台，深刻影响了数学自动化证明与教育智能系统的发展方向。