code2lora/code2lora-data-smartcap

code2lora-data-smartcap是一个智能截断、文件/函数平衡的每提交问答数据集，用于训练论文中的Code2LoRA-GRU模型。该数据集通过截断机制减少训练分布的长尾效应，具体包括：删除简单目标（如长度小于4的字符串或仅含）的目标）、在每个提交中跨（测试文件、测试函数）组进行轮询采样以保持文件/函数多样性，并设置每个提交最多8个样本、每个（提交，测试文件）最多4个样本的上限。仅in_repo_split == "train"的行被截断，验证和测试行保持不变，以确保评估套件与未截断数据集可比。数据集包含多个Parquet文件，总行数约230万，并涉及两种独立的分割轴：跨仓库分割（train, cr_val, cr_test）和仓库内分割（train, val, test），用于不同评估场景。

许可证：MIT许可证
标签：[代码、断言补全（assertion-completion）、仓库级（repository-level）]

# code2lora-data-smartcap — 智能截断式GRU训练问答数据集

本数据集为适配论文中**Code2LoRA-GRU**模型训练的、按文件与函数均衡的单提交（commit）问答数据集，通过智能截断处理缓解训练分布的重尾问题，具体实现方式如下：
1. 过滤无效目标：剔除长度不足4的纯文本目标（`len(target.strip()) < 4`）、仅含右括号的冗余内容等。
2. 轮询采样：在每个提交内针对（测试文件、测试函数）分组进行轮询采样，以保留文件与函数的多样性。
3. 总量截断：将每个提交的最大样本数限制为`max_per_commit = 8`，并将每个（提交、测试文件）组合的最大样本数限制为`max_per_file = 4`。

**仅当`in_repo_split == "train"`时，样本才会被截断**。验证集与测试集样本保持原样，因此评估集可与未截断数据集直接对比。

## 样本统计
| 数据文件路径 | 样本数量 | 备注说明 |
|:---------------------------|:-------------|:-------------------------------------------------------------------------|
| `qna/cr_train.parquet` | 1,187,359 | 其中包含215,129条经截断的训练样本、437,227条验证样本与535,003条测试样本（验证/测试样本未做截断处理） |
| `qna/cr_val.parquet` | 641,848 | 完整未截断数据集 |
| `qna/cr_test.parquet` | 476,455 | 完整未截断数据集 |

## 拆分语义
本数据集包含两组独立的拆分维度：
* `cross_repo_split ∈ {train, cr_val, cr_test}`：表征模型可见的**仓库来源**，分别为跨仓库训练集、跨仓库验证集与跨仓库测试集。
* `in_repo_split ∈ {train, val, test}`：针对每个仓库的提交按时间顺序以80/10/10的比例拆分得到的训练集、验证集与测试集。

论文中使用的四个评估集与上述拆分维度的对应关系如下：
| 论文评估集 | 对应数据文件 | 样本筛选规则 |
|:-----------|:---------------------|:---------------------------------|
| 训练（损失）| `qna/cr_train.parquet` | `in_repo_split == "train"` |
| IR验证集 | `qna/cr_train.parquet` | `in_repo_split == "val"` |
| IR测试集 | `qna/cr_train.parquet` | `in_repo_split == "test"` |
| CR验证集 | `qna/cr_val.parquet` | 全部样本 |
| CR测试集 | `qna/cr_test.parquet` | 全部样本 |

所有评估集均使用**完整未截断的断言样本集**，仅在计算训练损失时使用经智能截断的样本集（详见`code2lora/code2lora-data-smartcap`）。

## 配套数据集
* `code2lora/code2lora-data-commits`：单提交元数据与差分嵌入数据集
* `code2lora/code2lora-data-snapshots`：直接投影（静态）变体数据集