mats-10-sprint-cs-jb/loracles-fineweb-multidoc-qa

---
pretty_name: Loracle FineWeb
tags:
- synthetic
- fineweb
- interpretability
- question-answering
- openrouter
---

# loracles-fineweb-multidoc-qa

Synthetic Loracle supervision data generated from FineWeb.

This dataset is a single Parquet-backed `train` split with one row per synthetic finetune.
This upload is a partial snapshot of a larger run.

## Run summary

- source dataset: `HuggingFaceFW/fineweb` / `sample-10BT` / `train`
- sampled docs: `55000`
- synthetic finetunes: `11088`
- generated finetunes uploaded: `10252`
- generator backend: `openrouter`
- generator model: `google/gemini-3.1-flash-lite-preview`
- max docs per finetune: `20`
- max token budget per finetune: `10000`
- questions per finetune: `10`

## Table schema

- one row per synthetic finetune
- `dpo_behavior`: one PKU-SafeRLHF-style harm category or `None`
- nested `questions` field with `10` ordered question-answer pairs
- finetune metadata merged in from `synthetic_models.jsonl`
- stored on the Hub as Parquet

## Local artifacts

- run directory: `/ceph/scratch/jbauer/loracle/fineweb_openrouter_flash31lite_topics10kbase_v1_20260417`
- sample manifest: `sample_manifest.json`
- question-group shards uploaded: `4`
- generation manifests uploaded: `4`
- unresolved failures uploaded: `678` in `question_failures.final.jsonl`
- auxiliary files kept as repo artifacts: `synthetic_models.jsonl`, `sampled_docs.jsonl`

### 数据集展示名：洛拉科莱FineWeb（Loracle FineWeb）
#### 标签：
- 合成数据
- FineWeb
- 可解释性
- 问答
- OpenRouter

---

# loracles-fineweb-multidoc-qa

本数据集为基于FineWeb生成的合成洛拉科莱监督数据。
本数据集仅包含一个基于Parquet格式存储的训练拆分（train split），每条数据对应一个合成微调任务。本次上传仅为完整运行流程的部分快照。

## 运行概况
- 源数据集：`HuggingFaceFW/fineweb` / `sample-10BT` / `train`
- 采样文档数：55000
- 合成微调任务总数：11088
- 已上传生成的微调任务数：10252
- 生成后端：OpenRouter
- 生成模型：`google/gemini-3.1-flash-lite-preview`
- 单微调任务最大文档数：20
- 单微调任务最大Token(Token)预算：10000
- 单微调任务问答对数量：10

## 数据表结构
- 每条数据对应一个合成微调任务
- `dpo_behavior`：PKU-SafeRLHF风格的伤害类别标签或`None`
- 嵌套的`questions`字段，包含10组有序问答对
- 微调元数据从`synthetic_models.jsonl`中合并获取
- 以Parquet格式存储于Hugging Face Hub

## 本地工件
- 运行目录：`/ceph/scratch/jbauer/loracle/fineweb_openrouter_flash31lite_topics10kbase_v1_20260417`
- 采样清单文件：`sample_manifest.json`
- 已上传的问答组分片数：4
- 已上传的生成清单数：4
- 未解决的失败任务共678条，存储于`question_failures.final.jsonl`
- 作为仓库工件留存的辅助文件：`synthetic_models.jsonl`、`sampled_docs.jsonl`