Madras1/corpus-ptbr-v2

---
license: odc-by
language:
- pt
pretty_name: Corpus PT-BR v2
tags:
- portuguese
- pt-br
- brazilian-portuguese
- brasil
- português
- nlp
- llm
- pretraining
- fine-tuning
- text-generation
- synthetic-data
- corpus
- parquet
task_categories:
- text-generation
- fill-mask
- text-classification
size_categories:
- 1M<n<10M
---

# Corpus PT-BR v2

Um corpus em Portugues Brasileiro voltado para pre-treinamento, continuacao de pre-treinamento e fine-tuning de LLMs. Esta versao mantem a base e o pipeline geral do `Madras1/corpus-ptbr-v1`, com uma expansao adicional da camada sintetica gerada principalmente por modelos Mistral.

## O que mudou na v2

A v2 preserva o desenho da v1 e adiciona um novo bloco sintetico local:

| Componente novo | Valor |
|---|---:|
| Documentos sinteticos adicionados | 371,002 |
| Palavras adicionadas | 590,143,768 |
| Tokens estimados adicionados | ~767,186,898 |
| Tamanho JSONL local original | ~4.01 GB |
| Tamanho Parquet do incremento | ~1.53 GB |
| Shards Parquet novos | 4 |
| Provider principal | Mistral |
| Modelos principais | `mistral-small-latest`, `mistral-medium-latest` |

## Estatisticas estimadas

As estatisticas abaixo combinam os numeros publicos da v1 com o novo bloco sintetico local convertido para Parquet.

| Metrica | Valor |
|---|---:|
| Total de documentos | ~8,770,859 |
| Total de palavras | ~5.43B |
| Tokens estimados | ~7.06B |
| Idioma | Portugues Brasileiro (`pt-br`) |
| Licenca | ODC-By 1.0 |

### Subsets

| Subset | Documentos | Palavras | Tokens estimados |
|---|---:|---:|---:|
| `real` | 6,813,702 | ~4.10B | ~5.33B |
| `synthetic` | ~1,957,157 | ~1.33B | ~1.73B |

## Fontes

### Subset `real`

Dados de pretraining limpos e filtrados de fontes publicas, herdados da v1:

| Fonte | Documentos | Descricao |
|---|---:|---|
| `c4_pt` | 3,070,868 | Common Crawl (C4), subset em portugues |
| `fineweb2_pt` | 3,742,834 | FineWeb2 filtrado para portugues |

### Subset `synthetic`

A v2 inclui todo o conjunto sintetico da v1 e adiciona 371,002 documentos gerados localmente em abril/maio de 2026.

Novo bloco v2:

| Provider/model | Documentos |
|---|---:|
| `mistral-small-latest` | 288,189 |
| `mistral-medium-latest` | 74,407 |
| `nvidia/nemotron-3-super-120b-a12b` | 8,406 |

Nos shards v2, o campo `source` representa a origem sintetica normalizada:

| `source` | Significado |
|---|---|
| `v2_synthetic_mistral_small_latest` | Texto sintetico gerado com Mistral Small |
| `v2_synthetic_mistral_medium_latest` | Texto sintetico gerado com Mistral Medium |
| `v2_synthetic_openrouter_nvidia_nemotron_3_super_120b_a12b` | Texto sintetico gerado via OpenRouter/Nemotron |

## Schema

O schema principal foi mantido compativel com a v1 para permitir carregamento como um unico split `train`.

| Campo | Tipo | Descricao |
|---|---|---|
| `text` | `string` | Conteudo do documento |
| `source` | `string` | Fonte/origem normalizada |
| `subset` | `string` | `real` ou `synthetic` |
| `word_count` | `int32` | Contagem de palavras |
| `char_count` | `int32` | Contagem de caracteres |
| `language` | `string` | `pt-br` |

## Como usar

```python
from datasets import load_dataset

ds = load_dataset("Madras1/corpus-ptbr-v2", split="train", streaming=True)

for row in ds.take(1):
print(row["text"][:500])
```

Para filtrar apenas a camada sintetica:

```python
from datasets import load_dataset

ds = load_dataset("Madras1/corpus-ptbr-v2", split="train", streaming=True)
synthetic = (row for row in ds if row["subset"] == "synthetic")
```

## Limitações

- Dados sinteticos podem conter alucinacoes factuais.
- O subset real herda vieses, ruidos e limitacoes das fontes originais.
- O corpus nao deve ser tratado como fonte factual autoritativa.
- Estimativas de tokens usam fator aproximado de `1.3x` sobre contagem de palavras.
- A v2 aumenta a proporcao de texto sintetico; para pre-treinamento mais conservador, recomenda-se misturar pesos por `subset` e `source`.

## Licenca e termos

O Corpus PT-BR v2 e distribuido sob ODC-By 1.0, seguindo a base da v1. O subset sintetico contem outputs de modelos de linguagem e deve ser usado com atencao aos termos dos provedores usados na geracao. Segundo a documentacao publica da Mistral AI, usuarios possuem seus outputs ate onde permitido pela lei aplicavel, mas continuam responsaveis por avaliar precisao, adequacao e direitos de uso do conteudo gerado.

## Citacao

```bibtex
@dataset{madras1_corpus_ptbr_v2,
title = {Corpus PT-BR v2},
author = {Gabriel Yogi},
year = {2026},
publisher = {Hugging Face},
url = {https://huggingface.co/datasets/Madras1/corpus-ptbr-v2}
}
```

## Autor

Gabriel Yogi (MadrasLe) - Hugging Face