maknee/bioasq_bier_4096_100k

---
license: mit
task_categories:
- feature-extraction
- text-retrieval
language:
- en
configs:
- config_name: default
data_files:
- split: train
path: "parquet/base.parquet"
---

# BioASQ-BEIR Vector Database Dataset (4096d, 100k)

Generated embeddings dataset for vector database training and evaluation.

## Dataset Summary

This dataset contains 100,000 text samples with vector embeddings (4096 dimensions)
generated from the BioASQ-BEIR dataset using Qwen/Qwen3-Embedding-8B.

## Dataset Structure
- **Base dataset**: 100,000 samples with embeddings
- **Embedding dimension**: 4096

## Repository Structure

### parquet/
- `base.parquet` - Main dataset with text and embeddings

## Usage

### Loading with HuggingFace Datasets
```python
from datasets import load_dataset

dataset = load_dataset("maknee/bioasq_bier_4096_100k")
base_data = dataset['train']

import numpy as np
embeddings = np.array(base_data['embedding'])
texts = base_data['text']
```

## Dataset Information

- **Source**: BioASQ-BEIR
- **Size**: 100,000 samples
- **Dimension**: 4096
- **Format**: Parquet

## Citation

```bibtex
@dataset{huggingface_embeddings_maknee_bioasq_bier_4096_100k,
title={BioASQ-BEIR Vector Database Embeddings Dataset},
author={Henry Zhu},
year={2026},
url={https://huggingface.co/datasets/maknee/bioasq_bier_4096_100k}
}
```

## License

MIT License.

---
许可证：MIT协议
任务类别：
- 特征提取（feature-extraction）
- 文本检索（text-retrieval）
语言：
- 英语（en）
配置：
- 配置名称：默认配置
数据文件：
- 拆分：训练集
路径："parquet/base.parquet"
---

# BioASQ-BEIR 向量数据库（vector database）数据集（4096维，10万条）

本数据集为用于向量数据库（vector database）训练与评估的嵌入向量生成数据集。

## 数据集概览

本数据集包含10万条文本样本及其对应的4096维向量嵌入，这些嵌入由Qwen/Qwen3-Embedding-8B模型从BioASQ-BEIR数据集中生成而来。

## 数据集结构
- **基础数据集**：包含10万条带嵌入向量的样本
- **嵌入维度**：4096

## 仓库结构

### parquet/ 目录
- `base.parquet`：包含文本与嵌入向量的主数据集文件

## 使用方法

### 使用HuggingFace Datasets库加载
python
from datasets import load_dataset

dataset = load_dataset("maknee/bioasq_bier_4096_100k")
base_data = dataset['train']

import numpy as np
embeddings = np.array(base_data['embedding'])
texts = base_data['text']

## 数据集信息

- **来源**：BioASQ-BEIR
- **规模**：10万条样本
- **维度**：4096
- **格式**：Parquet

## 引用

bibtex
@dataset{huggingface_embeddings_maknee_bioasq_bier_4096_100k,
title={BioASQ-BEIR Vector Database Embeddings Dataset},
author={Henry Zhu},
year={2026},
url={https://huggingface.co/datasets/maknee/bioasq_bier_4096_100k}
}

## 许可证

MIT协议许可证。