MADE
收藏资源简介:
MADE是由弗劳恩霍夫协会构建的动态多标签医疗文本分类基准,基于美国FDA发布的医疗器械不良事件报告构建,包含48.8万条事件描述及1154个层次化标签。数据集通过时间划分(2015-2023训练/2024验证/2024-2025测试)确保评估纯净性,平均每条数据含370个token和8.79个标签,具有显著的长尾分布特征。其创新性体现在持续更新的'动态基准'机制,通过季度新增报告避免模型预训练数据污染,主要应用于医疗安全监测领域,为不确定性量化研究提供标准测试平台。
MADE is a dynamic multi-label medical text classification benchmark developed by the Fraunhofer Society. It is constructed based on medical device adverse event reports released by the U.S. Food and Drug Administration (FDA), containing 488,000 event descriptions and 1,154 hierarchical labels. The dataset adopts a temporal split (2015–2023 for training, 2024 for validation, and 2024–2025 for testing) to ensure evaluation purity. Each sample contains an average of 370 tokens and 8.79 labels, and exhibits a prominent long-tailed distribution characteristic. Its innovation lies in the continuously updated 'dynamic benchmark' mechanism, which adds new reports quarterly to avoid pre-training data contamination. It is primarily applied in the field of medical safety monitoring and provides a standard test platform for uncertainty quantification research.
MADE:医疗设备不良事件多标签文本分类与不确定性量化的动态基准
数据集概述
MADE 是一个用于多标签文本分类(MLTC)的动态基准,源自医疗设备不良事件报告,并持续更新新发布的报告以防止数据污染。该基准旨在支持对预测性能和不确定性量化(UQ)的联合评估,特别适用于医疗等高风险领域。
关键数据特征
- 总报告数:488,273
- 唯一标签数:1,154
- 平均标签数/报告:8.79
- 平均长度:约 370 个词元
- 标签分布:具有长尾分布的层次化标签
数据划分
采用基于时间的划分以减少泄漏:
- 训练集:2015–2023
- 验证集:2024年1月–6月
- 测试集:2024年7月–2025年6月
- 截断测试集:10,288 份报告(用于交互式评估)
评估模型与方法
比较的模型架构与学习范式
- 判别式微调
- 生成式微调
- 少样本提示(包括“思考/推理”变体)
- 推理模型
不确定性估计方法
- 判别式模型:基于概率的熵
- 生成式模型:词元概率信号(如熵/困惑度/对数概率)、跨多次随机生成的一致性度量
- 自述置信度(评估发现不可靠)
评分指标
预测性能
- 宏平均 F1 分数
- Jaccard 指数(多标签重叠度)
不确定性质量
- 不确定性对错误的排序能力(PRR + Spearman ρ)
- 真阳性置信度校准(ECE)
主要结果观察
- 准确性与稀有性权衡:经过微调的判别式解码器在常见到稀有标签上表现最佳,而提示方法对极端稀有标签最有帮助,但在常见标签上可能滞后。
- 可靠性是一个独立维度:生成式微调通常比提示方法产生更强的不确定性信号;推理模型可以提升稀有标签性能,但表现出较弱的不确定性行为。
相关资源
- 论文:https://arxiv.org/abs/2604.15203
- GitHub:https://github.com/
- Hugging Face:https://huggingface.co/
引用信息
@misc{agarwal2026madelivingbenchmarkmultilabel, title={MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events}, author={Raunak Agarwal and Markus Wenzel and Simon Baur and Jonas Zimmer and George Harvey and Jackie Ma}, year={2026}, eprint={2604.15203}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2604.15203}, }




