ClinSeek-Evaluation-Results
收藏资源简介：
本README文件描述了一个用于存储和整理医疗人工智能基准测试评估结果的目录结构。该目录包含三个主要基准测试的输出：1) EHR-Bench（文本型电子健康记录基准），包含1800行数据和45个任务，支持单次（oneshot）和多轮智能体（agentic）两种运行模式；2) AgentEHR-Bench，包含600行数据和6个基于MIMIC数据集的任务，仅支持多轮智能体模式；3) MM Bench（多模态电子健康记录基准），包含2703行数据和6个任务，支持单次和多轮智能体模式，后者涉及图像和EHR工具调用。评估结果按基准、运行模式和模型进行分层组织，关键输出文件为results.jsonl。目录中还记录了用于评估的多个大型语言模型（如Claude Opus、Qwen3-VL等）的标准化命名，并包含一个归档目录用于存放历史或未完成的运行记录。该结构旨在系统化地管理和比较不同模型在医疗任务上的性能表现。
This README file specifies a directory structure for storing and curating evaluation results of medical artificial intelligence benchmark assessments. This directory contains outputs from three core benchmark tests: 1) EHR-Bench (text-based electronic health records benchmark), which consists of 1,800 data rows and 45 tasks, and supports two operating modes: one-shot and multi-round agentic; 2) AgentEHR-Bench, which includes 600 data rows and 6 tasks based on the MIMIC dataset, and only supports multi-round agentic mode; 3) MM Bench (multimodal electronic health records benchmark), which has 2,703 data rows and 6 tasks, supports both one-shot and multi-round agentic modes, with the latter involving image and EHR tool calls. Evaluation results are hierarchically organized by benchmark, operating mode, and model, with the core output file being results.jsonl. The directory also documents standardized naming conventions for multiple large language models (e.g., Claude Opus, Qwen3-VL, etc.) used in the evaluations, and includes an archived directory for storing historical or incomplete run records. This structure aims to systematically manage and compare the performance of different models on medical tasks.
数据集概述：ClinSeek-Evaluation-Results
该数据集包含面向临床基准的评估输出结果，按 基准测试 × 运行模式 × 模型 的结构进行组织。
目录结构
数据集的根目录下包含四个主要子目录：
| 目录 | 说明 |
|---|---|
ehr_bench/ |
纯文本 EHR-Bench 基准（1800 行，45 个任务） |
agent_ehr_bench/ |
AgentEHR-Bench 基准（600 行，6 个 MIMIC 任务），通过符号链接指向外部评估目录 |
mm_bench/ |
多模态 EHR-Bench 基准（2703 行，6 个任务） |
_archive/ |
归档目录，存放被取代、半完成或早期实验的运行结果 |
每个基准目录下又分为 agentic（多轮工具调用）和 oneshot（单次调用）两种运行模式，每种模式包含 smoke20/ 和 full1800/（或 full2703/、subset600/）子目录，以及可选的 scored/ 评分结果目录。
模型命名约定
所有叶子目录使用蛇形小写命名：
| 友好名称 | 目录名 |
|---|---|
| Claude Opus 4.6 | claude_opus_4_6 |
| Claude Sonnet 4.6 | claude_sonnet_4_6 |
| Qwen3-VL-235B | qwen3_vl_235b |
| Qwen3-235B | qwen3_235b |
| Kimi K2.5 | kimi_k2_5 |
| GLM-4.7 | glm_4_7 |
| MiniMax M2.5 | minimax_m2_5 |
| gpt-oss-120b | gpt_oss_120b |
关键结果文件位置
EHR-Bench 基准：
- Agentic 模式完整结果：
ehr_bench/agentic/full1800/<model>/results.jsonl - One-shot 模式完整结果：
ehr_bench/oneshot/full1800/<model>/results.jsonl
AgentEHR-Bench 基准：
- Agentic 模式完整结果：
agent_ehr_bench/agentic/subset600/<model>/results.jsonl
多模态基准：
- Agentic 模式完整结果：
mm_bench/agentic/full2703/<model>/（Opus 模型在results.jsonl，其他模型在merged_unique.jsonl） - Agentic 模式评分结果：
mm_bench/agentic/scored/<model>/summary_vocab.{json,md} - One-shot 模式完整结果：
mm_bench/oneshot/full2703/<model>/results.jsonl - One-shot 模式评分结果：
mm_bench/oneshot/scored/<model>/summary.{json,md}
多模态 agentic 符号链接说明
五个非 Anthropic 模型的多模态 agentic 运行结果通过符号链接指向 _multi_eval_raw/ 目录下的原始输出，以便于浏览。例如：
mm_bench/agentic/full2703/claude_sonnet_4_6→_multi_eval_raw/full5_20260421T091517Z/claude-sonnet-4-6mm_bench/agentic/scored/claude_sonnet_4_6→../full2703/_multi_eval_raw/full5_20260421T091517Z/scored_vocab/claude-sonnet-4-6
Claude Opus 4.6 的多模态 agentic 结果为真实目录，由独立的 Opus-solo 运行产生。
归档目录内容
_archive/ 包含：
- 半完成的运行（如
ehr_bench_opus46_1800_pre_ssl_retry） - 重复或修复后的重新运行（如
ehr_bench_smoke20_salvage_patched_*） - 早期多模态实验运行（如
mm_agentic_smoke5_early） - 合并前的重试输出（如
ehr_bench_oneshot_full1800_kimi_k2_5_pre_retry） - 早期非词汇表评分的多模态输出（如
mm_agentic_opus_scored_novocab）
