Data Science Problems

在真实的数据科学教学笔记本上评估自然语言代码生成模型！数据科学问题 (DSP) 包括 Markdown 中合适的数据科学问题以及用于验证正确性的单元测试和用于可重现执行的 Docker 环境。该基准中大约 1/3 的笔记本还包括数据依赖关系，因此该基准不仅可以测试模型将复杂任务链接在一起的能力，还可以评估真实数据的解决方案！Evaluate natural language-to-code generation models on real-world data science teaching notebooks! The Data Science Problem (DSP) set includes appropriate data science questions formatted in Markdown, unit tests for verifying solution correctness, and Docker environments for reproducible execution. Approximately one-third of the notebooks in this benchmark also include data dependencies, so this benchmark can not only test a model's ability to chain complex tasks together, but also evaluate solutions for real-world data!

搜集汇总

背景与挑战

背景概述

Data Science Problems是一个用于评估自然语言代码生成模型的数据集，基于真实数据科学教学笔记本构建，包含Markdown问题、单元测试和Docker环境。该数据集由微软于2022年发布，部分内容还涉及数据依赖，以测试模型处理复杂任务和真实数据的能力。