ArtMentor|艺术教育数据集|人工智能辅助数据集

ArtMentor数据集由华东师范大学创建，包含五个美术教师跨九个关键维度的380个评估会话。该数据集集成了多模态大型语言模型的能力，通过识别艺术作品中的实体，生成评价和修改建议，以辅助美术教育评估。数据集旨在解决多模态大型语言模型在教育评估对话中的辅助效果问题，并可通过提供的访问地址获取数据集和相关代码。

AI搜集汇总

数据集介绍

构建方式

ArtMentor数据集的构建方式采用了人类-计算机交互（HCI）空间设计，通过多智能体数据收集系统，记录了艺术教师在九个关键维度对380个艺术作品评估会话的交互过程。该系统包括实体识别、评论生成和建议生成三个模块，每个模块都由专门的智能体管理，以实现迭代升级。通过机器学习和自然语言处理技术，确保了评估的可靠性。

特点

ArtMentor数据集的特点在于其过程导向的设计，它不仅记录了最终的评估结果，还详细记录了用户与系统之间的所有交互过程。这种设计有助于更全面地了解多模态大型语言模型（MLLMs）在教育辅助中的能力和局限性。此外，该数据集涵盖了九个关键的艺术作品评估维度，包括现实主义、变形、想象力、色彩丰富度、色彩对比度、线条组合、线条纹理、图片组织和转换，为MLLMs在教育领域的应用提供了丰富的数据资源。

使用方法

使用ArtMentor数据集时，研究者可以分析艺术教师与MLLMs之间的交互过程，以及MLLMs在实体识别、评论生成和建议生成方面的表现。数据集提供的九个关键维度可以帮助研究者评估MLLMs在教育辅助中的全面能力。此外，数据集中的过程导向数据可以用于改进MLLMs的性能，通过迭代升级来提高它们在教育领域的应用效果。

背景与挑战

背景概述

ArtMentor 数据集是一项旨在探索多模态大型语言模型（MLLMs）在艺术品评估中的应用潜力的研究。该数据集由华东师范大学上海人工智能教育研究院和浙江工业大学教育学院的团队合作创建，主要研究人员包括郑灿进、余增毅、姜艺林等。该数据集的核心研究问题是：MLLMs是否能够作为独立的助手在艺术评估对话中发挥作用？该数据集通过对五个艺术教师的380个评估会话进行收集，涵盖了九个关键维度，旨在为MLLMs的能力评估提供一个全面的视角。ArtMentor 数据集的创建对于艺术教育评估领域具有重要意义，它不仅为MLLMs在教育中的应用提供了新的思路，也为相关领域的研究提供了宝贵的数据资源。

当前挑战

ArtMentor 数据集所面临的挑战主要包括：1) 所解决的领域问题：ArtMentor 数据集旨在解决MLLMs在艺术评估中的应用问题。然而，MLLMs在艺术评估中的表现受到多种因素的影响，如艺术风格、艺术品细节、评价标准等，这使得评估过程变得复杂且具有挑战性。2) 构建过程中所遇到的挑战：ArtMentor 数据集的构建过程需要收集大量的艺术评估数据，并进行数据处理和分析。这需要研究人员具备丰富的数据处理经验和技能，同时还需要解决数据质量、数据安全和隐私保护等问题。此外，MLLMs在艺术评估中的应用还需要进一步探索和优化，以提高其在实际场景中的有效性。

常用场景

经典使用场景

ArtMentor数据集主要用于评估多模态大型语言模型（MLLMs）在艺术品评估对话中的能力。该数据集通过整合实体识别、评论生成和建议生成等模块，为教师提供了高效的艺术品评估工具，并记录了与MLLMs的交互，从而帮助评估其能力。

实际应用

ArtMentor数据集在实际应用场景中，可以帮助教师更准确地评估学生的艺术品，并提供个性化的反馈和建议。同时，该数据集也为MLLMs的开发和改进提供了宝贵的数据资源，有助于提高其在艺术教育领域的应用能力。

衍生相关工作

ArtMentor数据集衍生了一些相关的经典工作，如CoAuthor研究，该研究强调了大型语言模型（LLMs）在创意和论证性写作环境中的生成能力。此外，ArtMentor还借鉴了Mina Lee的工作，特别是她在CHI 2022上通过HCI数据集评估LLMs（GPT-3）的写作能力，并在CHI 2024上提出了一个系统地探索智能交互写作助手的设计空间。