ninoscherrer/moralchoice

--- pretty_name: MoralChoice license: cc-by-4.0 language: - en size_categories: - 1K<n<10K --- # Dataset Card for MoralChoice - **Homepage:** Coming Soon - **Paper:** Coming soon - **Repository:** [https://github.com/ninodimontalcino/moralchoice](https://github.com/ninodimontalcino/moralchoice) - **Point of Contact:** [Nino Scherrer & Claudia Shi](mailto:[e-mail],[e-mail]?subject=[MoralChoice]) ### Dataset Summary *MoralChoice* is a survey dataset to evaluate the moral beliefs encoded in LLMs. The dataset consists of: - **Survey Question Meta-Data:** 1767 hypothetical moral scenarios where each scenario consists of a description / context and two potential actions - **Low-Ambiguity Moral Scenarios (687 scenarios):** One action is clearly preferred over the other. - **High-Ambiguity Moral Scenarios (680 scenarios):** Neither action is clearly preferred - **Survey Question Templates:** 3 hand-curated question templates - **Survey Responses:** Outputs from 28 open- and closed-sourced LLMs A statistical workflow for analyzing the survey responses can be found in the corresponding [paper](). 🚧 **Important**: 🚧 - *Moral scenarios* and *question templates* are already available. - *Survey responses* will be uploaded shortly! ### Languages *MoralChoice* is only available in English. ## Dataset Structure ### Data Fields #### Moral Scenarios (Survey Question Meta-Data) ``` - scenario_id unique scenario identifier - ambiguity level of ambiguity (low or high) - generation_type generation type (hand-written or generated) - context scenario description / contextualization - action 1 description of a potential action - action 2 description of a potential action - a1_{rule} {rule} violation label of action 1 - a2_{rule} {rule} violation label of action 2 ``` #### Survey Question Templates ``` - name name of question template (e.g., ab, repeat, compare) - question_header question instruction header text - question question template with placeholders ``` #### Survey Responses ``` - scenario_id unique scenario identifier - model_id model identifier (e.g., openai/gpt-4) - question_type question type (ab: A or B?, repeat: Repeat the preferred answer, compare: Do you prefer A over B? ) - question_ordering question ordering label (0: default order, 1: flipped order) - question_header question instruction header text - question_text question text - answer_raw raw answer of model - decision semantic answer of model (e.g., action1, action2, refusal, invalid) - eval_technique evaluation technique used - eval_top_p evaluation parameter - top_p - eval_temperature evaluation parameter - temperature - timestamp timestamp of model access ``` ## Dataset Creation ### Generation of Moral Scenarios The construction of *MoralChoice* follows a three-step procedure: - **Scenario Generation:** We generate seperately low- and high-ambiguity scenarios (i.e., the triple of scenario context, action 1 and action 2) guided by the 10 rules of Gert's common morality framework. - **Low-Ambiguity Scenarios:** Zero-Shot Prompting Setup based on OpenAI's gpt-4 - **High-Ambiguity Scenarios:** Stochastic Few-Shot Prompting Setup based on OpenAI's text-davinci-003 using a a set of 100 hand-written scenarios - **Scenario Curation:** We check the validity and grammar of each generated scenario manually and remove invalid scenarios. In addition, we assess lexical similarity between the generated scenarios and remove duplicates and overly-similar scenarios. - **Auxiliarly Label Aquisition:** We acquire auxiliary rule violation labels through SurgeAI for every scenario. For detailed information, we refer to the corresponding paper. ## Collection of LLM responses Across all models, we employ **temperature-based sampling** with `top-p=1.0`and `temperature=1.0`. For every specific question form (unique combination of scenario, question template, answer option ordering), we collect multiple samples (5 for low-ambiguity scenarios and 10 for high-ambiguity scenarios). The raw sequence of token outputs were mapped to semantic action (see the corresponding paper for exact details). ### Annotations To acquire high-quality annotations, we employ experienced annotators sourced through the data-labeling company [Surge AI](https://www.surgehq.ai/). ## Considerations for Using the Data - Limited Diversity in Scenarios (professions, contexts) - Limited Diversity in Question-Templates - Limited to English ### Dataset Curators - Nino Scherrer ([Website](https://ninodimontalcino.github.io/), [Mail](mailto:[e-mail]?subject=[MoralChoice])) - Claudia Shi ([Website](https://www.claudiajshi.com/), [Mail](mailto:[e-mail]?subject=[MoralChoice])) ### Citation ``` @misc{scherrer2023moralchoice, title={Evaluating the Moral Beliefs Encoded in LLMs}, author={Scherrer, Nino and Shi, Claudia, and Feder, Amir and Blei, David}, year={2023}, journal={arXiv:} } ```--- pretty_name: 道德选择（MoralChoice） license: CC-BY-4.0（知识共享署名4.0许可） language: - 英语 size_categories: - 1000 < n < 10000 --- # 道德选择（MoralChoice）数据集卡片 - **主页**：即将上线 - **论文**：即将发布 - **代码仓库**：[https://github.com/ninodimontalcino/moralchoice](https://github.com/ninodimontalcino/moralchoice) - **联系人**：[尼诺·舍雷尔（Nino Scherrer）与克劳迪娅·施（Claudia Shi）](mailto:[e-mail],[e-mail]?subject=[MoralChoice]) ### 数据集概述 道德选择（MoralChoice）是用于评估大语言模型（LLM）所编码的道德信念的调研数据集。该数据集包含以下内容： - **调研问题元数据**：1767个假设性道德场景，每个场景由一段描述/上下文与两种可选行动构成 - **低歧义道德场景（687个）**：其中一种行动明显更受青睐 - **高歧义道德场景（680个）**：两种行动均无明显偏好 - **调研问题模板**：3个人工精心编制的问题模板 - **调研回复**：28个开源与闭源大语言模型的输出结果 分析调研回复的标准化统计流程可参见对应[论文]()。 🚧 **重要提示**： 🚧 - 道德场景与问题模板已可公开获取。 - 调研回复即将上传！ ### 语言支持 道德选择（MoralChoice）仅提供英文版本。 ## 数据集结构 ### 数据字段 #### 道德场景（调研问题元数据） - scenario_id 唯一场景标识符 - ambiguity 歧义等级（低或高） - generation_type 生成类型（手写或模型生成） - context 场景描述/上下文说明 - action 1 可选行动1的描述 - action 2 可选行动2的描述 - a1_{rule} 行动1的{rule}违规标签 - a2_{rule} 行动2的{rule}违规标签 #### 调研问题模板 - name 问题模板名称（例如ab、repeat、compare） - question_header 问题指令头部文本 - question 带有占位符的问题模板 #### 调研回复 - scenario_id 唯一场景标识符 - model_id 模型标识符（例如openai/gpt-4） - question_type 问题类型（ab：选择A或B？；repeat：重复偏好的答案；compare：你是否更偏好A而非B？） - question_ordering 问题顺序标签（0：默认顺序；1：翻转顺序） - question_header 问题指令头部文本 - question_text 问题文本 - answer_raw 模型的原始回复 - decision 模型的语义化回复（例如action1、action2、拒绝、无效） - eval_technique 所用的评估技术 - eval_top_p 评估参数——top_p - eval_temperature 评估参数——temperature - timestamp 模型访问时间戳 ## 数据集构建 ### 道德场景的生成 道德选择（MoralChoice）的构建遵循三步流程： - **场景生成**：基于格特（Gert）提出的10条共同道德框架准则，分别生成低歧义与高歧义场景（即场景上下文、行动1与行动2的三元组） - **低歧义场景**：基于OpenAI的GPT-4的零样本（Zero-Shot）提示设置 - **高歧义场景**：基于OpenAI的text-davinci-003的随机少样本（Stochastic Few-Shot）提示设置，以100个手写场景作为示例集 - **场景审核**：人工审核每个生成场景的有效性与语法，剔除无效场景。此外，评估生成场景间的词汇相似度，移除重复与过度相似的场景。 - **辅助标签获取**：通过SurgeAI为每个场景获取辅助的规则违规标签。 详细信息可参见对应论文。 ### 大语言模型回复收集 针对所有模型，我们采用**基于温度的采样**策略，设置`top-p=1.0`与`temperature=1.0`。针对每种特定的问题形式（场景、问题模板与答案选项顺序的唯一组合），我们收集多个样本（低歧义场景为5个，高歧义场景为10个）。原始Token输出序列被映射为语义化行动（详细细节参见对应论文）。 #### 标注流程 为获取高质量标注，我们通过数据标注公司[Surge AI](https://www.surgehq.ai/)聘请资深标注人员完成标注工作。 ## 数据使用注意事项 - 场景多样性有限（覆盖职业、上下文维度不足） - 问题模板多样性有限 - 仅支持英文 ## 数据集负责人 - 尼诺·舍雷尔（Nino Scherrer）([个人网站](https://ninodimontalcino.github.io/), [邮箱](mailto:[e-mail]?subject=[MoralChoice])) - 克劳迪娅·施（Claudia Shi）([个人网站](https://www.claudiajshi.com/), [邮箱](mailto:[e-mail]?subject=[MoralChoice])) ## 引用 bibtex @misc{scherrer2023moralchoice, title={评估大语言模型所编码的道德信念}, author={Scherrer, Nino and Shi, Claudia, and Feder, Amir and Blei, David}, year={2023}, journal={arXiv:} }

原始信息汇总

数据集概述

数据集名称： MoralChoice

许可证： cc-by-4.0

语言： 仅限英语

数据集大小： 1K<n<10K

数据集内容

数据组成：

• 调查问题元数据（道德场景）： 1767个假设的道德场景，包括687个低模糊性场景和680个高模糊性场景。
• 调查问题模板： 3个手工策划的问题模板。
• 调查响应： 来自28个开放源和闭源LLM的输出。

数据字段：

• 道德场景（调查问题元数据）： 包括场景ID、模糊性、生成类型、上下文、两个潜在行动及其规则违反标签。
• 调查问题模板： 包括模板名称、问题标题和问题模板。
• 调查响应： 包括场景ID、模型ID、问题类型、问题顺序、问题标题、问题文本、原始答案、决策、评估技术、评估参数和时间戳。

数据集创建

道德场景生成：

• 低模糊性场景： 使用基于OpenAI的gpt-4的零样本提示设置生成。
• 高模糊性场景： 使用基于OpenAI的text-davinci-003的随机少样本提示设置生成。

场景精选：

• 手动检查每个生成场景的有效性和语法，并移除无效场景。
• 评估生成场景之间的词汇相似性，移除重复和过于相似的场景。

辅助标签获取：

• 通过SurgeAI获取每个场景的辅助规则违反标签。

使用注意事项

• 场景多样性有限： 职业和情境的多样性有限。
• 问题模板多样性有限： 问题模板数量有限。
• 语言限制： 仅限英语。

搜集汇总

数据集介绍

构建方式

MoralChoice数据集的构建遵循一套严谨的三阶段流程。首先，基于Gert的共同道德框架中的10条规则，分别生成低模糊度与高模糊度的道德困境场景。低模糊度场景采用零样本提示技术，依托OpenAI的gpt-4模型生成；高模糊度场景则通过随机少样本提示方法，利用OpenAI的text-davinci-003模型，并结合100个手工编写的场景作为种子。其次，对生成的每个场景进行人工校验，确保语义有效性与语法正确性，同时通过词汇相似度分析剔除重复或高度雷同的样本。最后，借助数据标注公司Surge AI为每个场景获取辅助的规则违反标签，从而形成包含1767个假设性道德场景的完整元数据集。

使用方法

使用MoralChoice数据集时，研究者可加载预定义的道德场景元数据，结合三种手工设计的问卷模板（如A或B、重复偏好答案、比较偏好）构建调查问题。对于每个场景，通过调整选项顺序生成不同版本，并利用温度采样收集语言模型的多次响应。原始输出需通过语义映射转换为决策标签（如action1、action2、refusal等）。推荐结合论文中提供的统计工作流，对模型响应进行偏好分析与道德一致性检验。数据集以JSON格式提供，可通过Hugging Face的datasets库直接加载，适合用于评估和对比不同LLM在道德推理任务上的表现。

背景与挑战

背景概述

随着大语言模型（LLMs）在决策支持、对话交互等领域的广泛应用，其潜在的价值对齐与伦理风险引发了学界高度关注。由Nino Scherrer与Claudia Shi等研究者于2023年创建的MoralChoice数据集，旨在系统性地评估LLMs内嵌的道德信念。该数据集基于Gert的通用道德框架，精心构建了1767个假设性道德场景，涵盖低歧义与高歧义两类情境，并配套三种手工设计的提问模板。通过收集28种开源与闭源模型的调查响应，该数据集为量化分析模型道德判断的偏好与一致性提供了标准化工具，推动了机器伦理与AI安全性研究的实证化进程。

当前挑战

MoralChoice数据集面临的核心挑战包括：第一，场景多样性受限，当前素材集中于有限的职业与社会背景，可能无法泛化至更广泛的道德困境，从而影响模型伦理评估的全面性；第二，提问模板的单一性可能导致模型响应受表面语言形式干扰，而非真正反映内在道德准则；第三，数据集仅涵盖英语语境，忽略了跨文化道德规范的差异性，限制了其在全球范围内的适用性。此外，构建过程中，高歧义场景的生成依赖随机少样本提示，其稳定性与质量难以完全保证，且人工标注成本高昂，对数据规模和一致性的扩展构成了实际障碍。

常用场景

经典使用场景

MoralChoice数据集的核心应用在于系统性地评估大型语言模型（LLMs）所内嵌的道德信念体系。研究者利用该数据集中精心设计的1767个假设性道德困境，涵盖低歧义性与高歧义性两类场景，并结合三种手工制作的提问模板，引导模型在两种潜在行为间做出抉择。通过分析模型在不同道德情境下的回答分布与一致性，能够揭示其内在的道德偏好与推理模式，从而为理解AI系统的伦理决策机制提供量化基准。这一范式已成为当代AI伦理研究中的标配工具。

解决学术问题

该数据集直面人工智能伦理学中的核心难题：如何客观、可复现地测量并比较不同语言模型所承载的道德价值观。传统上，对模型伦理属性的讨论多停留在定性层面，缺乏标准化的评估框架。MoralChoice通过引入哲学中Gert的公共道德框架，将抽象的道德原则转化为具体可操作的分类标签（如规则违反标注），并辅以统计工作流，为学术社区提供了一种严谨的假设检验方法。它有效弥合了道德哲学理论与计算模型评估之间的鸿沟，推动了AI对齐研究的实证化进程。

实际应用

在实际部署中，MoralChoice可服务于AI系统的伦理审计与风险预警。例如，在开发面向公众的对话助手或内容生成工具时，开发者可借助该数据集预检模型是否倾向于支持不道德行为（如欺骗、伤害），或在高歧义情境下表现出不稳定的价值判断。此外，该数据集还可用于模型微调过程中的奖励建模，帮助训练出更符合人类道德直觉的智能体。在司法、医疗、教育等对伦理要求严苛的领域，MoralChoice提供了一种低成本、高信度的预部署伦理筛查方案。

数据集最近研究

最新研究方向

MoralChoice数据集聚焦于大型语言模型（LLM）内嵌道德信念的系统性评估，当前前沿研究着力于利用该数据集揭示模型在低歧义与高歧义道德场景下的决策偏好。通过1767个假设性道德困境及28种开源与闭源模型的响应分析，研究者正深入探讨LLM是否具备一致且可解释的道德推理能力，这与社会对AI伦理对齐的迫切需求紧密相连。该工作不仅推动了计算伦理学的发展，还为模型安全部署提供了量化基准，其意义在于将抽象的伦理理论转化为可操作的数据驱动评估框架，直接影响AI治理政策的制定。