XSafety

该数据集名为XSafety，是首个针对大型语言模型（LLMs）的多语言安全基准测试，覆盖了跨越10种来自不同语言家族的语言中的14种安全问题。该数据集显示，广泛使用的大型语言模型在不同语言中的安全性并不均衡，非英语查询往往会导致更多的不安全回应。该任务的目的是评估大型语言模型的多语言安全性。This dataset, named XSafety, is the first multilingual safety benchmark for large language models (LLMs). It covers 14 safety-related issues across 10 languages from distinct language families. The dataset demonstrates that widely used large language models exhibit uneven safety performance across different languages, and non-English queries often result in more unsafe responses. The objective of this task is to evaluate the multilingual safety of large language models.

搜集汇总

背景与挑战

背景概述

XSafety是首个多语言安全基准测试数据集，覆盖10种语言和14种常见安全问题，用于评估大型语言模型在多语言环境下的安全性表现。研究发现现有模型对非英语查询会产生更多不安全响应，突显了非英语语言安全对齐的必要性。