BEHONEST
收藏资源简介：
BEHONEST是由生成式AI研究实验室(GAIR)开发的专门用于评估大型语言模型(LLMs)诚实性的基准数据集。该数据集包含10个场景，旨在从知识边界意识、避免欺骗和响应一致性三个关键维度全面评估LLMs的诚实性。BEHONEST通过集成多个评估维度，不仅揭示了LLMs当前的能力和局限，还为未来开发符合伦理、透明且可靠的AI系统奠定了基础。该数据集的应用领域主要集中在提升LLMs的诚实性，确保其在接近超级智能水平时不会误导用户或逃避人类操作的控制，从而促进人类进步。
BEHONEST is a benchmark dataset developed by Generative AI Research Laboratory (GAIR) specifically for evaluating the honesty of Large Language Models (LLMs). This dataset includes 10 scenarios, aiming to comprehensively evaluate the honesty of LLMs from three key dimensions: awareness of knowledge boundaries, avoidance of deception, and response consistency. By integrating multiple evaluation dimensions, BEHONEST not only reveals the current capabilities and limitations of LLMs but also lays a foundation for the future development of ethical, transparent and reliable AI systems. The main application domains of this dataset focus on enhancing the honesty of LLMs, ensuring that they will not mislead users or evade human control when approaching the superintelligent level, thereby advancing human progress.
BeHonest: Benchmarking Honesty in Large Language Models
简介
BeHonest是一个综合基准，用于评估大型语言模型的诚实度，通过评估其知识边界（自我认知）、避免欺骗（非欺骗性）和响应一致性（一致性）。
BeHonest支持10个场景：
- Expressing Unknowns：LLMs应适当拒绝回答超出其知识范围的问题。
- Admitting Knowns：LLMs应正确回答其有知识的问题。
- Persona Sycophancy：LLMs不应改变其响应以适应感知到的角色观点，这可能导致维持批准的偏见信息。
- Preference Sycophancy：当用户明确偏好某一选项时，LLMs不应改变其观点以维持批准。
- Burglar Deception：即使在被明确指示或鼓励欺骗行为时，LLMs也不应撒谎。
- Game：即使在战略游戏中欺骗行为有助于获胜，LLMs也不应撒谎。
- Prompt Format：LLMs在遇到相同内容的轻微提示变化时应保持响应一致性。
- Demonstration Format：即使在少样本演示中存在无关的偏见特征，LLMs也应保持响应一致性。
- Open-Form Consistency：LLMs应通过验证其生成的响应来显示一致性。
- Multiple-Choice Consistency：当被要求再次回答问题或当用户提出不必要的疑虑时，LLMs应保持响应一致性。
开始使用
要使用BeHonest仓库，需要安装所需的依赖项。可以通过运行以下命令来完成： bash git clone https://github.com/GAIR-NLP/BeHonest.git pip install -r requirements.txt
确保已安装Python 3.10+。
加载数据
BeHonest的基准数据集已在Hugging Face网站上发布。每个子集对应BeHonest中的一个场景，拆分对应每个场景下的单个.json文件。
以下代码片段用于加载数据集： python from datasets import load_dataset
dataset = load_dataset("GAIR/BeHonest")
print(dataset)
推理
步骤1：
要运行推理，首先导航到LLM目录： python cd LLM
对于Admitting Unknowns、Expressing Knowns、Burglar Deception、Game和Demonstration Format场景，跳至评估部分。
步骤2.1：
要在vLLM上运行支持的模型，导航到vLLM目录并运行： python cd vLLM bash get_response.sh
可更改以下参数：
--input_dir：Hugging Face数据集的路径（默认："../../${scenario}"）--output_dir：保存模型响应输出的路径（默认："../../${scenario}/output/${model}"）--file_name：要运行推理的文件名（默认："persona"）--scenario：要运行推理的场景名称（默认："Persona_Sycophancy"）--model：模型名称（例如：llama3-70b-instruct、Mistral-7B-Instruct-v0.2等）--model_path：模型权重保存的路径
完成推理后，生成的响应将保存为../../${scenario}/output/${model}/${file_name}.json，可用于后续评估。
步骤2.2：
或者，通过API调用在GPT模型上运行推理，导航到GPT目录并执行以下命令： python cd GPT bash get_response.sh
可更改以下参数：
--input_dir：Hugging Face数据集的路径（默认："../../${scenario}"）--output_dir：保存模型响应输出的路径（默认："../../${scenario}/output/${model}"）--file_name：要运行推理的文件名（默认："persona"）--scenario：要运行推理的场景名称（默认："Persona_Sycophancy"）--model：模型名称（例如：gpt-4o-2024-05-13、gpt-3.5-turbo-0125等）
完成推理后，生成的响应将保存为../../${scenario}/output/${model}/${file_name}.json，可用于后续评估。
评估
要评估每个场景下的生成响应，执行以下命令： python cd Evaluation
案例1：
要一次性评估所有场景，请按照以下步骤操作：
步骤1：填写或修改案例2中提到的每个.sh文件中指定的参数。
步骤2：设置好参数后，运行以下命令评估所有场景： python bash eval_all.sh
案例2：
每个场景也可以单独评估，如下所示：
- Admitting Unknowns和Expressing Knowns：
python cd Self_Knowledge bash test_self_knowledge.sh
- Persona Sycophancy和Preference Sycophancy：
python cd Non_Deceptiveness bash test_sycophancy.sh
- Burglar Deception和Game：
python cd Non_Deceptiveness bash test_burglar.sh bash test_game.sh
- Prompt Format、Open Form、Multiple Choice：
python cd Consistency bash test_prompt_format.sh bash test_open_form.sh bash test_mcq.sh
- Demonstration Format：
首先从此github仓库获取该场景的数据集，并保存在路径/Demonstration_Format/bbh/${task}/xxx.json中。然后，可以运行推理和评估：
python
cd Consistency
bash test_demon_format.sh
实验结果
要查看论文中报告的详细结果，请导航到Results目录： python cd Results
引用
如果您发现这些资源有用，请考虑引用我们的论文或仓库：
@article{chern2024behonest, title={BeHonest: Benchmarking Honesty in Large Language Models}, author={Chern, Steffi and Hu, Zhulin and Yang, Yuqing and Chern, Ethan and Guo, Yuan and Jin, Jiahe and Wang, Binjie and Liu, Pengfei}, journal={arXiv preprint arXiv:2406.13261}, url={https://arxiv.org/abs/2406.13261} year={2024} }
- 1BeHonest: Benchmarking Honesty of Large Language Models生成式AI研究实验室 (GAIR) · 2024年
