five

Nemotron-Personas-Singapore

收藏
Hugging Face2026-01-27 更新2026-01-28 收录
下载链接:
https://huggingface.co/datasets/nvidia/Nemotron-Personas-Singapore
下载链接
链接失效反馈
官方服务:
资源简介:
Nemotron-Personas-Singapore 是一个开源(CC BY 4.0)的合成生成人物角色数据集,基于新加坡真实世界的人口统计、地理和人格特质分布,旨在捕捉新加坡人口的多样性和丰富性。该数据集包含 148,000 条记录,涵盖 20 个字段,包括 6 个角色字段(如专业角色、体育角色、艺术角色等)和 14 个上下文字段(如年龄、婚姻状况、教育水平、职业等)。数据规模为 888,000 个角色描述,总数据存储量为 0.5 GB。该数据集适用于提高合成生成数据的多样性、减轻数据/模型偏见,并防止模型崩溃,特别适用于主权 AI 开发和大型语言模型训练。数据通过 NVIDIA 的 NeMo Data Designer 生成,结合了概率图模型和 GPT-OSS-120B 模型。数据集仅包含成年人角色,排除了儿童和其他敏感领域(如宗教、金融、医疗)的角色。

Nemotron-Personas-Singapore is an open-source (CC BY 4.0) synthetic persona dataset grounded in the real-world demographic, geographic, and personality trait distributions of Singapore, aiming to capture the diversity and richness of Singapore’s population. This dataset contains 148,000 records spanning 20 fields, including 6 persona fields (such as professional roles, sports roles, artistic roles, etc.) and 14 contextual fields (such as age, marital status, education level, occupation, etc.). It totals 888,000 persona descriptions, with a total storage size of 0.5 GB. This dataset is intended to improve the diversity of synthetically generated data, mitigate data and model bias, and prevent model collapse, and is particularly suited for sovereign AI development and large language model (LLM) training. The dataset was generated using NVIDIA’s NeMo Data Designer, combining probabilistic graphical models and the GPT-OSS-120B model. The dataset only includes adult personas, excluding child personas and those from sensitive domains such as religion, finance, and healthcare.
提供机构:
NVIDIA
创建时间:
2026-01-27
原始信息汇总

Nemotron-Personas-Singapore 数据集概述

数据集基本信息

  • 数据集名称: Nemotron-Personas-Singapore
  • 开发者: NVIDIA Corporation
  • 发布日期: 2026年1月27日
  • 数据集创建日期: 2026年1月27日
  • 许可证: Creative Commons Attribution 4.0 International License (CC BY 4.0)
  • 数据版本: 1.0 (01/27/2026)
  • 语言: 英语 (en)
  • 任务类别: 文本生成 (text-generation)
  • 标签: 合成数据 (synthetic), 人物角色 (personas), NVIDIA, datadesigner
  • 规模类别: 1M < n < 10M
  • 数据格式: 文本
  • 数据收集方法: 混合(人工、合成、自动化)
  • 标注方法: 不适用

数据集内容与规模

  • 记录数量: 148,000 条记录(包含 888,000 个人物角色描述)
  • 数据总量: 0.5 GB
  • 下载大小: 274,800,528 字节
  • 数据集大小: 626,406,567 字节
  • 唯一名称数量: 146,000 个(包括偏好的英文名)
  • 规划区域数量: 55 个(新加坡指定的县区)
  • 总标记数: 1.18 亿个标记(包括 4800 万个人物角色标记)

数据集描述

Nemotron-Personas-Singapore 是一个开源(CC BY 4.0)的合成生成人物角色数据集。该数据集基于新加坡真实世界的人口统计、地理和人格特质分布,旨在捕捉新加坡人口的多样性和丰富性。它是 Nemotron-Personas-USA 的一个变体,也是首个与新加坡在姓名、性别、年龄、种族、宗教、婚姻状况和职业等属性统计信息对齐的新加坡数据集。此版本数据集为各种英文建模用例提供高质量的人物角色。

该数据集支持新加坡模型开发者构建融入重要区域特定人口统计和文化背景的“主权AI”系统。通过反映新加坡真实的地理和人口分布,该数据集提高了合成生成数据的多样性,减轻了偏见,并防止了“模型崩溃”。该数据集旨在比其他人物角色数据集更能代表多个维度上的基础人口分布,包括年龄、地理、宗教、教育、职业、种族身份等。

数据集使用 NeMo Data Designer(一个用于合成数据生成的企业级复合AI系统)生成,该系统利用专有的概率图模型、Apache-2.0 许可的 GPT-OSS-120B 模型以及内置在 Data Designer 中的不断扩展的验证器和评估器。

该数据集已准备好用于商业用途。

数据模式(Schema)

数据集包含 20 个字段,涵盖 6 个人物角色字段14 个上下文字段

字段名 类型 描述
uuid string 全局唯一标识符
professional_persona string 职业人物角色,捕捉主要工作领域、关键专业技能、特质和行为
sports_persona string 体育人物角色,描述运动兴趣、运动队归属以及健身和锻炼方式
arts_persona string 艺术人物角色,描述对创造性表达的参与以及艺术如何塑造其身份
travel_persona string 旅行人物角色,捕捉旅行兴趣和风格
culinary_persona string 烹饪人物角色,描述食物/美食偏好、烹饪技能水平以及用餐体验方式
persona string 简洁的通用人物角色,捕捉个人观点和生活方式的精髓
cultural_background string 个人文化背景描述
skills_and_expertise string 叙事格式的专业和个人技能
hobbies_and_interests string 叙事格式的个人兴趣和娱乐活动
skills_and_expertise_list string 技能和专业领域列表
hobbies_and_interests_list string 爱好和个人兴趣列表
career_goals_and_ambitions string 职业抱负和长期职业目标
sex string 生理性别(例如,男性,女性)
age int64 年龄(岁)
marital_status string 婚姻状况(例如,已婚,未婚,离异,丧偶)
education_level string 完成的最高教育水平
occupation string 综合职业
industry string 职业所属行业
planning_area string 新加坡内的居住规划区
country string 居住国家

数据详情与质量评估

  • 年龄分布: 人物角色仅限于成年新加坡人(至少18岁)。分布在工作年龄主要群体中相对平衡,最高浓度出现在大约25-65岁之间。70岁以后,人口规模逐渐下降。数据集关注18岁及以上的青少年和成人,未生成18岁以下儿童的人物角色。
  • 性别分布: 男性和女性数量在中年阶段保持可比,而在老年群体中女性代表性略高,反映了女性更长的寿命。
  • 婚姻状况: 18-24岁的个体主要为单身,结婚率从20多岁后期到30多岁迅速增加,并保持主导状态直到大约65-69岁。丧偶比例从60岁开始急剧上升,在最年长的群体中占主导地位。离婚在所有年龄段都是低频状态。
  • 教育水平: 教育分布以新加坡统计局报告的年龄组为条件。
  • 职业类别: 在退休人员和家庭主妇之外,就业高度集中在专业职业。
  • 地理分布: 大学学位获得率在不同规划区域存在差异,表明新加坡境内高等教育成就在地理上存在异质性。
  • 名称处理: 虽然人物角色生成中使用了现实的名字分布(来自 NLB Name Authorities 和 CEA Salesperson Information 的 8992 个独特名、4182 个独特中间名和 4894 个独特姓),但最终数据集中未暴露单独的姓名字段,以降低记忆风险和防止重新识别。

种子数据来源

为捕捉新加坡人口的社会人口统计和地理多样性及复杂性,数据集利用了以下资源:

  • 新加坡统计局发布的2024年新加坡人口普查数据
  • 从 data.gov.sg 的 NLB Name Authorities 和 CEA Salesperson Information 获得的英文姓名分布数据

预期用途

该数据集旨在供社区用于持续改进开放模型并推动技术进步。数据可自由用于训练任何模型。主要目标是支持主权AI开发,通过对抗当前模型训练数据中缺失的数据和/或潜在的偏见(特别是在合成数据生成中使用的现有人物角色数据集方面)来实现。

注意: 该数据集仅关注成年人。

使用方式

可通过以下代码加载数据集: python from datasets import load_dataset nemotron_personas_en = load_dataset("nvidia/Nemotron-Personas-Singapore")

限制说明

  • 鉴于对人物角色的强调,数据集排除了 NeMo Data Designer 中可用的其他字段,例如名/姓和合成地址。
  • 通常与企业客户相关的人物角色(例如,宗教、金融、医疗保健)也被排除。
  • 所有数据虽然反映了真实世界的分布,但完全是人工生成的。任何姓名或人物角色描述与真实人物(无论在世或已故)的相似性纯属巧合。

引用信息

如果认为数据有用,请引用: bibtex @software{nvidia/Nemotron-Personas-Singapore, author = {Thongpramoon, Pongsasit and March, Verdi and Low, Christopher and Prayaga, Shyamala and Corneil, Dane and Meyer, Yev}, title = {{Nemotron-Personas-Singapore: Synthetic Personas Aligned to Real-World Distributions for Singapore}}, month = {January}, year = {2026}, url = {https://huggingface.co/datasets/nvidia/Nemotron-Personas-Singapore} }

搜集汇总
数据集介绍
main_image_url
构建方式
在合成数据生成领域,Nemotron-Personas-Singapore数据集的构建体现了基于真实世界分布的严谨方法。该数据集采用NVIDIA NeMo Data Designer这一企业级复合人工智能系统,通过专有的概率图模型结合开源的GPT-OSS-120B大语言模型进行生成。其核心在于以新加坡2024年人口普查数据及政府公开的姓名分布数据作为种子,确保生成的人设特征,如年龄、性别、婚姻状况、教育水平、职业及地理分布等,均与新加坡实际人口统计分布高度对齐。这种生成方式旨在从多维度捕捉新加坡社会的多样性,并通过内置的验证器和评估器保障数据质量,从而为合成数据提供了坚实的地域与文化根基。
特点
该数据集最显著的特点在于其深度植根于新加坡本土的社会文化语境。它包含了超过14.8万条记录,涵盖专业、体育、艺术、旅行、烹饪及综合人设等六个维度的描述,并辅以文化背景、技能专长、兴趣爱好及职业目标等14项丰富的上下文属性。这些人设严格遵循新加坡成年人口的现实分布,覆盖了55个规划区,并在年龄、教育、职业等关键属性上呈现出复杂的统计模式。数据集通过隐去具体姓名字段以降低重识别风险,同时精心避免了强化与种族、宗教相关的敏感社会刻板印象,从而在提升数据多样性与代表性的同时,兼顾了伦理考量。
使用方法
对于致力于主权人工智能开发或大语言模型训练的研究者而言,该数据集提供了便捷的接入途径。用户可通过Hugging Face的`datasets`库,使用`load_dataset("nvidia/Nemotron-Personas-Singapore")`指令直接加载全部英文人设数据。这些结构化的多属性人设可用于生成高质量、多轮次的对话数据,为模型注入具有新加坡特色的视角与背景知识。在实际应用中,开发者可依据具体的文化背景、职业或地理区域等上下文字段,对人设进行精确筛选与条件化生成,以此增强合成数据的多样性,缓解数据偏见,并防止因训练数据单一而导致的模型退化问题。
背景与挑战
背景概述
在人工智能领域,合成数据生成技术正成为缓解数据稀缺与偏见问题的重要途径。Nemotron-Personas-Singapore数据集由NVIDIA公司于2026年1月27日发布,作为首个基于新加坡真实人口统计分布构建的合成人物数据集,其核心研究问题聚焦于如何生成高质量、多样化的合成人物数据,以支持主权人工智能系统的开发。该数据集依托2024年新加坡人口普查数据,通过概率图模型与大规模语言模型相结合的方法,生成了涵盖职业、文化背景、技能爱好等多维特征的合成人物描述,旨在提升合成数据的代表性与真实性,为自然语言生成、对话系统等任务提供丰富且符合地域文化背景的训练资源,对推动个性化人工智能模型的发展具有显著影响力。
当前挑战
该数据集致力于解决合成人物数据生成领域的关键挑战,即如何确保生成的人物特征与真实世界的人口统计分布高度对齐,从而避免模型因训练数据偏差而产生的性能退化或模型崩溃现象。构建过程中的主要挑战体现在数据源的局限性与模型复杂性之间的平衡:一方面,依赖公开的行政与领导力数据集可能导致姓名分布无法完全反映整体人口特征;另一方面,为维持合理的模型复杂度,需对变量间关系做出独立性假设,例如假定职业与教育程度在给定区域、年龄和性别条件下相互独立,这可能削弱数据中潜在的相关性结构。此外,数据时效性限制与敏感社会经济刻板印象的规避,进一步增加了构建过程的复杂性。
常用场景
经典使用场景
在自然语言处理领域,合成数据生成已成为提升模型多样性与鲁棒性的关键手段。Nemotron-Personas-Singapore数据集以其对新加坡人口真实分布的精确建模,为多轮对话生成、角色扮演以及个性化内容创作提供了高质量的虚拟人物档案。研究者能够依据丰富的属性字段,如职业背景、文化特征与个人兴趣,构建出高度逼真且多样化的对话代理,从而在可控环境中测试语言模型的社会文化适应能力与交互真实性。
衍生相关工作
基于该数据集的设计理念,衍生出了一系列专注于地域化合成数据生成的研究与实践。例如,其前身Nemotron-Personas-USA启发了针对不同国家人口统计特征的类似数据集构建。同时,该数据集采用的概率图模型与复合人工智能框架,为后续工作提供了可扩展的合成数据生成方法论,促进了开源社区在合成数据验证、偏差检测以及多模态人物建模等方面的持续探索与创新。
数据集最近研究
最新研究方向
在合成数据生成领域,Nemotron-Personas-Singapore数据集正推动面向区域化主权人工智能的前沿探索。该数据集基于新加坡真实人口统计分布构建合成人物角色,其核心研究方向聚焦于通过概率图模型与大规模语言模型协同的复合人工智能方法,生成高保真、多维度的人物画像,以应对模型训练中数据多样性不足与偏见泛化问题。当前研究热点紧密关联主权人工智能系统的本土化发展需求,旨在利用合成数据精确反映特定地区的文化背景与人口特征,从而缓解模型崩溃风险并提升语言模型在区域场景下的适应性与公平性。这一进展不仅为东南亚地区的人工智能伦理与数据治理提供了新的技术范式,也促进了跨文化语境下合成数据生成技术的标准化与可验证性研究。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务