five

bstds/geonames

收藏
Hugging Face2023-02-14 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/bstds/geonames
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: features: - name: geonameid dtype: int64 - name: name dtype: string - name: asciiname dtype: string - name: alternatenames dtype: string - name: latitude dtype: float64 - name: longitude dtype: float64 - name: feature_class dtype: string - name: feature_code dtype: string - name: country_code dtype: string - name: cc2 dtype: string - name: admin1_code dtype: string - name: admin2_code dtype: string - name: admin3_code dtype: string - name: admin4_code dtype: string - name: population dtype: int64 - name: elevation dtype: float64 - name: dem dtype: int64 - name: timezone dtype: string - name: modification_date dtype: string splits: - name: train num_bytes: 2378719253 num_examples: 12368001 download_size: 824343833 dataset_size: 2378719253 --- # Dataset Card for "geonames" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards) [Source](https://download.geonames.org/export/dump/) ``` "geonameid", # integer id of record in geonames database "name", # name of geographical point (utf8) varchar(200) "asciiname", # name of geographical point in plain ascii characters, varchar(200) "alternatenames", # alternatenames, comma separated, ascii names automatically transliterated, convenience attribute from alternatename table, varchar(10000) "latitude", # latitude in decimal degrees (wgs84) "longitude", # longitude in decimal degrees (wgs84) "feature_class", # see http://www.geonames.org/export/codes.html, char(1) "feature_code", # see http://www.geonames.org/export/codes.html, varchar(10) "country_code", # ISO-3166 2-letter country code, 2 characters "cc2", # alternate country codes, comma separated, ISO-3166 2-letter country code, 200 characters "admin1_code", # fipscode (subject to change to iso code), see exceptions below, see file admin1Codes.txt for display names of this code; varchar(20) "admin2_code", # code for the second administrative division, a county in the US, see file admin2Codes.txt; varchar(80) "admin3_code", # code for third level administrative division, varchar(20) "admin4_code", # code for fourth level administrative division, varchar(20) "population", # bigint (8 byte int) "elevation", # in meters, integer "dem", # digital elevation model, srtm3 or gtopo30, average elevation of 3''x3'' (ca 90mx90m) or 30''x30'' (ca 900mx900m) area in meters, integer. srtm processed by cgiar/ciat. "timezone", # the iana timezone id (see file timeZone.txt) varchar(40) "modification_date", # date of last modification in yyyy-MM-dd format" ```

# 数据集信息 ## 特征字段 1. **geonameid**:数据类型为`int64`,对应注释为地名数据库中的记录整数ID 2. **name**:数据类型为`string`,对应注释为地理实体名称(采用UTF-8编码),字段类型为varchar(200) 3. **asciiname**:数据类型为`string`,对应注释为纯ASCII字符形式的地理实体名称,字段类型为varchar(200) 4. **alternatenames**:数据类型为`string`,对应注释为备用名称集合,以逗号分隔,为自动音译的ASCII名称,源自备用名称表的便捷属性,字段类型为varchar(10000) 5. **latitude**:数据类型为`float64`,对应注释为以十进制度数表示的纬度(采用WGS84坐标系) 6. **longitude**:数据类型为`float64`,对应注释为以十进制度数表示的经度(采用WGS84坐标系) 7. **feature_class**:数据类型为`string`,对应注释为要素类别,详情请见 http://www.geonames.org/export/codes.html,字段类型为char(1) 8. **feature_code**:数据类型为`string`,对应注释为要素代码,详情请见 http://www.geonames.org/export/codes.html,字段类型为varchar(10) 9. **country_code**:数据类型为`string`,对应注释为ISO-3166 两位字母国家代码,长度为2个字符 10. **cc2**:数据类型为`string`,对应注释为备用国家代码集合,以逗号分隔,采用ISO-3166 两位字母国家代码,总长度不超过200字符 11. **admin1_code**:数据类型为`string`,对应注释为一级行政区域代码,原为FIPS代码(未来将更改为ISO代码),详见下文异常说明,可参考`admin1Codes.txt`文件获取该代码对应的显示名称,字段类型为varchar(20) 12. **admin2_code**:数据类型为`string`,对应注释为二级行政区域代码(例如美国的县一级行政单元),可参考`admin2Codes.txt`文件获取对应信息,字段类型为varchar(80) 13. **admin3_code**:数据类型为`string`,对应注释为三级行政区域代码,字段类型为varchar(20) 14. **admin4_code**:数据类型为`string`,对应注释为四级行政区域代码,字段类型为varchar(20) 15. **population**:数据类型为`int64`,对应注释为人口数量,为8字节大整数 16. **elevation**:数据类型为`float64`,对应注释为海拔高度,单位为米,为整数类型 17. **dem**:数据类型为`int64`,对应注释为数字高程模型,数据源自SRTM3或GTOPO30,代表3''×3''(约90米×90米)或30''×30''(约900米×900米)区域的平均海拔高度,单位为米,为整数类型。其中SRTM数据由CGIAR/CIAT处理。 18. **timezone**:数据类型为`string`,对应注释为IANA时区标识符,可参考`timeZone.txt`文件获取详情,字段类型为varchar(40) 19. **modification_date**:数据类型为`string`,对应注释为最后修改日期,格式为`yyyy-MM-dd` ## 数据划分 - 训练集(train):数据字节数为2378719253,样本总量为12368001 ### 数据集整体参数 - 下载大小:824343833字节 - 数据集总大小:2378719253字节 --- # 「geonames」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards) [数据来源](https://download.geonames.org/export/dump/) "geonameid", # 地名数据库中的记录整数ID "name", # 地理实体名称(UTF-8编码),varchar(200) "asciiname", # 纯ASCII字符形式的地理实体名称,varchar(200) "alternatenames", # 备用名称,以逗号分隔,为自动音译的ASCII名称,源自备用名称表的便捷属性,varchar(10000) "latitude", # 以十进制度数表示的纬度(WGS84坐标系) "longitude", # 以十进制度数表示的经度(WGS84坐标系) "feature_class", # 详见 http://www.geonames.org/export/codes.html,char(1) "feature_code", # 详见 http://www.geonames.org/export/codes.html,varchar(10) "country_code", # ISO-3166 两位字母国家代码,长度为2字符 "cc2", # 备用国家代码,以逗号分隔,ISO-3166 两位字母国家代码,总长度不超过200字符 "admin1_code", # FIPS代码(未来将更改为ISO代码),详见下文异常说明,可参考admin1Codes.txt文件获取该代码对应的显示名称;varchar(20) "admin2_code", # 第二级行政区域代码(例如美国的县),可参考admin2Codes.txt文件;varchar(80) "admin3_code", # 三级行政区域代码,varchar(20) "admin4_code", # 四级行政区域代码,varchar(20) "population", # 8字节大整数 "elevation", # 单位为米,整数类型 "dem", # 数字高程模型,源自SRTM3或GTOPO30,为3''×3''(约90米×90米)或30''×30''(约900米×900米)区域的平均海拔高度,单位为米,整数类型。SRTM数据由CGIAR/CIAT处理。 "timezone", # IANA时区ID(可参考timeZone.txt文件),varchar(40) "modification_date", # 最后修改日期,格式为yyyy-MM-dd
提供机构:
bstds
原始信息汇总

数据集概述

数据集名称

"geonames"

数据集特征

  • geonameid: 整数类型
  • name: 字符串类型
  • asciiname: 字符串类型
  • alternatenames: 字符串类型
  • latitude: 浮点数类型
  • longitude: 浮点数类型
  • feature_class: 字符串类型
  • feature_code: 字符串类型
  • country_code: 字符串类型
  • cc2: 字符串类型
  • admin1_code: 字符串类型
  • admin2_code: 字符串类型
  • admin3_code: 字符串类型
  • admin4_code: 字符串类型
  • population: 整数类型
  • elevation: 浮点数类型
  • dem: 整数类型
  • timezone: 字符串类型
  • modification_date: 字符串类型

数据集划分

  • train: 12368001个样本,占用2378719253字节

数据集大小

  • 下载大小: 824343833字节
  • 数据集大小: 2378719253字节
搜集汇总
数据集介绍
main_image_url
构建方式
GeoNames数据集源自全球地理名称数据库,由地理空间数据爱好者与专业机构联合构建,旨在为地名解析、地理编码及空间分析提供标准化资源。其构建过程依托于多源数据整合,包括官方地图、人口普查记录与开放地理信息库,通过自动化清洗与人工校验确保坐标、行政区划及人口等字段的准确性。数据以文本格式导出,每行对应一个地理实体,涵盖经纬度、特征分类、国家代码及多级行政代码等19个属性,最终形成包含逾1236万条记录的庞大规模。
特点
该数据集的核心特点在于其全面性与结构化。它覆盖全球范围的地理实体,从自然地貌到行政区域,均通过特征类与代码系统(如feature_class与feature_code)实现精细分类。字段设计兼顾标准化与灵活性,例如alternatenames支持多语言别名,而admin1至admin4代码可追溯至县级行政层级。此外,高程、人口与数字高程模型(DEM)等数值字段为地理统计分析提供了量化基础,数据集的单一训练集划分则简化了加载与处理流程。
使用方法
使用该数据集时,可通过HuggingFace的datasets库直接加载,指定'bstds/geonames'标识符即可获取训练集。数据以表格形式呈现,支持按字段筛选或转换,例如提取特定国家代码的人口数据或基于经纬度进行空间索引。建议结合pandas进行数据清洗,处理缺失的cc2或elevation字段,并利用feature_class过滤兴趣点。对于大规模应用,可采用流式加载以节省内存,或导出为Parquet格式加速后续分析与模型训练。
背景与挑战
背景概述
地名数据作为地理信息系统(GIS)与自然语言处理(NLP)交叉领域的基础资源,其标准化与可访问性直接影响着地图服务、位置感知计算以及多语言信息检索等应用的效能。由GeoNames组织维护并定期更新的全球地名数据库,自2005年启动以来,已发展成为开放地理数据领域最具影响力的权威来源之一。该数据集收录了超过1200万条地理实体记录,涵盖从国家、行政区域到聚居地、自然地貌等多层级特征,每条记录均包含唯一标识符、多语言名称、精确经纬度坐标、人口统计信息、高程数据以及时区等结构化字段。其核心研究问题在于构建一个全面、统一且持续演进的地名知识库,以支撑跨语言地理实体识别、空间语义推理以及全球尺度下的位置服务研究。该数据集的持续发布与广泛应用,不仅推动了OpenStreetMap等众包地理项目的互操作性,更成为地理编码、地名消歧与空间数据挖掘等领域的基准资源。
当前挑战
该数据集所面临的挑战首先体现在领域问题的复杂性上:全球地名系统存在显著的多语种异构性,同一地理实体在不同语言与文化背景下可能拥有截然不同的命名规则与拼写变体,这对跨语言地名匹配与标准化提出了严峻考验。此外,数据集构建过程中遭遇的挑战同样不容忽视:由于依赖多方政府机构与社区贡献者的协同更新,数据质量呈现参差不齐的状态,部分偏远地区或小规模聚居地的记录存在经纬度精度不足、人口数据缺失、行政编码过时等问题。更关键的是,随着城市化进程加速与行政区划频繁调整,数据集的时效性维护成为持续难题——修改日期字段仅记录最终变更时间,而无法反映历史版本演替,这限制了其在时间序列分析中的应用。同时,对数字高程模型(DEM)的依赖使得山区或复杂地形区域的高程数据可能存在较大误差,进而影响基于地形特征的空间分析可靠性。
常用场景
经典使用场景
地理信息科学领域中,GeoNames 数据集因其覆盖全球的地理实体名称、经纬度、行政区划代码及人口等丰富属性,成为地理编码与反向地理编码任务的经典基准资源。研究者常利用该数据集构建地名解析模型,将自然语言中的地点提及映射为精确坐标,或从坐标推断地名及行政归属。其标准化字段与海量样本(超过1200万条记录)为训练高泛化能力的地理实体识别系统提供了坚实的数据基础,尤其在多语言地名消歧与跨地域匹配场景中展现出独特价值。
实际应用
在实际应用中,GeoNames 数据集被广泛集成于导航系统、灾害应急响应平台及电商物流的地址解析模块。例如,物流企业利用其人口与行政区划数据优化配送路径规划,气象机构结合特征代码与海拔信息改进区域天气预报模型。社交媒体地理标签的标准化亦依赖此数据集,通过坐标与地名的双向转换实现用户位置的可视化分析,为城市计算与智能交通系统的部署提供了可落地的地名服务引擎。
衍生相关工作
基于GeoNames 数据集,学界衍生出一系列经典工作,包括基于图神经网络的多模态地名对齐模型Geo-Encoder,以及融合时序特征的地理实体流行度预测框架。此外,OpenStreetMap 社区借鉴其分类体系完善了众包地图标注规范,而CLIP-based 的跨语言地名检索系统则利用alternatenames 字段实现了零样本地名翻译。这些工作进一步拓展了数据集在少样本学习与跨领域迁移场景中的影响力,巩固了其作为地理信息基准资源的核心地位。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务