five

Japanese word2vec embeddings trained on OpenSubtitles

收藏
Zenodo2025-11-09 更新2026-05-26 收录
下载链接:
https://zenodo.org/doi/10.5281/zenodo.17539309
下载链接
链接失效反馈
官方服务:
资源简介:
This dataset contains the subs2vec embeddings for Japanese, as presented in https://zenodo.org/records/17243814. The embeddings were trained on large-scale subtitle corpora and represent semantic vector spaces derived from naturalistic language use in films and television from the OpenSubtitles 2018 datasets: https://opus.nlpl.eu/OpenSubtitles/corpus/version/OpenSubtitles.  For this language, we provide all embedding variants explored in the study. Specifically, the dataset includes vectors generated under different combinations of: Dimensionality: multiple vector sizes (e.g., 100, 200, 300, …) Window size: varying context windows (e.g., 2, 5, 10, …) Each file corresponds to a unique configuration (dimension × window size).  Each file contains the vocabulary for that language (column 1) and then the embedding values (columns 2 through dimension size + 1).  If you use this dataset, please cite: Manuscript: https://doi.org/10.5281/zenodo.17243812  Data: This Zenodo dataset (using the DOI provided here)

本数据集包含日语的subs2vec词嵌入(subs2vec embeddings),相关研究内容详见 https://zenodo.org/records/17243814。该词嵌入基于大规模字幕语料库训练得到,其语义向量空间源自OpenSubtitles 2018数据集(https://opus.nlpl.eu/OpenSubtitles/corpus/version/OpenSubtitles)中影视与剧集的自然语言使用场景。 针对该语言,我们提供了研究中探索的全部嵌入变体。具体而言,本数据集包含由以下不同参数组合生成的词向量: 1. 维度规格:多种向量维度(如100、200、300等) 2. 上下文窗口大小:不同的窗口尺寸(如2、5、10等) 每个文件对应唯一的配置组合(维度 × 窗口大小)。 每个文件包含该语言的词表(第一列)以及对应的词嵌入值(第二列至第维度大小+1列)。 若使用本数据集,请引用如下文献: - 手稿:https://doi.org/10.5281/zenodo.17243812 - 数据集:本Zenodo数据集(使用此处提供的DOI)
提供机构:
Zenodo
创建时间:
2025-11-09
二维码
社区交流群
二维码
科研交流群
商业服务