U4RASD/Masrad

--- dataset_info: features: - name: semantic dtype: float64 - name: semantic_rank dtype: float64 - name: semantic_diff dtype: float64 - name: lexical1 dtype: float64 - name: lexical1_rank dtype: float64 - name: lexical1_diff dtype: float64 - name: lexical2 dtype: float64 - name: lexical2_rank dtype: float64 - name: lexical2_diff dtype: float64 - name: entity dtype: string - name: src_entity dtype: string - name: phonetic dtype: bool - name: pos dtype: string - name: label dtype: bool splits: - name: train num_examples: 19405 configs: - config_name: default data_files: - split: train path: data/train.csv license: mit task_categories: - text-classification language: - ar size_categories: - 10K<n<100K --- # Masrad Dataset ## Dataset Description The **Masrad** dataset contains 19,405 examples with features related to semantic similarity, lexical similarity, entity recognition, phonetic matching, and part-of-speech tagging for Arabic text. ## Features | Feature | Type | Description | |---------|------|-------------| | `semantic` | float | Semantic similarity score | | `semantic_rank` | float | Rank based on semantic similarity | | `semantic_diff` | float | Difference from top semantic score | | `lexical1` | float | First lexical similarity score | | `lexical1_rank` | float | Rank based on first lexical score | | `lexical1_diff` | float | Difference from top first lexical score | | `lexical2` | float | Second lexical similarity score | | `lexical2_rank` | float | Rank based on second lexical score | | `lexical2_diff` | float | Difference from top second lexical score | | `entity` | string | Detected entity type (PER, ORG, LOC, none) | | `src_entity` | string | Source entity type | | `phonetic` | bool | Whether phonetic match exists | | `pos` | string | Part of speech tag | | `label` | bool | Target label | ## Usage ```python from datasets import load_dataset dataset = load_dataset("U4RASD/Masrad") ```数据集信息： 特征： - 名称：语义相似度得分（semantic），数据类型：float64（双精度浮点数） - 名称：基于语义相似度的排名（semantic_rank），数据类型：float64 - 名称：与最高语义得分的差值（semantic_diff），数据类型：float64 - 名称：第一词汇相似度得分（lexical1），数据类型：float64 - 名称：基于第一词汇得分的排名（lexical1_rank），数据类型：float64 - 名称：与最高第一词汇得分的差值（lexical1_diff），数据类型：float64 - 名称：第二词汇相似度得分（lexical2），数据类型：float64 - 名称：基于第二词汇得分的排名（lexical2_rank），数据类型：float64 - 名称：与最高第二词汇得分的差值（lexical2_diff），数据类型：float64 - 名称：检测到的实体类型（entity），数据类型：string（字符串） - 名称：源实体类型（src_entity），数据类型：string - 名称：是否存在语音匹配（phonetic），数据类型：bool（布尔值） - 名称：词性标签（pos），数据类型：string - 名称：目标标签（label），数据类型：bool 划分： - 名称：训练集（train），样本数量：19405 配置： - 配置名称：默认配置（default），数据文件： - 划分：train，路径：data/train.csv 许可证：MIT许可证 任务类别： - 文本分类（text-classification） 语言： - 阿拉伯语（ar） 样本量范围： - 10K < 样本量 < 100K # Masrad 数据集 ## 数据集描述 **Masrad** 数据集包含19405条样本，涵盖阿拉伯语文本的语义相似度、词汇相似度、实体识别、语音匹配以及词性标注相关特征。 ## 特征说明 | 特征名 | 数据类型 | 特征描述 | |---------|------|-------------| | `semantic` | 双精度浮点数 | 语义相似度得分 | | `semantic_rank` | 双精度浮点数 | 基于语义相似度的排名 | | `semantic_diff` | 双精度浮点数 | 与最高语义得分的差值 | | `lexical1` | 双精度浮点数 | 第一词汇相似度得分 | | `lexical1_rank` | 双精度浮点数 | 基于第一词汇得分的排名 | | `lexical1_diff` | 双精度浮点数 | 与最高第一词汇得分的差值 | | `lexical2` | 双精度浮点数 | 第二词汇相似度得分 | | `lexical2_rank` | 双精度浮点数 | 基于第二词汇得分的排名 | | `lexical2_diff` | 双精度浮点数 | 与最高第二词汇得分的差值 | | `entity` | 字符串 | 检测到的实体类型（PER：人名、ORG：组织机构、LOC：地点、none：无实体） | | `src_entity` | 字符串 | 源实体类型 | | `phonetic` | 布尔值 | 是否存在语音匹配 | | `pos` | 字符串 | 词性标签 | | `label` | 布尔值 | 目标标签 | ## 使用方法 python from datasets import load_dataset dataset = load_dataset("U4RASD/Masrad")