shawon95/Bengali-Fake-Review-Dataset

这是一个用于孟加拉语虚假评论检测的二进制数据集，数据集在论文《Bengali Fake Reviews: A Benchmark Dataset and Detection System》中被使用，并发表在Elsevier的期刊《Neurocomputing》上。数据集由4位母语为孟加拉语的标注者进行标注，标注的可信度超过90%。Fleiss Kappa得分为0.83，表明标注者之间的一致性较高。数据集包含1339条虚假评论和7710条非虚假评论，并提供了详细的词汇统计信息，如总词汇量、唯一词汇量、最大评论长度、平均词汇量等。

原始信息汇总

数据集概述

数据集名称

• Bengali Fake Review Detection (BFRD) 数据集

数据集用途

• 用于检测孟加拉语假评论

数据集来源

• 该数据集是在论文《Bengali Fake Reviews: A Benchmark Dataset and Detection System》中提出的，该论文发表于Elsevier出版的《Neurocomputing》期刊。

数据集特点

• 由4名母语为孟加拉语的标注者进行标注，信任度评分超过90%。
• 使用Fleiss Kappa评分进行一致性评估，得分为0.83。

数据集统计

• 假评论：1339条
• 非假评论：7710条

数据集详细统计

统计项	假评论	非假评论
总字数	155,789	927,902
总唯一字数	17,739	51,200
最大评论长度	693	1,614
平均字数	116.35	120.35
平均唯一字数	84.99	88.42

引用信息

• 若使用此数据集，请引用以下论文：

  @article{SHAHARIAR2024127732, title = {Bengali fake reviews: A benchmark dataset and detection system}, journal = {Neurocomputing}, pages = {127732}, year = {2024}, issn = {0925-2312}, doi = {https://doi.org/10.1016/j.neucom.2024.127732}, url = {https://www.sciencedirect.com/science/article/pii/S0925231224005034}, author = {G.M. Shahariar and Md. Tanvir Rouf Shawon and Faisal Muhammad Shah and Mohammad Shafiul Alam and Md. Shahriar Mahbub}, keywords = {Bengali fake reviews detection, Ensemble learning, Transformers, Deep learning, Augmentation, Transliteration}, abstract = {The proliferation of fake reviews on various online platforms has created a major concern for both consumers and businesses. Such reviews can deceive customers and cause damage to the reputation of products or services, making it crucial to identify them. Although the detection of fake reviews has been extensively studied in English language, detecting fake reviews in non-English languages such as Bengali is still a relatively unexplored research area. The novelty of the study unfolds on three fronts: (i) a new publicly available dataset called Bengali Fake Review Detection (BFRD) dataset is introduced, (ii) a unique pipeline has been proposed that translates English words to their corresponding Bengali meaning and also back transliterates Romanized Bengali to Bengali, (iii) a weighted ensemble model that combines four pre-trained transformers model is proposed. The developed dataset consists of 7710 non-fake and 1339 fake food-related reviews collected from social media posts. Rigorous experiments have been conducted to compare multiple deep learning and pre-trained transformer language models and our proposed model to identify the best-performing model. According to the experimental results, the proposed ensemble model attained a weighted F1-score of 0.9843 on a dataset of 13,390 reviews, comprising 1339 actual fake reviews, 5,356 augmented fake reviews, and 6695 reviews randomly selected from the 7710 non-fake instances.} }

搜集汇总

数据集介绍

构建方式

在自然语言处理与社交媒体分析领域，虚假评论的识别对维护信息生态健康至关重要。该数据集聚焦于孟加拉语食品相关评论，由四位母语为孟加拉语的标注者共同完成，标注者间信任度评分超过90%，确保了标注质量。通过计算Fleiss' Kappa系数达到0.83，表明标注结果具有高度一致性。数据集共包含9049条评论，其中虚假评论1339条，非虚假评论7710条，覆盖了从简短到长篇的多样评论长度，平均词数在116至120之间，为虚假评论检测研究提供了扎实的基准资源。

特点

该数据集的核心特点在于其针对孟加拉语领域的专业构建与统计丰富性。虚假与非虚假评论在总词数、独特词数及评论长度分布上存在显著差异，例如虚假评论总词数约15.6万，而非虚假评论高达92.8万，体现了类别间的语义多样性。此外，数据集附有评论长度与类别比例的分布图，直观揭示了不同长度评论的类别倾向。这些特征不仅支撑了二分类任务，也为后续模型在长文本与短文本场景下的性能评估提供了细粒度分析基础。

使用方法

数据集以标准格式提供，可直接用于训练和评估孟加拉语虚假评论检测模型。用户可采用深度学习框架如PyTorch或TensorFlow，结合预训练Transformer模型（如BanglaBERT）进行微调。建议将数据划分为训练集、验证集和测试集，并注意处理类别不平衡问题，例如通过过采样或加权损失函数。论文中提出的加权集成模型（结合四种预训练Transformer）可作为参考基线，用户亦可探索数据增强技术（如回译）以提升模型鲁棒性。

背景与挑战

背景概述

在电子商务与社交媒体蓬勃发展的当今，虚假评论的泛滥严重侵蚀了消费者信任与市场公平，成为自然语言处理领域亟待攻克的关键难题。尽管英语虚假评论检测研究已取得长足进展，但孟加拉语等低资源语言的相关研究仍近乎空白。为此，G.M. Shahariar等研究人员于2024年在《Neurocomputing》期刊上发表了题为“Bengali Fake Reviews: A Benchmark Dataset and Detection System”的论文，并创建了Bengali Fake Review Detection（BFRD）数据集。该数据集由四位母语为孟加拉语的专业标注者协作完成，标注一致性高达90%以上，Fleiss' Kappa系数达到0.83，确保了数据的高质量。数据集包含7710条真实评论与1339条虚假评论，全部聚焦于食品领域，为孟加拉语虚假评论检测研究奠定了坚实的基准。这一开创性工作不仅填补了孟加拉语虚假评论数据集的空白，更推动了低资源语言在在线内容可信度分析领域的发展，对相关学术研究具有重要的示范与引领效应。

当前挑战

该数据集所解决的领域核心挑战在于孟加拉语虚假评论自动检测的艰巨性。孟加拉语形态丰富、语料稀缺，且存在大量罗马化孟加拉语与英语混合表达，传统检测方法难以有效应对。研究团队在构建过程中面临多重困难：首先，虚假评论数据天然稀缺且难以获取，需从社交媒体食品相关帖子中人工筛选，最终仅得1339条虚假样本，导致类别严重不平衡；其次，为提升模型鲁棒性，团队创新性地提出数据增强策略，通过将英语单词翻译为孟加拉语及将罗马化孟加拉语回译至标准孟加拉语，生成了5356条增强虚假评论，但这一过程需确保翻译与回译的语义保真度，技术实现复杂；此外，标注工作依赖四名母语者的主观判断，尽管一致性较高，但标注疲劳与歧义仍可能引入噪声。这些挑战共同构成了孟加拉语虚假评论检测研究的核心难点，也为后续研究提供了明确的方向指引。

常用场景

经典使用场景

该数据集最经典的使用场景是针对孟加拉语在线评论的真伪鉴别任务，尤其聚焦于食品相关领域的社交媒体评论。研究者利用该数据集训练和评估深度学习模型，以区分真实评论与虚假评论，为低资源语言下的文本真实性验证提供了标准化基准。其标注质量经四位母语者交叉验证，Fleiss' Kappa系数高达0.83，确保了数据的高可靠性，成为孟加拉语虚假评论检测研究的基石。

实际应用

在实际应用中，该数据集可赋能电商平台、社交媒体及在线点评系统构建自动化的孟加拉语评论审核机制，有效识别恶意刷评与误导性内容。例如，食品配送平台可集成基于此数据集训练的检测模型，实时过滤虚假评价以维护消费者权益。此外，其提出的英译孟加拉语及罗马化转写管道，为多语言内容审核系统提供了可复用的技术范式，助力企业降低因虚假评论引发的声誉风险。

衍生相关工作

该数据集衍生了一系列经典工作，包括Shahariar等人提出的加权集成模型，该模型融合四种预训练Transformer架构以提升检测鲁棒性。后续研究在此基础上探索了数据增强技术，如通过回译生成合成虚假评论以缓解类别不平衡问题，并验证了跨语言迁移学习的可行性。这些工作不仅深化了对孟加拉语文本特征的理解，还催生了针对低资源语言的混合神经网络架构，为其他南亚语言（如印地语、乌尔都语）的虚假评论检测研究提供了方法论参照。