--- license: apache-2.0 size_categories: - n<1K --- HEROS is a dataset used to compare the sentence cosine similarity among sentences with high lexical overlapping but differ in their semantics. Plea
该数据集专为JiRack分词器格式化,用于训练JiRack Base 1.5B模型。建议初始化模型时使用4K上下文窗口以确保稳定性,随后通过专门的JiRack 8K数据集扩展到8K上下文,这种两阶段方法在扩展模型长距离依赖之前确保稳健的位置编码。数据集针对银行和金融科技机构设计,用于构建安全、内部的模型,支持端到端解决方案,以预训练模型用于欺诈预防、垃圾邮件过滤、风险评估和反洗钱检测。这是基础检查