通用新词发现原子能力

基于信息熵Entropy、内部凝聚度PMI、闭包子集、停用词和大规模中文词林去噪的一个通用的新词发现能力，解决各个业务场景中面临的未登录词语义缺失带来的模型误差，帮助模型更高效的落地应用。This general new word discovery capability is developed based on information entropy, pointwise mutual information (PMI), closed subsets, stop words, and large-scale Chinese Word Forest denoising. It addresses model errors caused by the semantic deficiency of out-of-vocabulary (OOV) words across various business scenarios, enabling models to be deployed and applied more efficiently.

搜集汇总

背景与挑战

背景概述

该数据集提供基于信息熵、内部凝聚度等技术的通用新词发现能力，用于解决未登录词导致的模型误差问题，提升模型应用效果。