为什么分词错误会让中文文本分类结果差很多?
分词错误会改变分类模型实际看到的特征,因此影响可能很大。很多中文分类方法(如词袋、TF-IDF和以词为单位的模型)依赖词及其上下文:如果把“南京市长江大桥”切分成不合适的片段,原本有辨别力的词就会消失或变成无意义组合;否定词、程度词与情感词被拆开或合并,也可能颠倒句子倾向。分词还会影响词频和词表,导致训练与预测阶段出现特征不一致,或让稀有词被拆散,降低统计信号。
影响大小取决于任务和模型。主题分类若依赖专名、产品名或领域术语,错误切分通常尤其伤;情感分类则常受否定结构、固定表达影响。字符级或子词模型不一定需要传统分词,因而对分词器错误较不敏感,但若预处理阶段仍先按词截断、过滤或构造特征,问题仍会传递下去。
排查时可以先查看误分类样本的分词结果,重点检查专名、领域词、数字单位、否定和新词;比较加入用户词典或调整切分规则前后的验证集表现,并确保训练、验证、线上推理使用完全相同的预处理。也要与不依赖词级切分的字符/子词基线对照。若错误主要来自少数领域词,修词典往往有效;若文本写法变化大、词边界难定义,改用字符或子词表示可能更稳。不要只凭个别例子调词典,应以独立验证集衡量整体收益,避免修好一类词却损害其他类别。