有趣的事

自然语言处理如何判断一句话的歧义?

自然语言处理通常不会只看一句话里的某个词,而是综合词义、句法结构、上下文和交际场景来判断歧义。

常见歧义大致有几类:一是词汇歧义,同一个词有多个意思,例如“苹果”可能指水果,也可能指品牌;二是结构歧义,词语之间的修饰或附着关系不明确,例如“我看见了拿望远镜的人”,望远镜可能是“我”用来看的,也可能是那个人拿着的;三是指代或语用歧义,如“把它给他”,需要知道“它”和“他”分别指谁。

系统会先把句子切分并识别词语,再用句法分析、语义表示或上下文模型估计各种解释是否合理。现代模型通常把前后文一起编码:如果前文在谈水果,“吃了一个苹果”就更支持水果义;如果在讨论手机发布,“苹果的新产品”更可能指公司。语序、搭配、实体信息以及对话中的已知内容也会改变候选解释的概率。

这不是简单地查一个固定规则。对短句、缺少上下文或多个解释都说得通的句子,模型可能无法可靠地选出唯一答案;面向严谨场景时,系统应保留多个候选、给出置信度,或追问说话者,而不是把猜测当成确定事实。

相关阅读