首页
请问怎么理解预训练语言模型可以从大量文本中模型可以学到知识?
2023-11-13 阅读 18
可以把这理解为模型在大量文本上做自监督预测任务(比如预测下一个词或被遮盖的词),通过不断调整参数来捕捉词与词、句与句之间的统计关联、语法规则和常识性事实。这些关联以向量和权重的形式“存”在网络里,所以在给定上下文时能生成看起来有知识的回答,但这并非显式的数据库或因果理解,容易受训练数据偏差、模糊或错误信息影响,也不能自动更新最新事实。
更新于 2025年12月29日