GPT-3只预训练出的embedding效果怎么样?
2023-05-28 阅读 8
GPT-3单纯预训练得到的embedding在捕捉词汇级和一般句子语义上表现不错,适合做语义检索、聚类和初步相似度判断;但在细粒度句子语义、逻辑推理或需要高精度相似度的任务上,通常不如经过有监督或对比学习微调的句向量(比如SBERT或专门的embedding模型)。实际应用上,数据少或想快速部署可以直接用预训练embedding;追求更高精度时建议做任务微调或用专门训练的embedding模型。
更新于 2025年12月11日