GPT-3只预训练出的embedding效果怎么样？
2023-05-28 阅读 8
GPT-3单纯预训练得到的embedding在捕捉词汇级和一般句子语义上表现不错，适合做语义检索、聚类和初步相似度判断；但在细粒度句子语义、逻辑推理或需要高精度相似度的任务上，通常不如经过有监督或对比学习微调的句向量（比如SBERT或专门的embedding模型）。实际应用上，数据少或想快速部署可以直接用预训练embedding；追求更高精度时建议做任务微调或用专门训练的embedding模型。
更新于 2025年12月11日
