transformer主要用在哪些领域和哪些研究方向?
2023-05-28 阅读 4
Transformer 广泛应用于自然语言处理(机器翻译、文本生成、问答、摘要、检索增强模型)、计算机视觉(Vision Transformer、目标检测、分割)、语音(识别与合成)、多模态(图文/视频理解)、强化学习、图数据、时间序列预测、生物信息(蛋白折叠、药物发现)、推荐系统、代码生成等。主要研究方向包括模型规模与预训练策略、算力与内存效率优化(稀疏/线性注意力、蒸馏、量化)、结构改进与新架构、长上下文与检索增强、多模态融合、鲁棒性与可解释性、少样本/迁移/持续学习以及隐私与安全等。
更新于 2025年12月11日