transformer主要用在哪些领域和哪些研究方向？
2023-05-28 阅读 4
Transformer 广泛应用于自然语言处理（机器翻译、文本生成、问答、摘要、检索增强模型）、计算机视觉（Vision Transformer、目标检测、分割）、语音（识别与合成）、多模态（图文/视频理解）、强化学习、图数据、时间序列预测、生物信息（蛋白折叠、药物发现）、推荐系统、代码生成等。主要研究方向包括模型规模与预训练策略、算力与内存效率优化（稀疏/线性注意力、蒸馏、量化）、结构改进与新架构、长上下文与检索增强、多模态融合、鲁棒性与可解释性、少样本/迁移/持续学习以及隐私与安全等。
更新于 2025年12月11日
