Prompt Tuning、Instruction Tuning、CoT和ICT有什么联系和区别？
2023-05-21 阅读 10
简单说清楚它们的角色和区别：Prompt Tuning 是在大模型参数冻结的前提下，把一段可训练的连续提示向量当作少量参数去优化，使模型在特定任务上表现更好；Instruction Tuning 则是用大量“指令—回复”对微调模型权重，目的是让模型更好地理解和执行自然语言指令；CoT（Chain‑of‑Thought）不是微调方法，而是一种让模型输出中间推理步骤的策略，可以通过在提示里示例（CoT prompting）或把带推理步骤的样例加入微调数据来实现；ICT 通常指 In‑Context Tuning，即在类似 in‑context learning 的设置下，通过对提示或上下文示例做优化来提升少样本表现——在理念上更接近 Prompt Tuning，但更强调模拟推理/示例的上下文利用。三者的关系是：Prompt/ICT 属于参数高效的提示层适配方法，Instruction Tuning 是对模型权重的全面微调，CoT 是可与任一方法结合以增强多步推理能力的训练/提示策略。
更新于 2025年12月11日
