Prompt Tuning、Instruction Tuning、CoT和ICT有什么联系和区别?
2023-05-21 阅读 10
简单说清楚它们的角色和区别:Prompt Tuning 是在大模型参数冻结的前提下,把一段可训练的连续提示向量当作少量参数去优化,使模型在特定任务上表现更好;Instruction Tuning 则是用大量“指令—回复”对微调模型权重,目的是让模型更好地理解和执行自然语言指令;CoT(Chain‑of‑Thought)不是微调方法,而是一种让模型输出中间推理步骤的策略,可以通过在提示里示例(CoT prompting)或把带推理步骤的样例加入微调数据来实现;ICT 通常指 In‑Context Tuning,即在类似 in‑context learning 的设置下,通过对提示或上下文示例做优化来提升少样本表现——在理念上更接近 Prompt Tuning,但更强调模拟推理/示例的上下文利用。三者的关系是:Prompt/ICT 属于参数高效的提示层适配方法,Instruction Tuning 是对模型权重的全面微调,CoT 是可与任一方法结合以增强多步推理能力的训练/提示策略。
更新于 2025年12月11日