向GPT问两次相同的问题，GPT的回答完全相同的概率可以估计吗？
2024-02-15 阅读 9
可以估算，但要看采样方式和输出长度。严格公式是两次独立采样恰好得到同一序列的概率等于所有可能序列概率平方和，记作 Σ_s p(s)^2。简化近似：若把生成视作长度为 L 的独立 token 链，每 token 的困惑度为 PPL，则概率约为 PPL^(-L)。比如每 token PPL≈50、L=20 时概率约 50^-20，几乎为零。若用温度为0（贪心/beam 或固定 seed）则确定性输出，概率为1；用 top-k/top-p 或高温采样时支持集变小，概率会相对大一些但通常仍很小。实际还受标点、空格和后处理影响。
更新于 2026年01月02日
