GPT系的Decoder Only类模型，如何实现表征文档的embedding的生成？
2023-06-16 阅读 30
GPT系的Decoder Only类模型通常是使用Transformer架构，其中包含多个Encoder层和一个Decoder层。在这种情况下，要生成表征文档的embedding，可以采用以下方法：
1. 使用Encoder层生成文档的表示。可以使用Transformer中的Encoder层来对输入文档进行编码，得到文档的表示。这个表示可以是Encoder层最后一个位置的输出，也可以是所有位置的输出的平均值或加权平均值。
2. 将文档表示输入到Decoder层中。将文档表示作为Decoder层的输入，Decoder层会生成一系列的token，这些token可以用于生成回答或者对话。
3. 对Decoder层的输出进行后处理。Decoder层的输出通常是一个token序列，需要将其转换为一个固定长度的向量表示。可以使用一些技术，如平均池化、最大池化、自注意力等，将token序列转换为一个向量表示。
需要注意的是，生成表征文档的embedding的方法可以因任务而异，上述方法仅供参考。
更新于 2023年06月19日
