大模型（LLMs）基础面

一、目前主流的开源模型体系分三种

第一种：prefix Decoder系

• 介绍：输入双向注意力，输出单向注意力
• 代表模型：ChatGLM、ChatGLM2、U-PaLM

第二种 ：causal Decoder系

• 介绍：从左到右的单向注意力
• 代表模型：LLaMA-7B、LLaMa衍生物

第三种：Encoder-Decoder

• 介绍：输入双向注意力，输出单向注意力
• 代表模型：T5、Flan-T5、BART