跳到主要内容

大语言模型

大语言模型关注大规模预训练、上下文学习、对齐、推理和评估。

栏目定位​

这里记录 Transformer、预训练数据、Scaling Law、SFT、RLHF / DPO、推理机制、工具调用和评估。

子方向​

  • Transformer。
  • 预训练。
  • 指令微调。
  • 对齐方法。
  • 推理解码。
  • 评估与安全。

推荐学习路径​

先学习语言模型和 Transformer，再理解预训练与对齐，最后进入推理系统、评估和应用工程。

笔记模板​

  • 模型目标。
  • 数据流程。
  • 训练阶段。
  • 推理机制。
  • 能力边界。
  • 相关系统问题。

参考资料​

大语言模型可参考 CS336、经典 Transformer 论文和开源模型技术报告。