自然语言处理关注文本、语义、上下文、序列建模和语言理解 / 生成。
栏目定位
这里记录词向量、序列模型、注意力机制、Transformer、语言建模、检索和评估方法。
子方向
- 文本表示。
- 序列建模。
- 注意力机制。
- 语言模型。
- 信息抽取。
- 检索与问答。
推荐学习路径
先理解文本表示和语言建模，再进入 Transformer 和预训练模型，最后连接到大语言模型和检索增强生成。
笔记模板
- 任务定义。
- 数据和标注。
- 模型输入输出。
- 训练目标。
- 解码或检索机制。
- 评估与错误分析。
参考资料
自然语言处理可参考 CS224N，但主线仍然是 NLP 的知识结构。