深度学习研究多层神经网络如何表示、优化和泛化,是现代 AI 模型的共同基础。
栏目定位
这里记录神经网络结构、反向传播、优化器、正则化、归一化、训练稳定性和深度学习工程实践。
子方向
- 多层感知机。
- 反向传播。
- 优化器。
- 正则化。
- 归一化。
- 训练稳定性。
推荐学习路径
先掌握反向传播和优化,再学习 CNN、RNN、Transformer 等结构,最后结合实际训练日志理解稳定性问题。
笔记模板
- 网络结构。
- 前向计算。
- 反向传播。
- 参数更新。
- 训练曲线。
- 常见失败模式。
参考资料
可参考深度学习教材、EECS498 等课程和 PyTorch 官方教程。