跳到主要内容

深度学习

深度学习研究多层神经网络如何表示、优化和泛化,是现代 AI 模型的共同基础。

栏目定位

这里记录神经网络结构、反向传播、优化器、正则化、归一化、训练稳定性和深度学习工程实践。

子方向

  • 多层感知机。
  • 反向传播。
  • 优化器。
  • 正则化。
  • 归一化。
  • 训练稳定性。

推荐学习路径

先掌握反向传播和优化,再学习 CNN、RNN、Transformer 等结构,最后结合实际训练日志理解稳定性问题。

笔记模板

  • 网络结构。
  • 前向计算。
  • 反向传播。
  • 参数更新。
  • 训练曲线。
  • 常见失败模式。

参考资料

可参考深度学习教材、EECS498 等课程和 PyTorch 官方教程。