跳到主要内容

端到端性能优化

端到端性能优化把模型、算子、框架、显存、通信、调度和服务接口放在同一个链路中分析。

核心问题

  • 系统瓶颈是否真的在被优化的层级?
  • 单点优化是否改善端到端指标?
  • 如何建立可复现、可比较的 benchmark?

笔记模板

  • 业务或实验目标。
  • 完整链路。
  • 指标定义。
  • profiling 结果。
  • 优化改动。
  • 收益和副作用。