并行计算模型

并行计算模型用于理解任务如何拆分、同步、通信和合并结果。

核心问题

• 数据并行、任务并行和流水线并行分别适合什么场景？
• 同步和通信如何限制加速比？
• Amdahl 定律和 roofline model 如何帮助定位瓶颈？

笔记模板

• 问题分解。
• 并行粒度。
• 同步开销。
• 通信开销。
• 理论上界。
• 实际瓶颈。