Optimization

深度学习优化 · 从梯度下降、随机梯度与动量出发，讲 Adam 与 AdamW、学习率调度、初始化与归一化、μP 超参数迁移、Shampoo 与 Muon 等新一代优化器，以及大模型训练的稳定性。