MATH6015 / LECTURE S
一阶优化方法
频谱、动量、加速、大步长与随机优化
Jingwei Liang · MATH6015 最优化方法
课程补充讲义 · First-order optimization methods
本讲内容
两组贯穿实验分别比较确定性方法与随机方法;所有参数和随机种子在讲义末尾给出。
两条分析主线
确定性一阶方法
每次可获得完整梯度 。主要问题是 频谱、多项式和最坏情形分析提供统一语言。
随机一阶方法
每次只能获得随机估计 ,满足 计算预算、方差和步长必须同时考虑。
随机优化改变了信息模型(oracle model),不能只把它理解为“梯度法换了一个参数”。
MATH6015 / CONVEX OPTIMIZATION
01
梯度下降的频谱视角
函数类与条件数
设 可微,且 。若对任意 有 则称 。当 时,定义条件数 若最优解存在,沿用 Lecture 03 的记号
控制局部变化
梯度不可能比 所允许的速度变化得更快; 因此成为自然的步长尺度。
控制全局曲率
强凸性排除过于平坦的方向; 衡量曲率最大与曲率最小方向之间的差距。
二次型是频谱显微镜
考虑 令误差 ,梯度下降 化为
若 ,则
解释
每个特征方向独立演化。算法需要用同一个 同时处理整个谱区间 。
特征方向的衰减因子
步长的两个边界
对 -smooth 凸函数,descent lemma 给出
是标准安全尺度; 是上式中下降系数保持为正的边界,在 SPD 二次型上也正好是固定步长的谱稳定边界。
最优固定步长
在 的谱位于 时,最坏方向的误差因子为 最小化这个上包络,需要让区间两端等幅反号: 因此
含义
当 时,。即使固定步长已经最优,病态问题仍需要 次迭代。
实验 A:病态二次问题
数值比较使用 初值取 ,使每个特征方向的初始目标值贡献相同。
问题参数
所有方法从同一个 出发,每次迭代调用一次完整梯度。
比较指标
半对数坐标展示数量级;另行记录目标值是否出现暂时上升。
数据由随讲义提供的脚本生成,未使用人工平滑或手工修改曲线。
固定步长的数值比较
达到
| 923 | |
| 508 |
最优固定步长改善了最坏方向,却没有改变对 的线性依赖。
二维轨迹与锯齿
这里 ;上图横纵坐标使用相同单位长度,并只标出前 10 步。
锯齿的来源
步长接近最优固定值时,高曲率方向的因子接近 ,因而每一步都会换侧;低曲率方向仍缓慢衰减。
固定步长的结构性限制
固定步长只能选择一条一次多项式 。加速方法通过跨迭代组合,构造更有利的高阶多项式。
MATH6015 / CONVEX OPTIMIZATION
02
Heavy-ball 与 Nesterov 加速
Heavy-ball 方法
Polyak 的 heavy-ball(HB)方法加入上一步位移: 这里 表示动量系数,与 Lecture 03 回溯线搜索中的缩减因子 无关。
新增状态
HB 是二阶递推。当前位置不足以决定下一步,还需要保存上一位置或速度。
每个特征方向成为二阶系统
对 ,在特征值 对应的方向上,HB 满足 特征根由 给出。收敛要求对每个 ,两根都位于单位圆内。
实根区间
两个衰减模态叠加;参数改变根的位置和主导时间尺度。
复根区间
时出现振荡衰减;轨迹和目标值可以暂时上升。
HB 的二次型最优参数
若 且 ,经典参数为 对应的误差模态渐近收敛因子为
适用范围
这个参数公式首先是 SPD 二次型的全局结论,也是一般光滑函数在非退化极小点附近的局部线性化结论。不能直接把它解释为任意 上的统一全局加速保证。
HB 的暂态振荡
HB 的目标值最高达到初值的 倍,但随后进入明显更快的衰减阶段。
判读
非单调不等于发散;必须结合包络和最终指标判断。
参数失配的代价
对于给定 ,SPD 二次型上一个基本稳定条件是 但“稳定”只说明特征根位于单位圆内,并不说明速度接近最优。
被低估
实际最大曲率超过模型值时,高曲率方向最先失稳;动量会放大持续振荡。
被高估
动量参数过于激进,曲率最小方向的预测不再准确;暂态可能显著延长。
工程实现通常结合回溯、阻尼、restart 或在线谱估计,而不是永久固定理论参数。
Nesterov 的前瞻梯度
强凸情形的一种常用写法为
HB 在 计算梯度;Nesterov 方法在前瞻点 计算梯度。这一差异决定了证明结构和稳健性。
光滑凸情形的加速梯度
令 、。一种标准 fast gradient method(FGM)为 若 且 存在,则
复杂度变化
GD 的典型函数值界为 ;FGM 达到 。这不是常数优化,而是阶的改变。
强凸情形的常动量
若 且 ,取 典型函数值收敛因子为 其中 由初始状态决定。
梯度下降
加速梯度
HB 与 NAG 的模态递推
对特征值 ,两种方法分别给出
共同点
都使用两步记忆,把一次多项式滤波扩展为二阶递推;参数依赖曲率区间。
差别
NAG 的两个历史系数都含 ,反映梯度在前瞻点计算。
相似的代码形式不意味着相同的动力学或相同的全局保证。
确定性方法的数值比较
实验|动量与前瞻梯度改变了什么?
可交互正在准备交互图…
同样的步长与动量,为什么两种加速方法会走出不同轨迹?
速度与暂态需要同时报告
| 方法 | 达到 | 达到 | 达到 | 最大相对目标值 |
|---|---|---|---|---|
| GD, | 923 | 2864 | 5018 | 1.00 |
| GD, | 508 | 1535 | 2644 | 1.00 |
| Heavy-ball | 85 | 128 | 169 | 2.41 |
| Nesterov | 63 | 141 | 219 | 1.00 |
HB 在本例的高精度阶段最快,但有明显过冲。
Nesterov 方法前期更快,且这组参数下目标值没有超过初值。
一条曲线不能替代参数、成本和暂态信息。
Restart 与阻尼
加速方法可能因参数失配或局部几何变化出现无效振荡。常见修正包括:
函数值 restart
若 则把动量参数重置为零;下一步以 重新计算,不再沿用上一段外推状态。
梯度 restart
若 则动量方向已与下降需求不一致,可重启动量。
Restart 保留一阶计算成本,并减少对 精确估计的依赖;它改变的是算法,而不只是停止准则。
MATH6015 / CONVEX OPTIMIZATION
03
Performance Estimation Problem
经验曲线与最坏情形
一组数值实验回答 复杂度分析则希望回答
传统证明
选择若干已知不等式,逐步组合,得到一个对所有问题都成立的上界。证明中的松弛可能累积。
Performance Estimation Problem
把最坏函数、最坏初值和算法轨迹一起作为优化变量,直接最大化给定性能指标。
PEP 优化的是算法的最坏情形;它不负责求解原来的 。
PEP 的基本形式
固定函数类 、算法 、迭代次数 与初始半径 。 记 、;以最终目标残差为指标,定义
算法求解原问题
对一个固定的 ,算法希望让 尽可能小。
PEP 评估最坏情形
允许的 与初值充当“对手”,使第 步误差尽可能大。
上确界的含义
是对整个函数类都成立的最小统一上界。对本讲的光滑凸函数类, 等价于 。
有限插值条件
PEP 只需要记录 oracle transcript 一组有限数据可由某个 插值得到,当且仅当对所有 有
左侧同时包含凸性的一阶下界和两个采样点之间的函数值一致性。
右侧是光滑性带来的额外曲率约束;只写凸性会得到更大的函数类。
这一步把“所有光滑凸函数”转化为有限个代数不等式。
从内积到半正定规划
把 取为初始位移和各次梯度后,距离、梯度范数和算法更新中的内积都成为 的线性函数。因此这里讨论的固定系数一阶算法,其 PEP 可化为有限维 semidefinite program(SDP)。
Primal SDP:最坏实例
原始可行解描述一个具体轨迹,最优值给出最坏性能。
Dual SDP:统一上界
对偶权重组合出 的证明证书。
在强对偶成立时,最坏实例的性能与最小统一上界相等。
GD 的经典界与紧界
对 、 和 ,常见教材证明给出 PEP 揭示并可证明更紧的最坏情形界
| 1 | 2 | 5 | 10 | |
|---|---|---|---|---|
| 经典界 | .5000 | .2500 | .1000 | .0500 |
| 紧界 | .1667 | .1000 | .0455 | .0238 |
PEP 在这里改进的是分析常数;GD 的 阶并未改变。
一个可计算的 PEP 工作流
problem = PEP()
f = problem.declare_function(
SmoothConvexFunction, L=M)
x0 = problem.set_initial_point()
xs = f.stationary_point()
problem.set_initial_condition(
(x0 - xs) ** 2 <= R ** 2)
x = x0
for k in range(N):
x = x - (1 / M) * f.gradient(x)
problem.set_performance_metric(f(x) - f(xs))
tau_N = problem.solve()建模顺序
声明函数类;
写出初始归一化;
按原样写算法;
指定最终性能指标;
求解 SDP 并检查证书。
由有限步 PEP 得到收敛曲线
固定函数类、算法参数和归一化条件,对不同的迭代次数分别求解
数值步骤
对 重复建立并求解 SDP,记录 ,再比较候选收敛律。
收敛阶的数值诊断
| log–log 斜率 | |
| log–log 斜率 | |
| semi–log 近似直线 |
这里是在整个函数类上求有限步最坏值,而不是随机抽取测试函数;有限个 的曲线用于诊断候选收敛律,严格的全 结论仍需对偶证书或解析证明。
PEP 也可以用于方法设计
固定 时,内层 PEP 沿用 、 和 。把算法系数作为设计变量时,问题成为
外层:设计算法
选择 、 或动量系数 ,压低最坏界。
内层:评估最坏情形
固定一组系数后,PEP 在指定函数类上寻找最坏函数、初值与算法轨迹。
固定 的内层可化为 SDP;联合优化时, 与梯度或 Gram 变量发生乘积,整体通常非凸。实践中可采用外层参数搜索、内层 PEP,或针对特定方法构造专门的设计模型。
PEP 结论的边界
它能回答
给定函数类上的紧或数值紧最坏界;
一个方法的最坏实例;
对偶权重对应的证明证书;
有限时域内的参数设计。
建模时仍需判断
是否可信;
oracle 是否精确;
指标是函数值、梯度范数还是距离;
数值 SDP 的容差和对偶残差是否足够小。
PEP 的结论与所声明的函数类和信息模型同样严格,也同样有限。
MATH6015 / CONVEX OPTIMIZATION
04
大步长梯度下降
“大步长”的三种含义
| 语境 | 代表尺度 | 结论范围 |
|---|---|---|
| 标准单步尺度 | 一般 -smooth 函数;下降余量至少为 | |
| 单步下降边界 | 一般 -smooth 函数仍下降;在 SPD 二次型上等价于谱稳定 | |
| 多步协同 | 某些 | 依赖完整步长序列与全程证书;单步可上升 |
大步长策略研究的是多步组合,不能简化为“把学习率调得更大”。
本节顺序
先用二次型的多项式解释有限步协同,再介绍对一般光滑凸函数成立的 Silver stepsize schedule。
重复使用长步长会失稳
对一维二次函数 ,梯度法为
若每一步都取同一个 ,最大曲率方向必然发散。长步长加速必须依靠不同步长之间的补偿。
有限步谱滤波
对二次型使用步长序列 ,有 有限时域的理想问题为
固定步长只能使用 ,每个根都相同。
变步长允许把根分布在谱区间内,直接压低最终的最坏放大因子。
这一定义只控制 的终点值;中间前缀多项式仍可能很大。
Chebyshev 步长序列
令 二次型有限时域 minimax 多项式的根给出 其中部分步长可能远大于 。最终收缩满足
数值实现
步长的排列不改变最终多项式,却会显著改变中间放大和舍入误差。需要专门排序或使用稳定的 Chebyshev recurrence。
Silver stepsize schedule
令银比(silver ratio), 表示正整数 的 2-进赋值(2-adic valuation)。对 定义 前 15 个归一化步长为
结构
序列非单调并呈递归结构;越来越大的尖峰出现得越来越稀疏。算法仍是纯梯度下降,没有动量状态。
Silver 步长的递归尖峰
尖峰超过二次型单步稳定阈值,但整段序列具有多步下降证书。
Silver schedule 的一般光滑凸保证
设 。令 。Silver schedule 满足 进一步有 沿 这些 horizon(或在不超过目标迭代数的最近此类 horizon 停止),达到精度 所需迭代次数为
位置
该速率快于标准 GD 的 ,但仍慢于 Nesterov 加速的 。它说明仅改变步长序列也能得到严格的渐近加速。
Silver steps 的数值表现
实验 A 在 时得到
这是一个强凸二次实例;一般保证来自前页定理,而非这条曲线。
实验|长短步交替,怎样积累净进展?
可交互正在准备交互图…
为什么要看完整的 2ᵐ−1 步块,而不是要求每一步都下降?
多步证书取代逐步下降
对 -smooth 凸函数,任意两个 oracle 样本满足 长步长分析寻找非负权重 和由递归证书确定的标量 ,把多个 组合成 由于左侧非负,移项后得到
关键变化
证明不再要求每一步都下降,而是利用相隔多步的插值一致性;这正是 PEP 语言与长步长序列的连接。
长步长策略的适用边界
需要检查
的估计是否足够可靠;
目标是否满足所用函数类假设;
大中间值是否造成溢出或舍入误差;
梯度是否含噪声;
证书控制的是最终点还是最优遍历点。
不要混同
深度学习中的 edge of stability 描述非凸训练时局部 Hessian 与学习率共同演化的经验现象。它与本节光滑凸函数上的可证明长步长序列并非同一结论。
Chebyshev、Silver 与 Nesterov 都能用谱滤波理解,但保证范围和状态变量不同。
MATH6015 / CONVEX OPTIMIZATION
05
随机优化
两类随机性
随机目标
期望本身可能无法精确计算,只能从分布或数据流中抽样。
有限和的随机求解
目标是确定的,但完整梯度成本为 个样本梯度,随机抽样可降低单步成本。
本节重点使用有限和模型。若 均匀抽样,则 无偏性保证方向平均正确,却不消除单步方差。 下文仍记 ,并令 。
有限和模型的实际来源
经验风险最小化
每个 对应一个样本,常见于回归、分类和参数估计。
在流式传感、在线控制和大规模机器学习中,“一次完整遍历数据”比“更新一次参数”更适合作为计算成本单位。
随机梯度下降
stochastic gradient descent(SGD)每步只使用一个随机梯度:
单步成本
若一个样本梯度成本为 ,完整梯度约为 ,SGD 一步约为 。因此相同迭代次数并不代表相同工作量。
停止指标
训练中常同时监控 以及验证集指标(validation metric)。 随机单步损失不能替代完整目标值。
理论分析必须说明抽样方式、条件无偏性、方差假设以及步长是否依赖历史信息。
方差产生噪声地板
假设 且 ,其中 。令 。当 时,强凸光滑插值不等式给出
常步长
前期近似线性下降,随后均方距离停在 的量级;对应半径为其平方根量级。
递减步长
逐步降低噪声影响,可趋近精确最优点;后期更新也会越来越慢。
步长与平均迭代
对凸问题,若 、随机次梯度二阶矩有界为 (有约束时采用投影 SGD),平均迭代可满足典型界 取 得 。
Robbins–Monro 条件
它平衡持续移动与累计噪声。
Polyak–Ruppert 平均
平均轨迹可降低末端方差并改善统计效率。
Mini-batch 梯度
对大小为 的随机批量 ,定义 独立抽样下,若单样本方差为 ,则近似有
收益
方差下降,矩阵运算和硬件并行度提高,轨迹更平滑。
代价
每次更新处理 个样本。超过硬件或统计临界批量后,继续增大 未必减少总耗时。
比较不同 batch size 时,横轴应使用 sample-gradient evaluations 或 effective passes。
实验 B:正则化最小二乘
使用合成有限和问题
数据
的列尺度从 到 按对数变化;;随机种子为 6015。
曲率
由正规方程高精度求得。
随机方法使用 12 个独立抽样种子;实线为中位数,阴影为 10%–90% 分位区间。
常步长与递减步长 SGD
Mini-batch 与随机动量
随机动量需要单独分析
一种常见 momentum SGD 写法为
潜在收益
速度状态对高频抽样噪声进行时间平均,并可在持续方向上积累移动。
新增困难
噪声与速度状态相关;确定性 HB 的参数和收敛因子不能直接搬到随机情形。
实验 B 中,动量曲线比单样本常步长更平滑,但在等效数据成本下并未自动优于 mini-batch。算法名不能替代调参和公平比较。
SVRG 的控制变量
对 ,在 snapshot 计算完整梯度,并在内循环使用
无偏性
方差缩减
当 接近 时,两个样本梯度高度相关,其差值方差变小。
SVRG 周期性支付完整梯度成本,以换取内循环中不断减小的估计方差。
SVRG 的等效成本比较
公平比较随机方法
| 方法 | 单次更新成本 | 主要误差来源 | 合适场景 |
|---|---|---|---|
| Full GD | 个样本梯度 | 条件数 | 数据可完整遍历、需要稳定高精度 |
| SGD | 1 个样本梯度 | 抽样方差 | 数据流、大规模低到中等精度 |
| Mini-batch | 个样本梯度 | 约 | 并行硬件、希望轨迹更平滑 |
| SVRG | 周期性完整梯度 | snapshot 更新间隔 | 有限和、光滑强凸、高精度 |
至少同时报告:样本梯度调用数、batch size、步长规则、随机重复次数及分位带。壁钟时间还依赖内存、并行度和数据访问模式。
实验|梯度有噪声时,还能收敛到哪里?
可交互正在准备交互图…
固定步长的误差地板由步长和噪声方差怎样决定?
流式传感器标定
Lecture 03 的标定模型可写成样本损失 当测量 持续到达时,SGD 更新为
新的观测只触发 次向量运算,不需要重新求解全部正规方程。
若数据分布随时间变化,常步长能持续跟踪;此时噪声地板也成为响应速度与稳态误差的权衡。
MATH6015 / CONVEX OPTIMIZATION
06
延伸与方法选择
Proximal gradient 与 FISTA
若目标含非光滑正则项 proximal gradient 为
例:Lasso
的 proximal operator 是逐分量 soft-thresholding。
FISTA
把 Nesterov 型外推与 的 proximal step(或回溯线搜索)结合,在标准凸设定下得到 函数值界。
这是从“光滑一阶方法”进入复合优化的自然下一步。
实验|非光滑正则项可以精确处理
可交互正在准备交互图…
阈值区间为什么恰好把小坐标映射到零?
实验|折点附近,固定步长为何振荡?
可交互正在准备交互图…
历史最好值下降,是否意味着当前迭代也单调下降?
共轭梯度、Chebyshev 与 BB 步长
Conjugate gradient
针对 SPD 线性系统,在 Krylov 子空间中自适应构造误差多项式;不需要预先给出完整谱。
Chebyshev
根据已知谱区间预先设计 minimax 多项式;无需内积正交化,但依赖可靠的 。
Barzilai–Borwein
用最近的位移与梯度差估计标量曲率;实践中常与非单调线搜索结合。
三者都在利用曲率信息,但获取方式分别是 Krylov 正交性、谱先验和 secant 近似。
AdaGrad、Adam 与 Edge of Stability
坐标自适应
AdaGrad 以历史平方梯度构造对角度量;Adam 再加入一阶与二阶指数滑动平均。它们改变了每个坐标的有效步长。
非凸训练现象
Edge of stability 研究神经网络训练时步长与局部最大 Hessian 特征值共同演化的现象。其经验解释不能替代凸问题中的全局收敛证明。
这些主题值得单独讨论;把它们附加在 SGD 参数表后面会掩盖各自不同的理论问题。
方法地图
| 信息与结构 | 代表方法 | 主要先验 | 主要风险 |
|---|---|---|---|
| 完整梯度,光滑凸 | GD / NAG | ,强凸时还需 | 条件数、参数失配 |
| SPD 二次型 | HB / CG / Chebyshev | 谱区间或线性系统结构 | 暂态放大、有限精度 |
| 光滑凸,有限时域 | PEP / Silver schedule | 函数类和性能指标 | 证书适用范围 |
| 有限和或数据流 | SGD / mini-batch / SVRG | 无偏性、方差、数据规模 | 噪声地板、成本记账 |
| 复合非光滑 | Proximal / FISTA | proximal operator 可计算 | 单步子问题成本 |
算法选择先从信息模型和问题结构出发,再讨论步长、动量和实现细节。
本讲结论
二次型频谱把条件数、固定步长、振荡和加速放在同一动力学模型中。
Heavy-ball 与 Nesterov 都使用两步记忆,但梯度评估位置和保证范围不同。
PEP 把算法的最坏情形写成优化问题,可用于核查证明常数和设计有限时域系数。
长步长序列依赖多步补偿;单步超过 与整段最终收敛并不矛盾。
随机优化改变了信息模型(oracle model)。方差、梯度成本和抽样重复必须进入数值比较。
贯穿观点
迭代公式只描述“怎样走”;函数类、信息模型和评价指标共同决定“为什么有效”以及“比较是否公平”。
主要文献
| Polyak (1964) | Some Methods of Speeding Up the Convergence of Iteration Methods. |
| Nesterov (1983) | A Method of Solving a Convex Programming Problem with Convergence Rate . |
| Drori–Teboulle (2014) | Performance of First-Order Methods for Smooth Convex Minimization. |
| Taylor–Hendrickx–Glineur (2017) | Smooth Strongly Convex Interpolation and Exact Worst-Case Performance of First-Order Methods. |
| Goujaud et al. (2022) | PEPit: Computer-Assisted Worst-Case Analyses of First-Order Optimization Methods. |
| Altschuler–Parrilo (2023–2024) | Acceleration by Stepsize Hedging I–II. |
| Robbins–Monro (1951) | A Stochastic Approximation Method. |
| Polyak–Juditsky (1992) | Acceleration of Stochastic Approximation by Averaging. |
| Johnson–Zhang (2013) | Accelerating Stochastic Gradient Descent using Predictive Variance Reduction. |
正文各页的右下角给出对应出处;数值实验的完整参数与脚本见附录。
MATH6015 / CONVEX OPTIMIZATION
07
附录
附录:HB 参数的端点平衡
对模态 ,HB 特征多项式为 选择参数使 与 的判别式同时达到临界: 两式相减并求解得到 此时所有端点模态的根模均为 ;区间内部模态也受同一圆盘控制。
附录:强凸光滑插值条件
对 ,有限数据 可由某个 插值,当且仅当对任意 有 令 即退化为正文使用的光滑凸插值条件。该等价条件使 上固定步长一阶方法的 PEP 可写成 SDP。
附录:数值实验参数
| 实验 | 参数 | 方法参数 |
|---|---|---|
| 确定性二次型 | ; 对数均匀; | GD ;GD ;HB 经典二次参数;NAG 强凸参数;Silver |
| 二维轨迹 | ;;横纵等比例 | 展示最优固定步长 GD 的前 18 步 |
| 有限和 ridge | ;数据种子 6015; | SGD 常步 ;递减步长 ;mini-batch , ;momentum , ;SVRG 步长 、内循环 步 |
| 随机重复 | 12 个抽样种子 | 各 SGD 变体复用同一组种子流作配对比较;报告中位数及 10%–90% 分位带 |
| 成本 | 一个样本梯度为一单位 | 单位为一次 pass;SVRG outer epoch 按 计 |
所有曲线从 CSV 读取并由 PGFPlots 绘制;纵轴下限只用于显示,不修改原始数据。
附录:数据生成与重建
附录:Chebyshev 的中间放大
对实验 A 的谱区间 ,长度 的 Chebyshev 步长满足 远大于单步稳定阈值 。按根的自然顺序直接执行时,最终目标间隙约为初值的 ,但中间最大值可超过 倍。
解析结论
最终多项式只由根集合决定,与步长排列无关。
数值结论
中间前缀多项式、溢出和舍入误差高度依赖排列与实现。
因此正文把 Chebyshev 用作谱多项式原理,并用具有一般光滑凸证书的 Silver schedule 做主要长步数值比较。
附录:SGD 无偏性与 SVRG 无偏性
若 在 上均匀抽样,则 对 SVRG 估计量 条件期望为 方差缩减并不来自偏差,而来自相关差值 在两点接近时变小。
本讲回顾
带走的结构
在二次问题上,一阶方法等价于对 Hessian 谱施加多项式;条件数决定最慢特征方向。
Heavy-ball 与 Nesterov 方法利用动量改善谱区间上的收缩,但参数和函数类别决定保证。
PEP 与大步长设计把收敛分析转化为最坏情形证书;最终误差与中间稳定性都需检查。
SGD、mini-batch、随机动量和方差缩减在单步成本、噪声与精度之间作不同折中。
自测
给定谱区间 ,能否解释固定步长梯度下降为何沿不同特征方向具有不同收缩率?
面对大规模有限和问题,应怎样依据目标精度、梯度成本和方差选择全梯度、SGD、mini-batch 或方差缩减?