LEAST SQUARES / 严格凸二次型
μ
L
f*0
A
迭代轨迹
所有方法 · 同一初始点
◎ 拖动起点拖动空白处平移 · 滚轮缩放
B
收敛速度
悬停读数 · 点击定位迭代
STEP INSPECTOR
C
数值对比
| 方法 | 首次达标 k | 当前 / 最后 k | 相对目标差 | ‖∇f‖ | f / ∇f / H 调用 | 状态 |
|---|
D
Silver 的步长节奏
纵轴 αₖ L · 点击柱子定位该步空心圆:2ᵐ − 1 步检查点
标准序列的前 7 个倍率为 √2, 2, √2, 2 + √2, √2, 2, √2。应观察完整块的净进展,而非要求每一步下降。
PARAMETER SWEEP
把一个实验,变成一组实验。
扫描 κ,比较各方法首次达到当前精度所需的迭代数。保留当前起点、角度和算法参数。
点击曲线上的采样点,可载入对应条件数。
如何公平解读这六条曲线?
相同问题,不同信息
所有方法从相同 x₀ 出发,使用同一目标函数。GD、HB、NAG 与 Silver 主要使用梯度;CG 另有方向搜索;Newton 使用二阶信息。一步更少,不自动意味着计算更便宜。
表中“首次达标”采用左侧所选终止判据。“关闭达标即停”后,首次过线不代表后续始终达标。状态显示实际最后一点情况。
理论需要明确的前提
二维正定二次型中,精确算术的线性 CG 至多两步,Newton 全步一步。Heavy-ball 的自动参数是二次型上的最优选择,对非线性函数不承诺同样的表现。
Nesterov 使用强凸常数动量版,默认 α = 1/L、β = (√L − √μ)/(√L + √μ),初始 x₋₁ = x₀。重启模式在 ⟨yₖ − xₖ₊₁, xₖ₊₁ − xₖ⟩ > 0 时清除下一步动量。
Silver 不只是“大步长”
本页采用 Altschuler–Parrilo 的光滑凸版序列。标准倍率和有效光滑常数下,其分析在完整长度 2ᵐ − 1 的块末端给出改进的最坏情形界;这不意味着它在每个问题、每一步都更快。
指数势的 Hessian 在整个平面上无界。本页提供初始子水平集上的 L 上界;若迭代离开该集合,不能直接套用全局光滑理论。
Silver 序列原论文 ↗ · 强凸版论文 ↗