MATH 6015← 课程首页

最优化轨迹实验室

本地计算 · 离线可用
LEAST SQUARES / 严格凸二次型

μ
L
f*0
A

迭代轨迹

所有方法 · 同一初始点
◎ 拖动起点拖动空白处平移 · 滚轮缩放
B

收敛速度

悬停读数 · 点击定位迭代
STEP INSPECTOR
C

数值对比

方法首次达标 k当前 / 最后 k相对目标差‖∇f‖f / ∇f / H 调用状态

D

Silver 的步长节奏

纵轴 αₖ L · 点击柱子定位该步空心圆:2ᵐ − 1 步检查点

标准序列的前 7 个倍率为 √2, 2, √2, 2 + √2, √2, 2, √2。应观察完整块的净进展,而非要求每一步下降。

PARAMETER SWEEP

把一个实验,变成一组实验。

扫描 κ,比较各方法首次达到当前精度所需的迭代数。保留当前起点、角度和算法参数。

点击曲线上的采样点,可载入对应条件数。

如何公平解读这六条曲线?

相同问题,不同信息

所有方法从相同 x₀ 出发,使用同一目标函数。GD、HB、NAG 与 Silver 主要使用梯度;CG 另有方向搜索;Newton 使用二阶信息。一步更少,不自动意味着计算更便宜。

表中“首次达标”采用左侧所选终止判据。“关闭达标即停”后,首次过线不代表后续始终达标。状态显示实际最后一点情况。

理论需要明确的前提

二维正定二次型中,精确算术的线性 CG 至多两步,Newton 全步一步。Heavy-ball 的自动参数是二次型上的最优选择,对非线性函数不承诺同样的表现。

Nesterov 使用强凸常数动量版,默认 α = 1/L、β = (√L − √μ)/(√L + √μ),初始 x₋₁ = x₀。重启模式在 ⟨yₖ − xₖ₊₁, xₖ₊₁ − xₖ⟩ > 0 时清除下一步动量。

Silver 不只是“大步长”

本页采用 Altschuler–Parrilo 的光滑凸版序列。标准倍率和有效光滑常数下,其分析在完整长度 2ᵐ − 1 的块末端给出改进的最坏情形界;这不意味着它在每个问题、每一步都更快。

指数势的 Hessian 在整个平面上无界。本页提供初始子水平集上的 L 上界;若迭代离开该集合,不能直接套用全局光滑理论。

Silver 序列原论文 ↗ · 强凸版论文 ↗

公式详解

让实验动起来

  1. 同屏调整参数。 左侧分为“问题与起点 / 算法参数 / 停止条件”。点击图例中的算法名称即可切换调参面板,无需滚动到页面下方;小屏幕使用右下角“调节参数”。
  2. 查看规范公式。 点击“放大公式”或“矩阵、梯度与 Hessian”,可查看完整分式、根号、矩阵及推导所需记号。
  3. 播放或逐步检查。 拖动进度条,查看每一步的坐标、误差、步长、动量和线搜索信息。
  4. 直接操作轨迹图。 拖动初始点;拖动空白区域平移;滚轮缩放;悬停迭代点读数,点击该点定位。按住 Alt 点击也能重设起点。
  5. 选择比较方式。 切换六宫格、误差指标、横轴和对数刻度。勾选“历史最优”查看截至每步的最小值。
  6. 保存一个对照。 固定当前结果,再改变参数。虚线代表之前的实验;不同问题的相对误差均按各自起点归一化。
  7. 做批量实验。 扫描条件数后,点击采样点载入设置;导出全部轨迹或配置以便课后分析。

数值计算在浏览器内完成,无外部库或网络依赖。极端参数下会明确标记数值溢出、停滞和未达标,不会把轨迹强行截成“收敛”。图中 ≤ 10⁻¹⁶ 的数值放在对数轴底部;CSV 保留原值。