MATH6015 / 无约束优化

无约束优化

方向、步长、曲率与计算代价

f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Convex Optimization, Chapter 9

MATH6015 · 最优化方法1 / 119

本讲内容

导览Boyd & Vandenberghe · Chapter 9, §§9.1–9.72 / 119

MATH6015 / CONVEX OPTIMIZATION

01

前序知识与应用

MATH6015 · Lecture 033 / 119

与前序课程的连接

第 9 章将前面建立的模型与微分工具转化为可实现、可分析的数值算法。

前序知识与应用课程内部回顾;Boyd & Vandenberghe, Chapters 2–4, 6, and 94 / 119

微分与维度

对二阶连续可微函数 f : R n → R , ∇ f ( x ) ∈ R n , ∇ 2 f ( x ) ∈ S n 。

二阶 Taylor 展开与余项

f ( x + v ) = f ( x ) + ∇ f ( x ) T v + 1 2 v T ∇ 2 f ( x ) v + o ( ‖ v ‖ 2 2 ) , v → 0.

中值形式:对给定的 x , v ,存在 θ ∈ ( 0 , 1 ) ,使得

f ( x + v ) = f ( x ) + ∇ f ( x ) T v + 1 2 v T ∇ 2 f ( x + θ v ) v .

沿方向 v 的一阶变化为 d d t f ( x + t v ) | t = 0 = ∇ f ( x ) T v 。

仿射复合与维度检查

若 f ( x ) = h ( A x + b ) ,   A ∈ R m × n ,则

∇ f ( x ) = A T ∇ h ( A x + b ) , ∇ 2 f ( x ) = A T ∇ 2 h ( A x + b ) A .

两式的输出维度分别为 n 与 n × n 。

前序知识与应用Lecture 00 calculus review; Boyd & Vandenberghe, Appendix A.45 / 119

凸性与最优性

本讲直接调用的结论

在开凸定义域内,取 x ⋆ ∈ dom ⁡ f ,并令 m > 0 : f  凸且可微 : ∇ f ( x ⋆ ) = 0 ⟺ x ⋆  全局最优 , f  二阶可微 : f  凸 ⟺ ∇ 2 f ( x ) ⪰ 0 , ∇ 2 f ( x ) ⪰ m I : f  强凸;若最优点存在,则唯一。

若 m I ⪯ ∇ 2 f ( x ) ⪯ M I ,则比值 M / m 同时控制几何扁长程度与一阶方法的收敛速度。

前序知识与应用Lecture 01B, first- and second-order conditions6 / 119

已有模型如何进入本讲

01 线性模型与二次目标

标定与最小二乘、Tikhonov 正则化、输入设计、信号平滑

进入本讲:光滑凸二次函数,常带 Toeplitz 或带状结构。
求解重点:条件数、步长、Newton 一步求解、预条件与单步计算成本。

02 光滑非二次模型

稳健回归、几何规划的凸形式

进入本讲:可微罚函数之和、log-sum-exp 与仿射复合。
求解重点:下降方向、回溯线搜索、梯度与 Hessian 的数值稳定性。

03 约束模型的障碍子问题

生产计划、网络流

进入本讲:线性目标与约束,加上对数障碍。
求解重点:自协调 Newton 法与稀疏线性代数。

前序知识与应用课程内部回顾:Lectures 01–027 / 119

应用例 1:传感器标定

测量模型为 z i = c + g t i + ϵ i 。取 t = ( 0 , 1 , 2 ) 、 z = ( 1 , 2 , 2 ) ,则 A = [ 1 0 1 1 1 2 ] , b = [ 1 2 2 ] , x = [ c g ] , f ( x ) = 1 2 ‖ A x − b ‖ 2 2 .

∇ f ( x ) = A ⊤ ( A x − b ) , ∇ 2 f = A ⊤ A = [ 3 3 3 5 ] . 从 x ( 0 ) = 0 出发,Newton 方程给出 x ( 1 ) = ( A ⊤ A ) − 1 A ⊤ b = [ 7 / 6 1 / 2 ] = x ⋆ . 凸二次问题的精确 Newton 步一次到达最优点。

前序知识与应用自编数值例;延续 Lectures 01–02 的标定与最小二乘模型8 / 119

MATH6015 / CONVEX OPTIMIZATION

02

问题与基本假设

MATH6015 · Lecture 039 / 119

无约束优化

可交互
f ( z ) = 1 4 z 4 + 1 2 z 2 , ℓ x ( z ) = f ( x ) + f ′ ( x ) ( z − x ) . f ( z ) = 1 4 z 4 + 1 2 z 2 ℓ x ( z ) = f ( x ) + f ′ ( x ) ( z − x ) .

凸、二阶连续可微函数在开定义域内的最优点满足梯度为零。拖动当前点,观察切线何时变平。

正在准备交互图…

展开原讲义的推导、教材观察与静态图

基本问题

minimize x ∈ dom ⁡ f f ( x ) , 其中 dom ⁡ f ⊆ R n 为开集, f : dom ⁡ f → R 为凸、二阶连续可微函数,并假设最优解存在。

p ⋆ = f ( x ⋆ ) , x ⋆  最优   ⟺   ∇ f ( x ⋆ ) = 0 . 一般不能解析求解 n 个非线性方程 ∇ f ( x ) = 0 ,因此构造迭代序列。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

问题与基本假设Boyd & Vandenberghe · §9.1, equations (9.1)–(9.2)10 / 119

迭代序列与起点

最小化序列(minimizing sequence)

x ( 0 ) , x ( 1 ) , … ∈ dom ⁡ f , f ( x ( k ) ) ⟶ p ⋆ . 当 f ( x ( k ) ) − p ⋆ ≤ ε 时,称 x ( k ) 为 ε -次优解。

起点需满足 x ( 0 ) ∈ dom ⁡ f ,并要求初始次水平集 S = { x ∈ dom ⁡ f ∣ f ( x ) ≤ f ( x ( 0 ) ) } 闭合。若将 f 在 dom ⁡ f 外延拓为 + ∞ 后是闭函数, 该条件自动成立;特别地, dom ⁡ f = R n 且 f 连续时成立。

问题与基本假设Boyd & Vandenberghe · §9.1, equation (9.3)11 / 119

二次问题与最小二乘

凸二次函数

min x ∈ R n   1 2 x ⊤ P x + q ⊤ x + r , P ⪰ 0. 最优性条件为 P x ⋆ = − q . 若 P ≻ 0 ,解唯一且 x ⋆ = − P − 1 q ;若方程无解,问题无下界。

最小二乘是特例

min x   ‖ A x − b ‖ 2 2 , A ∈ R m × n ,   b ∈ R m . 展开后二次项为 A ⊤ A ,一阶条件给出正规方程 A ⊤ A x ⋆ = A ⊤ b .

Newton 法正是反复最小化当前位置的二次模型;二次问题因而是后续方法的基准。

问题与基本假设Boyd & Vandenberghe · §9.1.1, equation (9.4)12 / 119

非二次原型:无约束几何规划的凸形式

无约束几何规划的凸形式

f ( x ) = log ( ∑ i = 1 m exp ⁡ ( a i ⊤ x + b i ) ) , dom ⁡ f = R n . 梯度是 a i 的 softmax 加权平均;一般没有解析驻点。

问题与基本假设Boyd & Vandenberghe · §9.1.1, equations (9.5) and the preceding geometric-program example13 / 119

非二次原型:线性不等式的解析中心

线性不等式的解析中心

f ( x ) = − ∑ i = 1 m log ⁡ ( b i − a i ⊤ x ) , dom ⁡ f = { x ∣ a i ⊤ x < b i ,   i = 1 , … , m } . 靠近任一边界时 f ( x ) → + ∞ ,因此算法必须从严格可行点出发。

设 H i = { z : a i T z = b i } ,且 a i ≠ 0 。在可行侧,

dist ⁡ ( x , H i ) = b i − a i T x ‖ a i ‖ 2 .

松弛量等于“法向量长度 × 垂直距离”;只有 ‖ a i ‖ 2 = 1 时两者相同。归一化只给对数障碍增加常数,不改变解析中心。

问题与基本假设Boyd & Vandenberghe · §9.1.1, equations (9.5) and the preceding geometric-program example14 / 119

矩阵不等式的解析中心

设 F ( x ) = F 0 + x 1 F 1 + ⋯ + x n F n , F i ∈ S p . 解析中心问题为 min x   − log ⁡ det F ( x ) , dom ⁡ f = { x ∣ F ( x ) ≻ 0 } . 起点必须满足 F ( x ( 0 ) ) ≻ 0 。最小特征值趋于零时, − log ⁡ det F = − ∑ j log ⁡ λ j ( F ) 急剧增大。

变量与维度

x ∈ R n 是参数; F ( x ) ∈ S p 是矩阵输出; 正定约束控制全部 p 个特征值。

问题与基本假设Boyd & Vandenberghe · §9.1.1, equation (9.6)15 / 119

应用例 2:二维 LMI 的解析中心

考虑仿射矩阵不等式 x = ( x 1 , x 2 ) ⊤ , F ( x 1 , x 2 ) = [ 2 + x 1 x 2 x 2 2 − x 1 ] ≻ 0.

两个特征值为 2 ± x 1 2 + x 2 2 , 且 det F = 4 − x 1 2 − x 2 2 ,所以 dom ⁡ f = { x ∣ ‖ x ‖ 2 < 2 } , f ( x ) = − log ⁡ ( 4 − ‖ x ‖ 2 2 ) . 解析中心 x ⋆ = 0 同时使最小特征值与行列式最大。

问题与基本假设自编数值例;延续 Lecture 01A 的 LMI 与正定矩阵16 / 119

实验|把点推向正定锥的边界

可交互
F ( x ) = [ 2 + x 1 x 2 x 2 2 − x 1 ] , f ( x ) = − log ⁡ det F ( x ) . F ( x ) = [ 2 + x 1 x 2 x 2 2 − x 1 ] f ( x ) = − log ⁡ det F ( x ) .

正在准备交互图…

问题与基本假设讲义互动扩展 · 数值实时计算17 / 119

强凸性

可交互
∇ 2 f ⪰ m I ⟹ f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + m 2 ‖ y − x ‖ 2 2 . ∇ 2 f ⪰ m I ⟹ f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + m 2 ‖ y − x ‖ 2 2 .

一维示例: f ( z ) = 1 4 z 4 + 1 2 z 2 , m = 1 。切线与强凸二次下界随展开点实时变化。

正在准备交互图…

二次型的等高椭球沿 Hessian 特征方向的半轴与特征值平方根成反比。

展开原讲义的推导、教材观察与静态图

由于本讲的 f 为凸函数,初始次水平集 S 也是凸集。若在 S 上存在 m > 0 使 ∇ 2 f ( x ) ⪰ m I , x ∈ S , 则 f 在 S 上强凸。由 Taylor 展开得到 ( 9.8 ) f ( y ) ≥ f ( x ) + ∇ f ( x ) ⊤ ( y − x ) + m 2 ‖ y − x ‖ 2 2 . 与普通凸性的一阶下界相比,多出的二次项给出可量化的曲率。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

问题与基本假设Boyd & Vandenberghe · §9.1.2, equations (9.7)–(9.8); exact one-dimensional illustration18 / 119

梯度给出的次优性界

对固定 x ,式 (9.8) 的右端关于 y 是凸二次函数,在 y ~ = x − 1 m ∇ f ( x ) 处取最小值。因此,对任意 y ∈ S , f ( y ) ≥ f ( x ) + ∇ f ( x ) ⊤ ( y − x ) + m 2 ‖ y − x ‖ 2 2 ≥ f ( x ) − 1 2 m ‖ ∇ f ( x ) ‖ 2 2 . 令 y = x ⋆ ,得到   f ( x ) − p ⋆ ≤ 1 2 m ‖ ∇ f ( x ) ‖ 2 2   . 于是 ‖ ∇ f ( x ) ‖ 2 ≤ 2 m ε ⟹ f ( x ) − p ⋆ ≤ ε .

问题与基本假设Boyd & Vandenberghe · §9.1.2, equations (9.9)–(9.10)19 / 119

距离界与唯一性

将强凸下界用于 y = x ⋆ : p ⋆ ≥ f ( x ) + ∇ f ( x ) ⊤ ( x ⋆ − x ) + m 2 ‖ x ⋆ − x ‖ 2 2 . 结合 p ⋆ ≤ f ( x ) 与 Cauchy–Schwarz 不等式,得到 ( 9.11 )   ‖ x − x ⋆ ‖ 2 ≤ 2 m ‖ ∇ f ( x ) ‖ 2   .

解释

梯度小不仅意味着目标值接近最优,也限制了变量离最优点的距离。

推论

若存在两个最优点,将任一个代入距离界都得到二者距离为零;故强凸问题的最优解唯一。

问题与基本假设Boyd & Vandenberghe · §9.1.2, equation (9.11)20 / 119

Hessian 的双侧界

强凸性使 S 有界; ∇ 2 f 连续,因此存在 M < ∞ 使 ( 9.15 ) m I ⪯ ∇ 2 f ( x ) ⪯ M I , x ∈ S . 相应地,对 x , y ∈ S , f ( x ) + ∇ f ( x ) ⊤ ( y − x ) + m 2 ‖ y − x ‖ 2 2 ≤ f ( y ) ≤ f ( x ) + ∇ f ( x ) ⊤ ( y − x ) + M 2 ‖ y − x ‖ 2 2 . 最小化上界还得到 f ( x ) − 1 2 M ‖ ∇ f ( x ) ‖ 2 2 ≥ p ⋆ .

后续用途

m 控制“至少有多弯”, M 控制“至多有多弯”;二者共同决定一阶方法的收敛速度。

问题与基本假设Boyd & Vandenberghe · §9.1.2, equations (9.12)–(9.15)21 / 119

条件数的几何含义

若 m I ⪯ ∇ 2 f ( x ) ⪯ M I ,则 Hessian 条件数至多为 κ = M m . 对有界、满维凸集 C ,定义方向 q ( ‖ q ‖ 2 = 1 )上的宽度 W ( C , q ) = sup z ∈ C q ⊤ z − inf z ∈ C q ⊤ z . 集合条件数为 cond ⁡ ( C ) = W max 2 W min 2 .

问题与基本假设Boyd & Vandenberghe · §9.1.2, condition number of sublevel sets22 / 119

例 9.1:椭球的条件数

可交互
E = { x : ( x − x 0 ) T A − 1 ( x − x 0 ) ≤ 1 } , a i = λ i ( A ) . E = { x : ( x − x 0 ) T A − 1 ( x − x 0 ) ≤ 1 } a i = λ i ( A ) .

沿同一特征方向, A 与 A − 1 的特征值互为倒数。调整两个特征值,直接观察长短轴怎样改变。

正在准备交互图…

展开原讲义的推导、教材观察与静态图

设 E = { x ∣ ( x − x 0 ) ⊤ A − 1 ( x − x 0 ) ≤ 1 } , A ∈ S + + n . 沿单位方向 q 的宽度为 W ( E , q ) = 2 ‖ A 1 / 2 q ‖ 2 . 因此 W min = 2 λ min ( A ) , W max = 2 λ max ( A ) ,   cond ⁡ ( E ) = λ max ( A ) λ min ( A ) = κ ( A )   .

关系

矩阵 A 的谱条件数与它所定义椭球的几何偏心程度完全一致。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

问题与基本假设Boyd & Vandenberghe · §9.1.2, Example 9.123 / 119

应用例 3:岭回归改善条件数

可交互
f λ ( x ) = 1 2 ‖ A x − b ‖ 2 2 + λ 2 ‖ x ‖ 2 2 , A = diag ⁡ ( 0.1 , 1 ) . f λ ( x ) = 1 2 ‖ A x − b ‖ 2 2 + λ 2 ‖ x ‖ 2 2 A = diag ⁡ ( 0.1 , 1 ) .

岭回归在最小二乘目标上加入二次正则项;Hessian 为 ∇ 2 f λ = diag ⁡ ( 0.01 + λ , 1 + λ )

正在准备交互图…

展开原讲义的推导、教材观察与静态图

延续 Lecture 02 的 Tikhonov 正则化。令 A = [ 1 0 0 0.1 ] , f λ ( x ) = 1 2 ‖ A x − b ‖ 2 2 + λ 2 ‖ x ‖ 2 2 .

未正则化: λ = 0

∇ 2 f 0 = A ⊤ A = [ 1 0 0 0.01 ] , κ ( ∇ 2 f 0 ) = 100. 低敏感方向的曲率很小,梯度法容易产生狭长锯齿路径。

加入正则化: λ = 0.1

∇ 2 f 0.1 = A ⊤ A + 0.1 I = [ 1.1 0 0 0.11 ] , κ ( ∇ 2 f 0.1 ) = 10. 正则化同时改变估计偏差与数值条件;二者需要共同权衡。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

问题与基本假设自编数值例;延续 Lecture 02 的 Tikhonov regularization24 / 119

次水平集的球夹逼

对 p ⋆ < α ≤ f ( x ( 0 ) ) ,令 C α = { y ∈ dom ⁡ f ∣ f ( y ) ≤ α } . 在最优点 x ⋆ 处应用上下二次界: p ⋆ + m 2 ‖ y − x ⋆ ‖ 2 2 ≤ f ( y ) ≤ p ⋆ + M 2 ‖ y − x ⋆ ‖ 2 2 . 于是 B i n ⊆ C α ⊆ B o u t , 两球半径分别为 r i n = 2 ( α − p ⋆ ) M , r o u t = 2 ( α − p ⋆ ) m .

cond ⁡ ( C α ) ≤ M m .

问题与基本假设Boyd & Vandenberghe · §9.1.2, sublevel-set conditioning; qualitative redraw25 / 119

理论常数的局限

理论上

给定 m , M 可证明:

  • 小梯度对应小次优性;

  • 梯度法至少线性收敛;

  • 条件数 M / m 影响迭代次数。

实际中

m , M 往往未知,因此 ‖ ∇ f ( x ) ‖ 2 ≤ 2 m ε 通常不能直接作为可验证的精确停止准则。

问题与基本假设Boyd & Vandenberghe · §9.1.2, “The strong convexity constants”26 / 119

MATH6015 / CONVEX OPTIMIZATION

03

下降方法与线搜索

MATH6015 · Lecture 0327 / 119

方向与步长

下降方法按 x ( k + 1 ) = x ( k ) + t ( k ) Δ x ( k ) , t ( k ) > 0 更新。

  • Δ x ( k ) ∈ R n :搜索方向(search direction);

  • t ( k ) :步长(step size);

  • 实际位移为 t ( k ) Δ x ( k ) ,其欧氏长度一般不等于 t ( k ) 。

下降性质

除最优点外,要求 f ( x ( k + 1 ) ) < f ( x ( k ) ) ,故全部迭代点留在初始次水平集 S 内。

下降方法与线搜索Boyd & Vandenberghe · §9.228 / 119

下降方向

由凸性, f ( y ) ≥ f ( x ) + ∇ f ( x ) ⊤ ( y − x ) . 要使足够小的正步长产生下降,搜索方向必须满足   ∇ f ( x ) ⊤ Δ x < 0   . 这等价于 Δ x 与负梯度 − ∇ f ( x ) 的夹角小于 90 ∘ 。

边界情形

若内积为零,方向是一阶切向方向;一阶模型不能保证严格下降。

下降方法与线搜索Boyd & Vandenberghe · §9.2, descent direction29 / 119

一般下降方法

Algorithm 9.1

给定 x ∈ dom ⁡ f ,重复:

  1. 选择下降方向 Δ x ,满足 ∇ f ( x ) ⊤ Δ x < 0 ;

  2. 通过线搜索选择步长 t > 0 ;

  3. 更新 x ← x + t Δ x ;

  4. 检查停止准则。

思考:不同算法的核心差别分别落在“方向”和“步长”的哪一部分?

下降方法与线搜索Boyd & Vandenberghe · §9.2, Algorithm 9.130 / 119

精确线搜索

固定当前位置与方向,将高维目标限制在定义域内的射线上: T = { t ≥ 0 ∣ x + t Δ x ∈ dom ⁡ f } , ϕ ( t ) = f ( x + t Δ x ) , t ∈ T . 若最小值能够达到,精确线搜索(exact line search)取 ( 9.16 ) t e x a c t ∈ argmin s ∈ T   f ( x + s Δ x ) .

适用于一维子问题便宜或存在解析解的情形;§9.7.1 讨论如何预计算以降低代价。

下降方法与线搜索Boyd & Vandenberghe · §9.2, equation (9.16)31 / 119

回溯线搜索

Algorithm 9.2

给定下降方向 Δ x ,参数 0 < α < 1 / 2 、 0 < β < 1 :

  1. 令 t ← 1 ;

  2. 当 x + t Δ x ∉ dom ⁡ f ,或 f ( x + t Δ x ) > f ( x ) + α t ∇ f ( x ) ⊤ Δ x 时,令 t ← β t ;

  3. 返回第一个满足充分下降条件的 t 。

下降方法与线搜索Boyd & Vandenberghe · §9.2, Algorithm 9.232 / 119

Armijo 充分下降条件

令 ϕ ( t ) = f ( x + t Δ x ) , ϕ ′ ( 0 ) = ∇ f ( x ) ⊤ Δ x < 0. 线性预测为 ϕ ( 0 ) + t ϕ ′ ( 0 ) ,回溯仅要求达到其中 α 比例: ϕ ( t ) ≤ ϕ ( 0 ) + α t ϕ ′ ( 0 ) . 图中取 α = 0.35 ,   β = 0.7 。步长 1 , β , β 2 依次测试;前两个被拒绝, β 2 被接受。

下降方法与线搜索Boyd & Vandenberghe · §9.2, Figure 9.1; qualitative redraw33 / 119

实验|在式 (9.20) 上展开一次回溯

可交互
f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

正在准备交互图…

下降方法与线搜索讲义互动扩展 · 数值实时计算34 / 119

应用例 4:稳健位置估计

用一个常数 x 拟合三个观测 y = ( 0 , 1 , 8 ) ;第三个观测是离群点。比较 f L S ( x ) = 1 2 ∑ i = 1 3 ( x − y i ) 2 , f H ( x ) = ∑ i = 1 3 ϕ 1 ( x − y i ) , 其中 ϕ 1 ( r ) = 1 2 r 2 ( | r | ≤ 1 ),否则 ϕ 1 ( r ) = | r | − 1 2 。

平方损失 x L S ⋆ = 3 , f L S ′ ( 0 ) = − 9. 若取方向 d = − f ′ ( 0 ) = 9 ,精确线搜索返回 t ⋆ = 1 / 3 。 平方损失中,单个样本的梯度贡献随残差线性增长。

Huber 损失 x H ⋆ = 1 , f H ′ ( 0 ) = − 2. 此时 d = 2 ,精确线搜索返回 t ⋆ = 1 / 2 ;大残差的导数被限制在 [ − 1 , 1 ] 。

Huber 损失为 C 1 但并非处处 C 2 。梯度法与线搜索仍可使用;标准 Newton 分析需平滑近似或广义 Hessian。

下降方法与线搜索自编数值例;延续 Lecture 02 的 robust regression35 / 119

回溯为何终止

由于 Δ x 是下降方向, f ( x + t Δ x ) = f ( x ) + t ∇ f ( x ) ⊤ Δ x + o ( t ) . 当 t > 0 足够小时,且 0 < α < 1 ,必有 f ( x + t Δ x ) < f ( x ) + α t ∇ f ( x ) ⊤ Δ x . 因此回溯在有限次缩步后终止。若满足条件的步长区间是 ( 0 , t 0 ] ,返回值满足 t = 1 或 t ∈ ( β t 0 , t 0 ] , t ≥ min { 1 , β t 0 } .

有边界的定义域

先缩步直到 x + t Δ x ∈ dom ⁡ f ,再检验充分下降。

常用参数

教材建议 α ∈ [ 0.01 , 0.3 ] , β ∈ [ 0.1 , 0.8 ] 。

下降方法与线搜索Boyd & Vandenberghe · §9.2, backtracking-line-search discussion36 / 119

应用例 5:物流容量与回溯

可交互
f ( x ) = 1 2 x 2 + 0.1 ( 10 − x ) 2 − 0.2 log ⁡ ( x − 2 ) − 0.2 log ⁡ ( 8 − x ) , 2 < x < 8. f ( x ) = 1 2 x 2 + 0.1 ( 10 − x ) 2 − 0.2 log ⁡ ( x − 2 ) − 0.2 log ⁡ ( 8 − x ) , 2 < x < 8.

正在准备交互图…

展开原讲义的推导、教材观察与静态图

总需求为 10 ,两条并行线路的流量分别为 x 与 10 − x ,且容量均为 8 ,故 严格可行域为 2 < x < 8 。以障碍参数 μ = 0.2 构造 f μ ( x ) = 1 2 x 2 + 0.1 ( 10 − x ) 2 − 0.2 log ⁡ ( x − 2 ) − 0.2 log ⁡ ( 8 − x ) . 在 x ( 0 ) = 2.3 处, f μ ′ ( x ( 0 ) ) = 0.1284 。取下降方向 d = − 1 , α = 0.1 、 β = 0.5 。

先检查定义域

t = 1 与 t = 0.5 分别给出 x = 1.3 , 1.8 ,跨过容量边界 x = 2 ,无需评价对数项,直接缩步。

再检查 Armijo 条件

t = 0.25 , 0.125 , 0.0625 均可行但下降不足; t = 0.03125 首次满足充分下降条件。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

下降方法与线搜索自编数值例;容量约束用于区分定义域检查与 Armijo 检查37 / 119

MATH6015 / CONVEX OPTIMIZATION

04

梯度下降法

MATH6015 · Lecture 0338 / 119

梯度法

欧氏范数下最自然的方向是负梯度: Δ x = − ∇ f ( x ) , ∇ f ( x ) ⊤ Δ x = − ‖ ∇ f ( x ) ‖ 2 2 . 当 ∇ f ( x ) ≠ 0 时该内积严格为负;若梯度为零,则已满足驻点停止条件。

Algorithm 9.3

给定 x ∈ dom ⁡ f ,重复:

  1. Δ x ← − ∇ f ( x ) ;

  2. 用精确或回溯线搜索选择 t ;

  3. x ← x + t Δ x ;

  4. 当 ‖ ∇ f ( x ) ‖ 2 ≤ η 时停止。

梯度下降法Boyd & Vandenberghe · §9.3, Algorithm 9.339 / 119

应用例 6:信号平滑的一步更新

可交互
f ( x ) = 1 2 ‖ x − y ‖ 2 2 + λ 2 ( D x ) 2 , y = ( 0 , 1 , 0 ) T , D = ( 1 , − 2 , 1 ) . f ( x ) = 1 2 ‖ x − y ‖ 2 2 + λ 2 ( D x ) 2 y = ( 0 , 1 , 0 ) T D = ( 1 , − 2 , 1 ) .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

Lecture 02 的二次平滑在三个采样点上的最小模型为 f ( x ) = 1 2 ‖ x − y ‖ 2 2 + λ 2 ‖ D x ‖ 2 2 , y = [ 0 1 0 ] , D = [ 1 − 2 1 ] , λ = 1 4 .

从观测本身 x ( 0 ) = y 出发,

∇ f ( x ( 0 ) ) = λ D ⊤ D y = [ − 0.5 1 − 0.5 ] . 取 t = 0.4 ,得到 x ( 1 ) = x ( 0 ) − t ∇ f ( x ( 0 ) ) = [ 0.2 0.6 0.2 ] , 且 f ( x ( 0 ) ) = 0.50 降至 f ( x ( 1 ) ) = 0.20 。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

梯度下降法自编数值例;延续 Lecture 02 的 quadratic smoothing40 / 119

沿负梯度的二次上界

假设 m I ⪯ ∇ 2 f ( x ) ⪯ M I 于 S ,并令 f ~ ( t ) = f ( x − t ∇ f ( x ) ) . 由 Hessian 上界, ( 9.17 ) f ~ ( t ) ≤ f ( x ) − t ‖ ∇ f ( x ) ‖ 2 2 + M t 2 2 ‖ ∇ f ( x ) ‖ 2 2 . 右端关于 t 的二次函数在 t = 1 / M 处最小,因此精确线搜索至少达到 f ( x + ) ≤ f ( x ) − 1 2 M ‖ ∇ f ( x ) ‖ 2 2 .

梯度下降法Boyd & Vandenberghe · §9.3.1, equation (9.17)41 / 119

精确线搜索的线性收敛

由强凸性得到 ‖ ∇ f ( x ) ‖ 2 2 ≥ 2 m ( f ( x ) − p ⋆ ) . 代入单步下降界: f ( x + ) − p ⋆ ≤ ( 1 − m M ) ( f ( x ) − p ⋆ ) . 递推可得 ( 9.18 )   f ( x ( k ) ) − p ⋆ ≤ c k ( f ( x ( 0 ) ) − p ⋆ ) , c = 1 − m M < 1.   达到 ε -次优所需迭代次数满足 ( 9.19 ) k ≥ log ⁡ ( ( f ( x ( 0 ) ) − p ⋆ ) / ε ) log ⁡ ( 1 / c ) . 当 M / m 很大时, log ⁡ ( 1 / c ) ≈ m / M ,迭代次数随条件数近似线性增长。

梯度下降法Boyd & Vandenberghe · §9.3.1, equations (9.18)–(9.19)42 / 119

回溯线搜索的收敛界

当 0 ≤ t ≤ 1 / M 时,式 (9.17) 给出 f ~ ( t ) ≤ f ( x ) − t 2 ‖ ∇ f ( x ) ‖ 2 2 ≤ f ( x ) − α t ‖ ∇ f ( x ) ‖ 2 2 . 因此回溯返回 t = 1 或 t ≥ β M , 并且 f ( x + ) ≤ f ( x ) − min { α , α β M } ‖ ∇ f ( x ) ‖ 2 2 . 结合强凸性: f ( x ( k ) ) − p ⋆ ≤ c k ( f ( x ( 0 ) ) − p ⋆ ) , c = 1 − min { 2 m α , 2 α β m M } < 1. 回溯仍保证线性收敛,条件数仍进入收敛因子。

梯度下降法Boyd & Vandenberghe · §9.3.1, backtracking-line-search analysis43 / 119

条件数与锯齿

同一欧氏梯度规则的两种几何

等高线接近圆时,负梯度直接指向中心;狭长等高线使方向在陡峭轴两侧来回切换,沿平缓轴推进很慢。

梯度下降法Boyd & Vandenberghe · §9.3.2, Figures 9.2 and 9.7–9.8; qualitative redraw44 / 119

二维二次问题

考虑 f ( x 1 , x 2 ) = 1 2 ( x 1 2 + γ x 2 2 ) , x ( 0 ) = ( γ , 1 ) , γ > 0. 最优点为 0 ,条件数为 κ = max { 1 , γ } min { 1 , γ } = max { γ , 1 / γ } . 采用精确线搜索时,教材给出闭式迭代: x 1 ( k ) = γ ( γ − 1 γ + 1 ) k , x 2 ( k ) = ( − γ − 1 γ + 1 ) k , f ( x ( k ) ) = ( γ − 1 γ + 1 ) 2 k f ( x ( 0 ) ) . 当 γ = 1 时一步到达;当 γ ≫ 1 或 γ ≪ 1 时收敛显著变慢。

梯度下降法Boyd & Vandenberghe · §9.3.2, quadratic problem in $\R^2$, Figure 9.245 / 119

实验|条件数怎样改变锯齿与速度?

可交互
f ( x ) = 1 2 ( x 1 2 + γ x 2 2 ) , x ( 0 ) = ( γ , 1 ) , t k = 2 1 + γ . f ( x ) = 1 2 ( x 1 2 + γ x 2 2 ) x ( 0 ) = ( γ , 1 ) t k = 2 1 + γ .

正在准备交互图…

梯度下降法讲义互动扩展 · 数值实时计算46 / 119

非二次二维例子

可交互
f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

教材考虑 ( 9.20 ) f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

回溯线搜索: α = 0.1 ,   β = 0.7 。

精确线搜索。

同一起点下,两种方法都近似线性收敛;精确线搜索更快,但每步的一维优化代价也更高。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

梯度下降法Boyd & Vandenberghe · §9.3.2, equation (9.20), Figures 9.3 and 9.5; trajectories redrawn from the textbook example47 / 119

精确与回溯的误差比较

可交互
f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

对于式 (9.20):

  • 回溯线搜索约 20 步将误差从 10 降至 10 − 7 ,平均每步乘约 0.4 ;

  • 精确线搜索约 15 步下降约 10 − 11 ,平均每步乘约 0.2 ;

  • 半对数图上近似直线,对应近似几何级数衰减。

判断

精确线搜索减少迭代次数,但实际总耗时还取决于每次线搜索的计算量。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

梯度下降法Boyd & Vandenberghe · §9.3.2, Figure 9.4; qualitative reconstruction48 / 119

一百维例子与参数影响

教材的 n = 100 , m = 500 例子为 ( 9.21 ) f ( x ) = c ⊤ x − ∑ i = 1 m log ⁡ ( b i − a i ⊤ x ) .

收敛现象

  • 回溯:约 175 次迭代下降 10 6 ;

  • 精确:约 140 次迭代;

  • 后期比前期慢,反映局部条件数改变。

参数实验

达到 10 − 5 精度时:

  • 固定 β = 0.5 ,较大的 α ∈ [ 0.2 , 0.5 ] 通常更好;

  • 固定 α = 0.1 , β ≈ 0.5 表现较好;

  • 参数影响通常在约两倍范围内。

梯度下降法Boyd & Vandenberghe · §9.3.2, equation (9.21), Figure 9.649 / 119

坐标缩放会改变梯度法

令 x = T x ¯ ,其中 T = diag ⁡ ( 1 , γ 1 / n , γ 2 / n , … , γ ( n − 1 ) / n ) . 则式 (9.21) 变为 ( 9.22 ) f ¯ ( x ¯ ) = c ⊤ T x ¯ − ∑ i = 1 m log ⁡ ( b i − a i ⊤ T x ¯ ) .

教材实验中,对角缩放达到 10 : 1 时迭代次数已超过 10 3 ; γ 很大或很小时,迭代数与最优点 Hessian 条件数呈相似变化。

梯度下降法Boyd & Vandenberghe · §9.3.2, equation (9.22), Figures 9.7–9.850 / 119

梯度法的结论

收敛形态

误差通常近似按几何级数下降,即半对数图上接近直线。

线搜索

精确线搜索常有改善,但相对回溯的收益通常有限。

主要瓶颈

收敛速度对 Hessian 或次水平集的条件数十分敏感。

梯度下降法Boyd & Vandenberghe · §9.3.2, “Conclusions”51 / 119

MATH6015 / CONVEX OPTIMIZATION

05

一般范数下的最速下降

MATH6015 · Lecture 0352 / 119

最陡取决于度量

一阶模型为 f ( x + v ) ≈ f ( x ) + ∇ f ( x ) ⊤ v . 若不限制 v 的大小,线性项可任意负。给定任意范数 ‖ ⋅ ‖ ,定义 ( 9.23 ) Δ x n s d = argmin ‖ v ‖ ≤ 1   ∇ f ( x ) ⊤ v .

单位球决定允许方向

最优点是单位球在 − ∇ f ( x ) 方向上的支撑点;不同范数的单位球不同,因而“最陡”的方向不同。

对偶范数给出最优值

min ‖ v ‖ ≤ 1 ∇ f ( x ) ⊤ v = − ‖ ∇ f ( x ) ‖ ∗ .

一般范数下的最速下降Boyd & Vandenberghe · §9.4, equation (9.23)53 / 119

单位球的支撑点

两图中的梯度相同;单位球改变后,支撑点及最速下降方向随之改变。

一般范数下的最速下降Boyd & Vandenberghe · §9.4, Figures 9.9–9.10; qualitative redraw54 / 119

实验|范数球上的支撑点

可交互

拖动线性目标向量,比较不同单位球的接触点;取相反方向,就得到归一化最速下降方向。

正在准备交互图…

一般范数下的最速下降讲义互动扩展 · 数值实时计算55 / 119

最速下降步

将归一化方向按对偶范数缩放: ( 9.24 ) Δ x s d = ‖ ∇ f ( x ) ‖ ∗ Δ x n s d . 它满足 ∇ f ( x ) ⊤ Δ x s d = − ‖ ∇ f ( x ) ‖ ∗ 2 .

Algorithm 9.4

给定 x ∈ dom ⁡ f ,重复:

  1. 计算所选范数下的 Δ x s d ;

  2. 通过精确或回溯线搜索选择 t ;

  3. 更新 x ← x + t Δ x s d ;

  4. 检查停止准则。

精确线搜索下,方向的正比例缩放不会改变射线,因此归一化与否不影响下一迭代点。

一般范数下的最速下降Boyd & Vandenberghe · §9.4, equation (9.24), Algorithm 9.456 / 119

欧氏范数与二次范数

欧氏范数

当 ‖ v ‖ = ‖ v ‖ 2 时, Δ x s d = − ∇ f ( x ) , 即普通梯度下降。

二次范数

对 P ∈ S + + n , ‖ z ‖ P = ( z ⊤ P z ) 1 / 2 , ‖ z ‖ ∗ = ‖ P − 1 / 2 z ‖ 2 . 相应最速下降步为 ( 9.25 )   Δ x s d = − P − 1 ∇ f ( x )   .

当 P 近似目标函数的局部曲率时, P − 1 使高曲率方向步长缩小、低曲率方向步长放大;这就是预条件(preconditioning)。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.1, equation (9.25)57 / 119

坐标变换的解释

令 x ¯ = P 1 / 2 x , f ¯ ( x ¯ ) = f ( P − 1 / 2 x ¯ ) . 在新坐标中做欧氏梯度下降: Δ x ¯ = − ∇ f ¯ ( x ¯ ) = − P − 1 / 2 ∇ f ( x ) . 映回原坐标得到 Δ x = P − 1 / 2 Δ x ¯ = − P − 1 ∇ f ( x ) .

一般范数下的最速下降Boyd & Vandenberghe · §9.4.1, “Interpretation via change of coordinates”58 / 119

ℓ 1 范数与坐标下降

设 i 满足 ‖ ∇ f ( x ) ‖ ∞ = | ∂ f ( x ) ∂ x i | . 则 ℓ 1 单位球上的最速下降方向可取 Δ x n s d = − sign ( ∂ f ∂ x i ) e i , 非归一化步为 Δ x s d = − ∂ f ( x ) ∂ x i e i .

每次只更新梯度绝对值最大的一个坐标,因此线搜索可显著简化,甚至得到解析更新; 这给出采用 Gauss–Southwell 选坐标规则的一种坐标下降法。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.2, Figure 9.10; qualitative redraw59 / 119

应用例 7:多特征回归的坐标选择 · 欧氏方向

设一次回归迭代得到三个系数方向上的梯度 ∇ f ( x ) = [ 4 − 1 2 ] ⊤ .

欧氏度量

Δ x n s d ( 2 ) = − 1 21 [ 4 − 1 2 ] . 三个回归系数同时变化;方向与坐标系的量纲直接相关。

一般范数下的最速下降自编数值例;与 Lecture 02 的 regression variable selection 对照60 / 119

应用例 7:多特征回归的坐标选择 · 坐标方向

设一次回归迭代得到三个系数方向上的梯度 ∇ f ( x ) = [ 4 − 1 2 ] ⊤ .

ℓ 1 度量

‖ ∇ f ‖ ∞ = 4 , Δ x n s d ( 1 ) = [ − 1 0 0 ] . 当前只更新第一个系数;随后对该坐标做一维线搜索。

思考:若特征的物理量纲不同,直接比较 | ∂ f / ∂ x i | 是否公平?

一般范数下的最速下降自编数值例;与 Lecture 02 的 regression variable selection 对照61 / 119

例 9.2:Frobenius 范数缩放

教材从矩阵缩放问题出发: min d > 0   ∑ i , j = 1 n M i j 2 d i 2 d j 2 . 作变量代换 x i = 2 log ⁡ d i ,等价为 min x   f ( x ) = log ( ∑ i , j = 1 n M i j 2 e x i − x j ) . 固定其余分量时, f ( x ) = log ⁡ ( α k + β k e − x k + γ k e x k ) , 一维最优解为   x k ← 1 2 log ⁡ β k γ k   .

ℓ 1 -最速下降的三步

计算梯度;选择 | ( ∇ f ) k | = ‖ ∇ f ‖ ∞ ;用上式对第 k 个坐标做精确线搜索。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.2, Example 9.262 / 119

一般范数下的收敛

任意范数与欧氏范数等价,存在 γ , γ ~ ∈ ( 0 , 1 ] 使 ‖ z ‖ ≥ γ ‖ z ‖ 2 , ‖ z ‖ ∗ ≥ γ ~ ‖ z ‖ 2 . 沿最速下降方向有 ( 9.26 ) f ( x + t Δ x s d ) ≤ f ( x ) − t ‖ ∇ f ( x ) ‖ ∗ 2 + M t 2 2 γ 2 ‖ ∇ f ( x ) ‖ ∗ 2 . 回溯返回 t ≥ min { 1 , β γ 2 / M } ,因而 f ( x + ) − p ⋆ ≤ c ( f ( x ) − p ⋆ ) , c = 1 − 2 m α γ ~ 2 min { 1 , β γ 2 / M } < 1. 改变范数不会破坏线性收敛,但会显著改变收敛常数。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.3, equations (9.26)–(9.27)63 / 119

如何选择二次度量

若知道最优点 Hessian 的正定近似 H ^ ≻ 0 、 H ^ ≈ ∇ 2 f ( x ⋆ ) ,取 P = H ^ 可使变换后最优点附近的 Hessian H ^ − 1 / 2 ∇ 2 f ( x ⋆ ) H ^ − 1 / 2 ≈ I .

一般范数下的最速下降Boyd & Vandenberghe · §9.4.4, choice of norm for steepest descent; qualitative redraw64 / 119

P 1 与 P 2 的路径

可交互
Δ x = − P − 1 ∇ f ( x ) , P 1 = diag ⁡ ( 2 , 8 ) , P 2 = diag ⁡ ( 8 , 2 ) . Δ x = − P − 1 ∇ f ( x ) P 1 = diag ⁡ ( 2 , 8 ) P 2 = diag ⁡ ( 8 , 2 ) .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

对式 (9.20),教材比较 P 1 = [ 2 0 0 8 ] , P 2 = [ 8 0 0 2 ] , α = 0.1 ,   β = 0.7 .

P 1 :度量与次水平集较匹配。

P 2 :度量方向失配,路径明显变慢。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.4, Figures 9.11–9.12; reconstruction of textbook example65 / 119

变换后的条件数:调节 P ,同时观察轨迹与收敛

可交互
P = diag ⁡ ( 2 , q ) , z = P 1 / 2 x , H ~ = P − 1 / 2 ∇ 2 f ( x ⋆ ) P − 1 / 2 . P = diag ⁡ ( 2 , q ) z = P 1 / 2 x H ~ = P − 1 / 2 ∇ 2 f ( x ⋆ ) P − 1 / 2 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

P 1 1 / 2 x :次水平集更接近圆。

P 2 1 / 2 x :次水平集更加狭长。

误差曲线显示 P 1 快、 P 2 慢。

预条件的目标

选择 P 的实质,是让变换后的问题具有较温和的条件数;同一目标函数可以因度量不同而表现出完全不同的迭代速度。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

一般范数下的最速下降Boyd & Vandenberghe · §9.4.4, Figures 9.13–9.15; reconstruction of textbook example66 / 119

MATH6015 / CONVEX OPTIMIZATION

06

Newton 法

MATH6015 · Lecture 0367 / 119

Newton 步

假设当前位置的 Hessian 满足 ∇ 2 f ( x ) ≻ 0 。在 x 处用二阶模型近似 f : ( 9.28 ) f ^ ( x + v ) = f ( x ) + ∇ f ( x ) ⊤ v + 1 2 v ⊤ ∇ 2 f ( x ) v . 该模型的极小点满足 ∇ 2 f ( x ) v = − ∇ f ( x ) , 因此   Δ x n t = − ∇ 2 f ( x ) − 1 ∇ f ( x )   .

下降性

当 ∇ 2 f ( x ) ≻ 0 且梯度非零时, ∇ f ( x ) ⊤ Δ x n t < 0.

二次函数

若 f 本身是严格凸二次函数,二阶模型精确,完整 Newton 步一步到达最优点。

Newton 法Boyd & Vandenberghe · §9.5.1, equation (9.28)68 / 119

应用例 8:逻辑回归的 Newton 步

可交互
f ( w ) = ∑ i = 1 4 log ⁡ ( 1 + e − y i a i w ) + λ 2 w 2 , y i a i = ( 2 , 1 , 1 , 2 ) . f ( w ) = ∑ i = 1 4 log ⁡ ( 1 + e − y i a i w ) + λ 2 w 2 y i a i = ( 2 , 1 , 1 , 2 ) .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

考虑一维带 ℓ 2 正则的逻辑回归: a = ( − 2 , − 1 , 1 , 2 ) , y = ( − 1 , − 1 , 1 , 1 ) , λ = 0.5 , f ( w ) = ∑ i = 1 4 log ( 1 + e − y i a i w ) + λ 2 w 2 .

在 w ( 0 ) = 0 处, f ( 0 ) = 4 log ⁡ 2 ≈ 2.773 . 由 y i a i = ( 2 , 1 , 1 , 2 ) 得 f ′ ( 0 ) = − 3 , f ″ ( 0 ) = 1 4 ∑ i a i 2 + λ = 3. 因此 Δ w n t = − f ′ ( 0 ) f ″ ( 0 ) = 1 , f ( 1 ) ≈ 1.130 . 这一步同时利用全部样本的一阶与二阶信息。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

Newton 法自编数值例;逻辑损失是 Lecture 01B 中 log-sum-exp 的仿射复合69 / 119

局部二次模型

以一维函数 f ( z ) = e z − z 为例,在 x = 1 处 f ′ ( 1 ) = e − 1 , f ″ ( 1 ) = e , Newton 步为 Δ x n t = − e − 1 e , x + Δ x n t = 1 e . 二次模型在 x 处与真实函数具有相同函数值、斜率和曲率。

Newton 法Boyd & Vandenberghe · §9.5.1, Figure 9.16; self-contained quantitative example70 / 119

实验|局部模型准确到哪里?

可交互
f ( x ) = e x − x , Δ x n t = e − x − 1 , x ⋆ = 0. f ( x ) = e x − x Δ x n t = e − x − 1 x ⋆ = 0.

正在准备交互图…

Newton 法讲义互动扩展 · 数值实时计算71 / 119

Hessian 范数中的最速下降

当 ∇ 2 f ( x ) ≻ 0 时,Newton 步也是当前位置 Hessian 范数 ‖ u ‖ ∇ 2 f ( x ) = u ⊤ ∇ 2 f ( x ) u 下的最速下降步。

Hessian 在每一步根据局部曲率更新度量。靠近最优点时, ∇ 2 f ( x ) ≈ ∇ 2 f ( x ⋆ ) , 因而该度量接近理想的预条件器。

与 §9.4 的联系

二次范数最速下降使用固定 P ;Newton 法使用随位置变化的 P = ∇ 2 f ( x ) 。

Newton 法Boyd & Vandenberghe · §9.5.1, Figure 9.17; qualitative redraw72 / 119

线性化最优性条件

可交互
f ( z ) = e z − z , f ′ ( z ) = e z − 1 , x ( k + 1 ) = x ( k ) − f ′ ( x ( k ) ) f ″ ( x ( k ) ) . f ( z ) = e z − z f ′ ( z ) = e z − 1 x ( k + 1 ) = x ( k ) − f ′ ( x ( k ) ) f ″ ( x ( k ) ) .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

将驻点方程 ∇ f ( x ⋆ ) = 0 在 x 附近线性化: ∇ f ( x + v ) ≈ ∇ f ( x ) + ∇ 2 f ( x ) v = 0 . 解得 v = Δ x n t 。一维时,Newton 更新就是用 f ′ 的切线零点近似真实零点。

对于 f ( z ) = e z − z , f ′ ( z ) = e z − 1. 在 x = 1 处的切线为 f ′ ( 1 ) + f ″ ( 1 ) ( z − 1 ) , 其零点为 z = 1 / e 。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

Newton 法Boyd & Vandenberghe · §9.5.1, Figure 9.18; self-contained quantitative example73 / 119

仿射不变性

可交互
x = T y , f ¯ ( y ) = f ( T y ) , Δ y n t = T − 1 Δ x n t . x = T y f ¯ ( y ) = f ( T y ) Δ y n t = T − 1 Δ x n t .

旋转、拉伸新坐标系。新坐标中的路径形状会改变;映回原坐标后,两条 Newton 路径重合。

正在准备交互图…

展开原讲义的推导、教材观察与静态图

设 T ∈ R n × n 非奇异, f ¯ ( y ) = f ( T y ) ,且 x = T y 。则 ∇ f ¯ ( y ) = T ⊤ ∇ f ( x ) , ∇ 2 f ¯ ( y ) = T ⊤ ∇ 2 f ( x ) T . 因此新坐标下的 Newton 步为 Δ y n t = − ( T ⊤ ∇ 2 f ( x ) T ) − 1 T ⊤ ∇ f ( x ) = T − 1 Δ x n t . 于是   x + Δ x n t = T ( y + Δ y n t )   . 线性坐标变换只重新描述同一个 Newton 迭代;这与欧氏梯度法对缩放高度敏感形成鲜明对比。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

Newton 法Boyd & Vandenberghe · §9.5.1, “Affine invariance of the Newton step”74 / 119

Newton decrement

以下假设 ∇ 2 f ( x ) ≻ 0 。定义 λ ( x ) = ∇ f ( x ) ⊤ ∇ 2 f ( x ) − 1 ∇ f ( x ) . 它具有三个等价解释: ( 9.29--9.30 ) λ ( x ) 2 = Δ x n t ⊤ ∇ 2 f ( x ) Δ x n t = − ∇ f ( x ) ⊤ Δ x n t , f ( x ) − min y f ^ ( y ) = 1 2 λ ( x ) 2 .

Newton 法Boyd & Vandenberghe · §9.5.1, equations (9.29)–(9.30)75 / 119

阻尼 Newton 法

Algorithm 9.5

假设 ∇ 2 f 在定义域内正定。给定 x ∈ dom ⁡ f 与容差 ε > 0 ,重复:

  1. 解 Newton 方程 ∇ 2 f ( x ) Δ x n t = − ∇ f ( x ) , λ 2 = − ∇ f ( x ) ⊤ Δ x n t ;

  2. 若 λ 2 / 2 ≤ ε ,停止;

  3. 用回溯线搜索选择 t ;

  4. x ← x + t Δ x n t 。

实现提示

实际计算解线性方程组,不显式形成 Hessian 的逆矩阵。§9.7 将讨论分解与结构利用。

Newton 法Boyd & Vandenberghe · §9.5.2, Algorithm 9.576 / 119

经典收敛分析的假设

在初始次水平集 S 上假设 m I ⪯ ∇ 2 f ( x ) ⪯ M I , 并增加 Hessian 的 Lipschitz 条件 ( 9.31 ) ‖ ∇ 2 f ( x ) − ∇ 2 f ( y ) ‖ 2 ≤ L ‖ x − y ‖ 2 , x , y ∈ S .

m

最小曲率;保证唯一解与 Hessian 可逆。

M

最大曲率;控制安全步长与模型上界。

L

曲率随位置变化的速度;衡量二次模型在局部的可信范围。

二次函数满足 L = 0 ,其局部二次模型在全局都精确;后续含 1 / L 的界只讨论 L > 0 。

Newton 法Boyd & Vandenberghe · §9.5.3, equation (9.31)77 / 119

两个收敛阶段

存在 0 < η ≤ m 2 / L 与 γ > 0 ,使得: ( 9.32 ) ‖ ∇ f ( x ( k ) ) ‖ 2 ≥ η ⟹ f ( x ( k + 1 ) ) − f ( x ( k ) ) ≤ − γ , ( 9.33 ) ‖ ∇ f ( x ( k ) ) ‖ 2 < η ⟹ t ( k ) = 1 , L 2 m 2 ‖ ∇ f ( x ( k + 1 ) ) ‖ 2 ≤ ( L 2 m 2 ‖ ∇ f ( x ( k ) ) ‖ 2 ) 2 .

Newton 法Boyd & Vandenberghe · §9.5.3, equations (9.32)–(9.33)78 / 119

阻尼阶段的下降量

由 Hessian 上界与 λ 2 ≥ m ‖ Δ x n t ‖ 2 2 , f ( x + t Δ x n t ) ≤ f ( x ) − t λ 2 + M t 2 2 m λ 2 . 参考步长 t ^ = m / M 满足回溯条件,故实际步长 t ≥ β m M . 又因 λ 2 = ∇ f ⊤ ∇ 2 f − 1 ∇ f ≥ 1 M ‖ ∇ f ‖ 2 2 , 当 ‖ ∇ f ‖ 2 ≥ η 时, ( 9.38 ) f ( x + ) − f ( x ) ≤ − α β η 2 m M 2 ≡ − γ . 阻尼阶段因而最多持续 ( f ( x ( 0 ) ) − p ⋆ ) / γ 步。

Newton 法Boyd & Vandenberghe · §9.5.3, equation (9.38)79 / 119

单位步何时被接受

Hessian 的 Lipschitz 性给出沿 Newton 方向的三阶余项上界: ( 9.39 ) f ( x + Δ x n t ) ≤ f ( x ) − 1 2 λ ( x ) 2 + L 6 m 3 / 2 λ ( x ) 3 . 若 ‖ ∇ f ( x ) ‖ 2 ≤ η ≤ 3 ( 1 − 2 α ) m 2 L , 则三阶项足够小,进而 f ( x + Δ x n t ) ≤ f ( x ) − α λ ( x ) 2 . 回溯因此立即接受 t = 1 。此后 Newton 步不再被阻尼,算法进入纯 Newton 阶段。

Newton 法Boyd & Vandenberghe · §9.5.3, equation (9.39)80 / 119

二次收敛

完整 Newton 步满足 ‖ ∇ f ( x + ) ‖ 2 = ‖ ∫ 0 1 ( ∇ 2 f ( x + s Δ x n t ) − ∇ 2 f ( x ) ) Δ x n t d s ‖ 2 ≤ L 2 ‖ Δ x n t ‖ 2 2 ≤ L 2 m 2 ‖ ∇ f ( x ) ‖ 2 2 . 令 η = min { 1 , 3 ( 1 − 2 α ) } m 2 L , 则一旦 ‖ ∇ f ‖ 2 < η ,后续梯度范数近似每步平方。

数值含义

进入局部阶段后,正确数字的位数近似每步翻倍;高精度通常只需再进行少量迭代。

Newton 法Boyd & Vandenberghe · §9.5.3, equations (9.33)–(9.35)81 / 119

经典复杂度界

阻尼阶段的步数至多 f ( x ( 0 ) ) − p ⋆ γ , 二次收敛阶段达到 f ( x ) − p ⋆ ≤ ε 还需至多 log 2 ⁡ log 2 ⁡ ( ε 0 / ε ) , ε 0 = 2 m 3 L 2 . 总迭代次数界为 ( 9.36 ) f ( x ( 0 ) ) − p ⋆ γ + log 2 ⁡ log 2 ⁡ ( ε 0 / ε ) . 将二次阶段按式 (9.37) 的实用界计为约 6 步,再代入教材构造的 η , γ ,可得 ( 9.40 ) 6 + M 2 L 2 / m 5 α β min { 1 , 9 ( 1 − 2 α ) 2 } ( f ( x ( 0 ) ) − p ⋆ ) . 该界证明了收敛,但依赖通常未知且随坐标改变的 m , M , L ,这正是 §9.6 的动机。

Newton 法Boyd & Vandenberghe · §9.5.3, equations (9.36)–(9.40)82 / 119

二维 Newton 轨迹

可交互
f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

对式 (9.20) 使用 Newton 法与回溯线搜索, α = 0.1 ,   β = 0.7 。

虚线给出目标函数的次水平集,蓝线给出 Newton 轨迹; 每一步的局部二次模型使方向自动适配当前位置的曲率。

  • 约 5 步达到很高精度;

  • 最后一步将误差从约 10 − 5 降至 10 − 10 ;

  • 局部二次收敛清晰可见。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

Newton 法Boyd & Vandenberghe · §9.5.4, Figures 9.19–9.20; reconstruction of textbook example83 / 119

一百维 Newton 例子

教材对式 (9.21) 的 n = 100 问题比较回溯与精确线搜索。

  • 回溯约 8 步达到高精度;

  • 精确线搜索只快约 1 步;

  • 回溯线搜索前两步各回退一次,之后均接受 t = 1 ;

  • 教材建议常用 α = 0.01 ,   β = 0.5 。

Newton 法Boyd & Vandenberghe · §9.5.4, Figures 9.21–9.22; qualitative redraw of the reported behavior84 / 119

一万维 Newton 例子

教材进一步考虑 n = 10000 , m = 100000 的稀疏问题 min x   − ∑ i = 1 n log ⁡ ( 1 − x i 2 ) − ∑ i = 1 m log ⁡ ( b i − a i ⊤ x ) . 其定义域由 | x i | < 1   ( i = 1 , … , n ) 与 a j ⊤ x < b j   ( j = 1 , … , m ) 给出。

  • 约 13 步阻尼/近线性阶段;

  • 再用 4–5 步达到极高精度;

  • 变量维数大幅增加,迭代次数只温和变化;

  • 每步代价则取决于稀疏线性代数。

Newton 法Boyd & Vandenberghe · §9.5.4, Figure 9.23; qualitative redraw from the reported iteration behavior85 / 119

仿射缩放实验

对式 (9.22) 的缩放族, γ 使梯度法的条件数与迭代次数剧烈变化。Newton 法使用 α = 0.01 , β = 0.5 , 在 10 − 10 ≤ γ ≤ 10 10 的整个范围内均用 9 次迭代求解到更高精度。

精确算术

Newton 步、decrement、线搜索和停止准则都保持仿射不变。

有限精度

坐标缩放仍会影响线性方程求解的数值稳定性;它对 Newton 法主要是线性代数问题。

Newton 法Boyd & Vandenberghe · §9.5.4, “Affine invariance of Newton's method”86 / 119

实验|把仿射缩放后的轨迹映回原坐标

可交互

式 (9.21) 模型的二维教学实例。原书的一百维、一万维结果保留在前页;本页重新计算二维轨迹。

正在准备交互图…

Newton 法讲义互动扩展 · 数值实时计算87 / 119

Newton 法的取舍

优势

  • 通常收敛快,局部二次收敛;

  • 仿射不变,对坐标缩放不敏感;

  • 在教材的结构化实例中,迭代次数随维数增长较温和;

  • 对线搜索参数不太敏感。

主要代价

  • 形成并存储 Hessian;

  • 求解 ∇ 2 f Δ x = − ∇ f ;

  • 大规模问题必须利用带状、稀疏或低秩结构。

经典分析仍依赖未知的 m , M , L 。自协调性将给出与 Newton 法一样仿射不变、且不含未知曲率常数的分析。

Newton 法Boyd & Vandenberghe · §9.5.4, “Summary”88 / 119

MATH6015 / CONVEX OPTIMIZATION

07

自协调函数

MATH6015 · Lecture 0389 / 119

自协调性

在 Newton 法的通常分析中,收敛界依赖强凸常数及 Hessian 的 Lipschitz 常数;这些常数往往未知,且会随坐标缩放而改变。

自协调性(self-concordance)以三阶导数和二阶导数的相对关系刻画函数的局部形状。它带来:

  • 仿射坐标变化下不变的 Newton decrement;

  • 不含未知曲率常数的停止准则与迭代复杂度;

  • 对数障碍(log barrier)和 − log ⁡ det 的统一分析。

自协调函数Boyd & Vandenberghe, Section 9.690 / 119

一维定义

定义在开区间 dom ⁡ f ⊆ R 上的凸三次连续可微函数 f : dom ⁡ f → R 称为自协调,若对所有 x ∈ dom ⁡ f , ( 9.41 ) | f ‴ ( x ) | ≤ 2 ( f ″ ( x ) ) 3 / 2 .

  • 它不是单纯限制 | f ‴ | 的大小,而是以局部曲率 f ″ 为尺度。

  • 常数 2 是规范化选择:若 k > 0 且 | f ‴ | ≤ k ( f ″ ) 3 / 2 ,则 ( k 2 / 4 ) f 满足标准形式; k = 0 时已满足标准式。

  • 线性与凸二次函数的三阶导数为零,因此自协调。

自协调函数Boyd & Vandenberghe, Section 9.6.1, equation (9.41)91 / 119

沿每一条直线检验

对定义在开凸域 dom ⁡ f ⊆ R n 上的凸三次连续可微函数 f : dom ⁡ f → R ,要求对每个 x ∈ dom ⁡ f 和方向 v ,一维限制 f ~ ( t ) = f ( x + t v ) 在 { t ∣ x + t v ∈ dom ⁡ f } 上都满足 (9.41)。 因此定义本身不依赖于坐标轴的选择。

以一维仿射变化 g ( t ) = f ( a t + b ) 为例, g ″ ( t ) = a 2 f ″ ( a t + b ) , g ‴ ( t ) = a 3 f ‴ ( a t + b ) . 自协调不等式两边都乘以 | a | 3 ,故保持不变。这是仿射不变性(affine invariance)。

自协调函数Boyd & Vandenberghe, Section 9.6.192 / 119

例 9.3:两个基本一维函数

可交互
| f ‴ ( x ) | ≤ 2 f ″ ( x ) 3 / 2 , ρ f ( x ) = | f ‴ ( x ) | 2 f ″ ( x ) 3 / 2 . | f ‴ ( x ) | ≤ 2 f ″ ( x ) 3 / 2 ρ f ( x ) = | f ‴ ( x ) | 2 f ″ ( x ) 3 / 2 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

负对数(negative logarithm)

f ( x ) = − log ⁡ x , f ″ ( x ) = x − 2 , f ‴ ( x ) = − 2 x − 3 . 故 | f ‴ ( x ) | 2 ( f ″ ( x ) ) 3 / 2 = 1. 不等式恰好取等;这正是障碍函数在边界附近急剧上升的定量描述。

负熵加负对数

f ( x ) = x log ⁡ x − log ⁡ x , f ″ ( x ) = x + 1 x 2 , f ‴ ( x ) = − x + 2 x 3 . 比值为 x + 2 2 ( x + 1 ) 3 / 2 ≤ 1 ( x > 0 ) , 其上确界为 1 ,并在 x → 0 + 时趋近。

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

自协调函数Boyd & Vandenberghe, Example 9.393 / 119

自协调函数的演算规则

  1. 若 f 自协调,且 a ≥ 1 ,则 a f 自协调;

  2. 若 f 1 , f 2 自协调,则 f 1 + f 2 自协调;

  3. 若 f 自协调,则 x ↦ f ( A x + b ) 自协调。

前两条使许多可加的障碍项可直接组合;第三条将一维 − log 推广到线性不等式和矩阵值仿射映射。

自协调函数Boyd & Vandenberghe, Section 9.6.294 / 119

障碍函数:线性不等式

线性不等式

− ∑ i = 1 m log ⁡ ( b i − a i T x ) , a i T x < b i . 每一项由 − log 与仿射函数复合而来。

自协调函数Boyd & Vandenberghe, Examples 9.4–9.695 / 119

障碍函数:正定矩阵与凹二次式

正定矩阵锥

f ( X ) = − log ⁡ det X , X ≻ 0. 沿 X + t V 对角化后,成为 ∑ i − log ⁡ ( 1 + t λ i ) 。

凹二次式的对数

q ( x ) = x T P x + q T x + r , f ( x ) = − log ⁡ q ( x ) . P ∈ − S + n ,定义域为 q ( x ) > 0 ;一维限制可分解为两个负对数项之和。

自协调函数Boyd & Vandenberghe, Examples 9.4–9.696 / 119

例 9.7:与对数复合的规则

若凸函数 g : R + + → R 满足 | g ‴ ( x ) | ≤ 3 g ″ ( x ) x , 则 f ( x ) = − log ⁡ ( − g ( x ) ) − log ⁡ x 在 { x > 0 ∣ g ( x ) < 0 } 上自协调。

教材给出满足条件的 g : − x p   ( 0 < p ≤ 1 ) , − log ⁡ x , x log ⁡ x , x p   ( − 1 ≤ p ≤ 0 ) , ( a x + b ) 2 x . 再加任意凸二次函数 a x 2 + b x + c ( a ≥ 0 )仍保留该条件。

自协调函数Boyd & Vandenberghe, Section 9.6.2 and Example 9.797 / 119

常见约束的障碍:二阶锥

复合规则可识别出下列自协调障碍:

二阶锥

f ( x , y ) = − log ⁡ ( y 2 − x T x ) , ‖ x ‖ 2 < y .

自协调函数Boyd & Vandenberghe, Example 9.898 / 119

常见约束的障碍:幂锥式约束

复合规则可识别出下列自协调障碍:

幂锥式约束

f ( x , y ) = − 2 log ⁡ y − log ⁡ ( y 2 / p − x 2 ) , | x | p < y , p ≥ 1.

非线性边界也可由同一规则处理。

自协调函数Boyd & Vandenberghe, Example 9.899 / 119

常见约束的障碍:指数锥式约束

复合规则可识别出下列自协调障碍:

指数锥式约束

f ( x , y ) = − log ⁡ y − log ⁡ ( log ⁡ y − x ) , e x < y .

自协调函数Boyd & Vandenberghe, Example 9.8100 / 119

应用例 9:生产计划的障碍路径

可交互
F t ( u , v ) = − t ( 3 u + 2 v ) − log ⁡ u − log ⁡ v − log ⁡ ( 8 − 2 u − v ) − log ⁡ ( 8 − u − 2 v ) . F t ( u , v ) = − t ( 3 u + 2 v ) − log ⁡ u − log ⁡ v − log ⁡ ( 8 − 2 u − v ) − log ⁡ ( 8 − u − 2 v ) .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

回到 Lecture 01C 的生产计划:收益为 3 u + 2 v ,约束为 2 u + v ≤ 8 、 u + 2 v ≤ 8 、 u , v ≥ 0 。对 t > 0 构造无约束子问题 F t ( u , v ) = − t ( 3 u + 2 v ) − log ⁡ u − log ⁡ v − log ⁡ ( 8 − 2 u − v ) − log ⁡ ( 8 − u − 2 v ) .

定义域是原问题的严格可行域。 − log 障碍之和是自协调函数,线性收益项不改变二阶与三阶导数。

t = 1 : x t ≈ ( 2.7529 , 1.7734 ) 。

t = 3 : x t ≈ ( 2.7848 , 2.1858 ) 。

t = 10 , 30 时依次为 ( 2.7129 , 2.4997 ) 、 ( 2.6830 , 2.6092 ) ,逐步逼近 x ⋆ = ( 8 / 3 , 8 / 3 ) .

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

自协调函数自编数值例;延续 Lecture 01C 的 production planning101 / 119

局部范数与 Newton decrement

对严格凸自协调函数 f ,在 x 处以 Hessian 定义局部范数 ‖ v ‖ x = ( v T ∇ 2 f ( x ) v ) 1 / 2 , λ ( x ) = ( g T ∇ 2 f ( x ) − 1 g ) 1 / 2 , g = ∇ f ( x ) . Newton decrement 同时满足( v ≠ 0 ) − v T g ‖ v ‖ x ≤ λ ( x ) , 非驻点时,在 v = Δ x n t 时取等号。

它是最陡下降的一阶收益,以当前位置的曲率度量;仿射变量代换下数值不变。

自协调函数Boyd & Vandenberghe, Section 9.6.3, equation (9.44)102 / 119

局部曲率不会突变

对一维严格凸自协调函数,自协调条件等价地给出 ( 9.45 ) | d d t ( f ″ ( t ) ) − 1 / 2 | ≤ 1. 若 t ≥ 0 且 [ 0 , t ] ⊆ dom ⁡ f ,则下界成立; 当另有 t < ( f ″ ( 0 ) ) − 1 / 2 时,上界也成立: ( 9.46 ) f ″ ( 0 ) ( 1 + t f ″ ( 0 ) ) 2 ≤ f ″ ( t ) ≤ f ″ ( 0 ) ( 1 − t f ″ ( 0 ) ) 2 .

这组界解释了局部范数的作用:只要移动距离相对于 ( f ″ ( 0 ) ) − 1 / 2 足够小,二阶曲率可被显式控制。

在多维情形,沿 t ↦ x + t v 应用同一结论;不需要预先知道全局强凸常数。

自协调函数Boyd & Vandenberghe, Section 9.6.3, equations (9.45)–(9.46)103 / 119

以 decrement 控制最优性间隙

对严格凸自协调函数,若 λ ( x ) < 1 ,则 ( 9.49 ) p ⋆ ≥ f ( x ) + λ ( x ) + log ⁡ ( 1 − λ ( x ) ) . 当 λ ( x ) ≤ 0.68 时, ( 9.50 ) f ( x ) − p ⋆ ≤ λ ( x ) 2 . 因此以 λ ( x ) 2 ≤ ϵ 为停止准则( ϵ < 0.68 2 ),可直接保证 ϵ -次优。

二次模型给出的估计为 λ 2 / 2 ;自协调性说明,将它乘以 2 已是严格的上界。

自协调函数Boyd & Vandenberghe, Section 9.6.3, equations (9.49)–(9.50)104 / 119

自协调 Newton 法的两阶段行为

设 f 严格凸、自协调且有下界,初始次水平集闭合;采用 0 < α < 1 / 2 ,   0 < β < 1 的 backtracking line search。 存在只依赖 α , β 的 η ∈ ( 0 , 1 / 4 ] 与 γ > 0 ,使得:

阻尼阶段(damped phase)

若 λ ( x ( k ) ) > η ,则 f ( x ( k + 1 ) ) − f ( x ( k ) ) ≤ − γ . 每一步有固定的函数值下降。

全步阶段(full-step phase)

若 λ ( x ( k ) ) ≤ η ,线搜索接受 t = 1 ,且 2 λ ( x ( k + 1 ) ) ≤ ( 2 λ ( x ( k ) ) ) 2 . decrement 呈二次收敛。

自协调函数Boyd & Vandenberghe, Section 9.6.4, equations (9.51)–(9.52)105 / 119

显式复杂度与数值表现

在上一页的假设下, 阻尼阶段最多需要 f ( x ( 0 ) ) − p ⋆ γ 步;进入全步阶段后,再经过 log 2 ⁡ log 2 ⁡ ( 1 / ϵ ) 步即可保证 f ( x ) − p ⋆ ≤ ϵ 。

对线性不等式的 log barrier,教材实验采用 α = 0.1 , β = 0.8 , ϵ = 10 − 10 ;理论上界可写为 375 ( f ( x ( 0 ) ) − p ⋆ ) + 6. 该界偏保守,但不含未知曲率常数。

自协调函数Boyd & Vandenberghe, Section 9.6.4–9.6.5, equations (9.53)–(9.58), Figure 9.25(定性重绘)106 / 119

MATH6015 / CONVEX OPTIMIZATION

08

实现

MATH6015 · Lecture 03107 / 119

线搜索的预计算

线搜索反复评价同一条射线上的函数 f ~ ( t ) = f ( x + t Δ x ) , t ≥ 0. 若每个 t 都重新形成 x + t Δ x 并调用完整的 f ,会重复大量计算。目标是先提取与 t 无关的量,再以低成本评价 f ~ ( t ) 及其导数。

实现Boyd & Vandenberghe, Section 9.7.1108 / 119

仿射复合:把矩阵乘法移出循环

若 f ( x ) = ϕ ( A x + b ) , A ∈ R p × n ,则 A ( x + t Δ x ) + b = ( A x + b ) + t ( A Δ x ) .

对 k 个候选步长:

  • 直接计算:约 2 k p n flops;

  • 先计算 A x + b 、 A Δ x :约 4 p n + 2 k p flops。

当 k 不小且 n 大时,后者避免了 k 次高维矩阵乘法。

实现Boyd & Vandenberghe, Section 9.7.1109 / 119

实验|一次预计算能省下多少矩阵乘法?

可交互
f ( x + t d ) = h ( u + t v ) , u = A x + b , v = A d , A ∈ R m × n . f ( x + t d ) = h ( u + t v ) u = A x + b v = A d A ∈ R m × n .

正在准备交互图…

实现讲义互动扩展 · 数值实时计算110 / 119

Newton 步的线性代数

形成 H = ∇ 2 f ( x ) 、 g = ∇ f ( x ) 后,Newton system 为 H Δ x n t = − g . 对正定 H ,用 Cholesky 分解 H = L L T : L w = − g , L T Δ x n t = w , λ 2 = ‖ w ‖ 2 2 = − Δ x n t T g .

若 Hessian 是稠密且无结构的,Newton 步总成本约为 F + 1 3 n 3   flops , 其中 F 是形成 H 和 g 的成本;Cholesky 分解通常主导。

实现Boyd & Vandenberghe, Section 9.7.2112 / 119

应用例 10:输入设计的 Newton system

Lecture 02 的最优输入设计取 N = 200 ,令 H 为卷积矩阵、 D 为一阶差分矩阵: f ( u ) = ‖ H u − y d e s ‖ 2 2 N + 1 + 0.3 N ‖ D u ‖ 2 2 + 0.05 N + 1 ‖ u ‖ 2 2 .

该模型是严格凸二次问题;这里追踪 Hessian 中每一项的来源。

其 Hessian 为 ∇ 2 f = 2 N + 1 H ⊤ H + 0.6 N D ⊤ D + 0.1 N + 1 I ≻ 0. 目标是严格凸二次函数,因此完整 Newton 步一次求得最优输入;实际成本由这个线性系统的结构决定。

实现自编推导;沿用 Lecture 02, Boyd & Vandenberghe, Example 6.3113 / 119

带状 Hessian

若 H i j = 0 (当 | i − j | > k ),Hessian 的半带宽为 k 。带状 Cholesky 与三角求解的总成本为 F + n k 2 ( k ≪ n ) , 而稠密算法为 F + 1 3 n 3 。

这种结构意味着变量 x i 在目标函数中只和附近的 2 k + 1 个变量发生非线性耦合。它常见于按时间、空间或链式索引排列的模型。

实现Boyd & Vandenberghe, Section 9.7.2114 / 119

例 9.9:链式耦合产生三对角结构

设每个 ψ i : R 2 → R 凸且二阶可微,并考虑 f ( x ) = ψ 1 ( x 1 , x 2 ) + ψ 2 ( x 2 , x 3 ) + ⋯ + ψ n − 1 ( x n − 1 , x n ) . 每一项只耦合相邻两个变量,所以 ∇ 2 f ( x ) 是三对角矩阵。图结构和 Hessian 非零模式一一对应:

带宽恒为 1 ;在形成 Hessian 亦为 O ( n ) 且当前 Hessian 正定(或经正则化)的前提下, 带状 Cholesky 求解 Newton system 的工作量随 n 线性增长,而非 O ( n 3 ) 。

实现Boyd & Vandenberghe, Example 9.9115 / 119

稀疏 Hessian 与符号分解

稀疏 Hessian

可预先选择置换 P ,使 H = P L L T P T 的 Cholesky 因子更稀疏。该符号分解只做一次;每步只更新数值分解。

实现Boyd & Vandenberghe, Section 9.7.2, equation (9.61)116 / 119

对角加低秩:缩小 Newton system

对角加低秩

若 D = diag ⁡ ( ψ i ″ ( x i ) ) ≻ 0 、 H 0 = ∇ 2 ψ 0 ( A x + b ) = L 0 L 0 T ⪰ 0 ,且 f ( x ) = ∑ i = 1 n ψ i ( x i ) + ψ 0 ( A x + b ) , 则 H = D + A T H 0 A 。当 A ∈ R p × n 且 p ≪ n 时,可将 Newton system 化为一个 p × p 系统: ( 9.61 ) ( I + L 0 T A D − 1 A T L 0 ) w = − L 0 T A D − 1 g . 随后以 Δ x = − D − 1 ( A T L 0 w + g ) 恢复 Newton 步;成本约为 2 p 2 n ,避免 n × n 稠密分解。

实现Boyd & Vandenberghe, Section 9.7.2, equation (9.61)117 / 119

第 9 章的结构

方向与度量

  • 梯度法使用欧氏几何;

  • 最速下降法显式选择范数;

  • Newton 法以 Hessian 作为局部度量。

步长与收敛

精确线搜索给出基准;回溯线搜索只需函数值。条件数决定一阶法的线性收敛速度,Newton 法靠近最优点后进入二次收敛阶段。

分析工具

强凸性与 Hessian 的 Lipschitz 条件给出经典分析;自协调性用局部曲率给出仿射不变的停止准则与复杂度界。

计算结构

一次迭代的价值同时取决于迭代次数和单步成本。预计算、Cholesky 分解以及带状、稀疏、低秩结构决定 Newton 法能否扩展到大规模问题。

实现Boyd & Vandenberghe · Chapter 9, §§9.1–9.7118 / 119

回到同一个问题:五种方法的取舍

可交互
f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 . f ( x 1 , x 2 ) = e x 1 + 3 x 2 − 0.1 + e x 1 − 3 x 2 − 0.1 + e − x 1 − 0.1 .

正在准备交互图…

展开原讲义的推导、教材观察与静态图

本讲结束

原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。

本讲目录

97 个原讲义内容单元 · 24 个互动页面 · 完整离线可用

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义