MATH6015 / 等式约束最小化

MATH6015 / LECTURE 05

等式约束最小化

可行方向、Newton 方法与 KKT 系统

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 10

Boyd & Vandenberghe · Chapter 101 / 91

本讲内容

导览Boyd & Vandenberghe · Chapter 10, §§10.1–10.42 / 91

MATH6015 / CONVEX OPTIMIZATION

01

前序知识与问题结构

MATH6015 · Lecture 053 / 91

与前面课程的连接

本讲不重新证明凸性与无约束 Newton 法,而是把这些结论扩展到仿射可行集。

前序知识与问题结构课程内部回顾;Boyd & Vandenberghe, Chapters 5, 6, 9, and 104 / 91

线性等式约束的角色

等式约束通常表达必须精确成立的守恒关系或动态关系:

  • 质量、能量与资金平衡;

  • 网络节点的流量守恒;

  • 状态空间模型中的动态方程;

  • 矩阵变量的迹、矩等精确条件。

统一写成 A x = b , A ∈ R p × n , rank ⁡ A = p < n . 满行秩表示约束独立; p < n 表示可行集仍有 n − p 个自由方向。

前序知识与问题结构Boyd & Vandenberghe · §10.1, problem (10.1)5 / 91

维度与两个残差

设 f : R n → R , A ∈ R p × n , p < n 。本讲反复使用 ∇ f ( x ) ∈ R n , ∇ 2 f ( x ) ∈ S n , ν ∈ R p .

原始残差(primal residual)

r p r i = A x − b ∈ R p . 它衡量线性等式没有满足多少。

对偶残差(dual residual)

r d u a l = ∇ f ( x ) + A ⊤ ν ∈ R n . 它衡量梯度是否落在约束法向空间中。

前序知识与问题结构课程内部维度回顾;Boyd & Vandenberghe, §10.1 and §10.3.16 / 91

应用例 1:微电网功率平衡

三个设备的功率设定为 x i ,必须满足总需求 b : minimize x ∈ R 3 ∑ i = 1 3 c i 2 ( x i − d i ) 2 , subject to x 1 + x 2 + x 3 = b .

取 c = ( 1 , 2 , 4 ) 、 d = ( 1 , 2 , 3 ) 、 b = 5 。KKT 条件为 c i ( x i − d i ) + ν = 0 , ∑ i x i = 5. 从而 ν ⋆ = 4 7 , x ⋆ = ( 3 7 , 12 7 , 20 7 ) . 边际代价 c i ( x i − d i ) 在最优点全部等于 − ν ⋆ 。

∑ i x i ⋆ = 5 ; − ν ⋆ 是系统平衡的边际代价。

前序知识与问题结构自编数值例;模型参见 Boyd & Vandenberghe, Example 10.17 / 91

从无约束 Newton 法到 KKT 方程

Lecture 03:无约束问题

∇ f ( x ⋆ ) = 0 , ∇ 2 f ( x ) Δ x = − ∇ f ( x ) . Newton 法线性化一个 n 维驻点方程。

本讲:等式约束问题

{ A x ⋆ = b , ∇ f ( x ⋆ ) + A ⊤ ν ⋆ = 0. Newton 法线性化 n + p 维 KKT 方程。

前序知识与问题结构课程内部回顾;Boyd & Vandenberghe, §§10.2–10.38 / 91

MATH6015 / CONVEX OPTIMIZATION

02

基本问题与三种求解视角

MATH6015 · Lecture 059 / 91

等式约束凸优化

基本问题

minimize x ∈ R n f ( x ) subject to A x = b , 其中 f 凸且二阶连续可微, dom ⁡ f 为开集, A ∈ R p × n 且 rank ⁡ A = p < n 。

假设最优解存在,并记 p ⋆ = f ( x ⋆ ) = inf { f ( x ) ∣ A x = b } .

基本问题与三种求解视角Boyd & Vandenberghe · §10.1, equations (10.1)–(10.2)10 / 91

KKT 最优性条件

对于凸可微目标和仿射等式, x ⋆ ∈ dom ⁡ f 最优当且仅当存在 ν ⋆ ∈ R p 使 A x ⋆ − b = 0 原始可行性 , ∇ f ( x ⋆ ) + A ⊤ ν ⋆ = 0 对偶可行性 .

几何解释

∇ f ( x ⋆ ) ∈ range ⁡ ( A ⊤ ) ,因此梯度与所有可行方向 v ∈ null ⁡ ( A ) 正交。

方程解释

这是 n + p 个方程,未知量为 x ⋆ ∈ R n 与 ν ⋆ ∈ R p 。非线性只来自 ∇ f 。

思考:若删除一条与其他行线性相关的等式,可行集是否改变?乘子是否仍唯一?

基本问题与三种求解视角Boyd & Vandenberghe · §10.1, equation (10.2)11 / 91

KKT 条件的几何分解

在任意可行点,空间分解为 R n = null ⁡ ( A ) ⊕ range ⁡ ( A ⊤ ) . 最优点处,梯度的切向分量必须为零: F ⊤ ∇ f ( x ⋆ ) = 0 , range ⁡ ( F ) = null ⁡ ( A ) . 法向分量由乘子表示: ∇ f ( x ⋆ ) = − A ⊤ ν ⋆ .

基本问题与三种求解视角Boyd & Vandenberghe · §10.1; nullspace and range interpretation of equation (10.2)12 / 91

等式约束凸二次问题

问题

minimize x 1 2 x ⊤ P x + q ⊤ x + r subject to A x = b , 其中 P ⪰ 0 。

KKT 条件是线性的: P x ⋆ + q + A ⊤ ν ⋆ = 0 , A x ⋆ = b .

KKT 系统

[ P A ⊤ A 0 ] [ x ⋆ ν ⋆ ] = [ − q b ]

系数矩阵对称但通常不正定;后续 Newton 步每次都要解同一类鞍点线性系统。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.1, equations (10.3)–(10.4)13 / 91

应用例 2:二维二次问题

考虑 minimize x 1 , x 2 1 2 ( x 1 2 + 4 x 2 2 ) , subject to x 1 + x 2 = 1.

KKT 系统为 [ 1 0 1 0 4 1 1 1 0 ] [ x 1 x 2 ν ] = [ 0 0 1 ] . 解得 x ⋆ = ( 4 / 5 , 1 / 5 ) , ν ⋆ = − 4 / 5 , p ⋆ = 2 / 5.

基本问题与三种求解视角自编数值例;KKT 系统参见 Boyd & Vandenberghe, §10.1.114 / 91

实验|带等式约束的最短距离

可交互
min x ∈ R 2 1 2 ‖ x − c ‖ 2 2 s.t. a T x = b x ⋆ = c − ( a T c − b ) a

正在准备交互图…

约束右端 b 微小变化时,最优目标值怎样变化?

KKT 矩阵何时可逆

假设 P ⪰ 0 且 A 满行秩。下列条件等价:

  1. [ P A ⊤ A 0 ] 非奇异;

  2. null ⁡ ( P ) ∩ null ⁡ ( A ) = { 0 } ;

  3. A x = 0 且 x ≠ 0 时, x ⊤ P x > 0 ;

  4. 若 range ⁡ ( F ) = null ⁡ ( A ) ,则 F ⊤ P F ≻ 0 。

含义

目标函数可以在法向方向没有曲率,但不能在任何非零可行方向上同时没有曲率。

重要特例

若 P ≻ 0 ,KKT 矩阵必然非奇异;若 P 奇异,则必须检查它在 null ⁡ ( A ) 上是否正定。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.1, “Nonsingularity of the KKT matrix”16 / 91

KKT 系统不可解意味着什么

若 KKT 系统奇异且不可解,则一般可能是原问题不可行,或目标在可行方向上无界。 在 A x = b 可行时,可找到 v , w 使 P v + A ⊤ w = 0 , A v = 0 , − q ⊤ v + b ⊤ w > 0. 取任意可行点 x ^ ,沿可行射线 x ^ + t v : f ( x ^ + t v ) = f ( x ^ ) + t ( v ⊤ P x ^ + q ⊤ v ) + t 2 2 v ⊤ P v = f ( x ^ ) + t ( − b ⊤ w + q ⊤ v ) ⟶ − ∞ .

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.1, discussion following equation (10.4)17 / 91

消去等式约束

先找一个特解 x ^ 与零空间基 F ∈ R n × ( n − p ) : A x ^ = b , range ⁡ ( F ) = null ⁡ ( A ) , rank ⁡ F = n − p . 则 { x ∣ A x = b } = { F z + x ^ ∣ z ∈ R n − p } .

原问题等价于无约束问题 minimize z ∈ R n − p f ~ ( z ) = f ( F z + x ^ ) . 求得 z ⋆ 后恢复 x ⋆ = F z ⋆ + x ^ 。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.2, equation (10.5)18 / 91

由消元解恢复乘子

若 z ⋆ 解约化问题,则 F ⊤ ∇ f ( x ⋆ ) = ∇ f ~ ( z ⋆ ) = 0 , x ⋆ = F z ⋆ + x ^ . 因为 A 满行秩,可定义 ν ⋆ = − ( A A ⊤ ) − 1 A ∇ f ( x ⋆ ) .

令 s = ∇ f ( x ⋆ ) + A ⊤ ν ⋆ . 则 F ⊤ s = 0 且 A s = 0 。由于 [ F ⊤ A ] 非奇异,故 s = 0 ,即满足对偶可行性。

计算上的提醒

消元减少变量数,但显式构造 F 可能破坏稀疏性;第 10.4 节将直接解 KKT 系统。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.2, equation (10.6)19 / 91

教材例 10.1:资源分配

minimize x 1 , … , x n ∑ i = 1 n f i ( x i ) subject to ∑ i = 1 n x i = b , 其中 f i 凸且二阶可微。消去 x n : x n = b − x 1 − ⋯ − x n − 1 , x ^ = b e n , F = [ I n − 1 − 1 ⊤ ] .

约化目标为 f ~ ( x 1 , … , x n − 1 ) = f n ( b − ∑ i = 1 n − 1 x i ) + ∑ i = 1 n − 1 f i ( x i ) .

最优性解释

f i ′ ( x i ⋆ ) = − ν ⋆ :所有活动的边际代价相同,否则可在保持总量不变的方向上继续下降。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.2, Example 10.120 / 91

消元矩阵并不唯一

若 F 是零空间基,任取非奇异 T ∈ R ( n − p ) × ( n − p ) ,则 F ~ = F T , range ⁡ ( F ~ ) = range ⁡ ( F ) = null ⁡ ( A ) . 两种约化问题为 min z f ( F z + x ^ ) , min z ~ f ( F T z ~ + x ^ ) , z = T z ~ .

选择 F 等价于选择约化空间的坐标系,因此会影响数值条件数和稀疏性。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.2, “Choice of elimination matrix”21 / 91

实验|沿可行直线,把二维问题化成一维

可交互
x = b a + N z , a T N = 0 min z 1 2 ( b a + N z − c ) T H ( b a + N z − c )

正在准备交互图…

降维后的 Hessian 为什么是 NᵀHN?

通过对偶问题求解

等式约束问题的对偶函数为 g ( ν ) = − b ⊤ ν + inf x ( f ( x ) + ν ⊤ A x ) = − b ⊤ ν − f ∗ ( − A ⊤ ν ) . 因此对偶问题是 maximize ν ∈ R p − b ⊤ ν − f ∗ ( − A ⊤ ν ) .

为什么可以这样做

若原问题最优解存在,仿射等式问题满足 Slater 条件,强对偶成立且对偶最优值可达到。

何时有吸引力

若 p ≪ n 且 g 二阶可微,可在 p 维空间对 − g 使用 Chapter 9 的无约束 Newton 法。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.323 / 91

实验|每一个乘子,给出一个下界

可交互
min x x 2 s.t.  x ≥ b q ( λ ) = inf x { x 2 + λ ( b − x ) } = λ b − λ 2 4

正在准备交互图…

非最优乘子能给出有效下界吗?什么时候间隙为零?

教材例 10.2:等式约束解析中心

原问题为 min x   − ∑ i = 1 n log ⁡ x i , A x = b , x ≻ 0. 利用 f ∗ ( y ) = − n − ∑ i = 1 n log ⁡ ( − y i ) , y ≺ 0 , 得到对偶 max ν   − b ⊤ ν + n + ∑ i = 1 n log ⁡ ( A ⊤ ν ) i , A ⊤ ν ≻ 0.

恢复原始解

对偶可行性给出 − [ 1 / x 1 ⋮ 1 / x n ] + A ⊤ ν = 0 , x i ( ν ) = 1 ( A ⊤ ν ) i . 求解低维对偶后,可逐分量恢复 x ⋆ 。

基本问题与三种求解视角Boyd & Vandenberghe · §10.1.3, Example 10.2, equations (10.7)–(10.9)25 / 91

应用例 3:两变量解析中心

取 A = [ 1   1 ] 、 b = 1 : min x 1 , x 2 > 0 − log ⁡ x 1 − log ⁡ x 2 , x 1 + x 2 = 1.

对偶函数为 g ( ν ) = − ν + 2 + 2 log ⁡ ν , ν > 0. 由 g ′ ( ν ) = − 1 + 2 / ν = 0 得 ν ⋆ = 2 , x 1 ⋆ = x 2 ⋆ = 1 2 . 该点也使乘积 x 1 x 2 最大。

基本问题与三种求解视角自编数值例;模型与恢复公式来自 Boyd & Vandenberghe, Example 10.226 / 91

三种求解视角

直接 KKT / Newton 消去等式 求解对偶
变量规模 n + p n − p p
核心对象 对称不定 KKT 矩阵 F ⊤ ∇ 2 f F ∇ 2 ( − g )
结构保持 通常最好 可能产生稠密 F 可能形成稠密对偶 Hessian
初始化 可行或不可行版本均可 需要 x ^ , F 需要对偶定义域内点
适用情形 稀疏、块状大问题 小规模或易构造零空间基 p ≪ n 且原始解易恢复

选择方法时同时比较变量维度、初始化难度和线性代数结构,而不只比较公式长度。

基本问题与三种求解视角Boyd & Vandenberghe · §§10.1.2–10.1.3 and §10.427 / 91

MATH6015 / CONVEX OPTIMIZATION

03

可行初始点 Newton 法

MATH6015 · Lecture 0528 / 91

约束 Newton 步的定义

设当前点 x 已满足 A x = b 。用二阶模型代替 f : minimize v f ^ ( x + v ) = f ( x ) + ∇ f ( x ) ⊤ v + 1 2 v ⊤ ∇ 2 f ( x ) v subject to A ( x + v ) = b . Newton 步 Δ x n t 定义为该等式约束二次问题的解。

曲率

∇ 2 f ( x ) 决定局部二次模型以及不同方向的尺度。

可行方向

因为 A x = b ,约束化为 A v = 0 ;Newton 步只能位于 null ⁡ ( A ) 。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, equation (10.10)29 / 91

Newton 步的 KKT 系统

记 H = ∇ 2 f ( x ) 、 g = ∇ f ( x ) 。二次模型的 KKT 条件给出 [ H A ⊤ A 0 ] [ Δ x n t w ] = [ − g 0 ] .

第一行

H Δ x n t + A ⊤ w = − g . 局部曲率修正梯度; A ⊤ w 提供法向反力。

第二行

A Δ x n t = 0. 更新方向位于可行集切空间,因此任意步长都保持线性等式。

KKT 矩阵必须非奇异,Newton 步才唯一。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, equation (10.11)30 / 91

线性化最优性条件

KKT 条件为 A x ⋆ = b , ∇ f ( x ⋆ ) + A ⊤ ν ⋆ = 0. 以 x + Δ x 和 w 近似 x ⋆ , ν ⋆ ,并线性化梯度: ∇ f ( x + Δ x ) ≈ ∇ f ( x ) + ∇ 2 f ( x ) Δ x .

使用 A x = b 后,线性化方程正好就是上一页的 Newton KKT 系统。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, “Solution of linearized optimality conditions”31 / 91

Newton decrement

定义 λ ( x ) = Δ x n t ⊤ ∇ 2 f ( x ) Δ x n t . 它保留了无约束 Newton decrement 的三个解释:

局部步长

λ ( x ) = ‖ Δ x n t ‖ ∇ 2 f ( x ) .

模型最优性差距

f ( x ) − inf A ( x + v ) = b f ^ ( x + v ) = λ ( x ) 2 2 .

一阶预测下降

∇ f ( x ) ⊤ Δ x n t = − λ ( x ) 2 .

因此 λ 2 / 2 同时用于停止准则和局部模型的误差估计。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, equations (10.12)–(10.14)32 / 91

可行下降方向

若 A x = b ,方向 v 可行当且仅当 A v = 0 。Newton 步满足 A Δ x n t = 0 , ∇ f ( x ) ⊤ Δ x n t = − λ ( x ) 2 < 0 (除非已经最优)。

于是对所有 t : A ( x + t Δ x n t ) = b . 回溯线搜索只需检查定义域和 Armijo 下降,不再检查线性等式。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, “Feasible descent direction”33 / 91

仿射不变性

令 x = T y ,其中 T 非奇异,并定义 f ¯ ( y ) = f ( T y ) 。则 ∇ f ¯ ( y ) = T ⊤ ∇ f ( T y ) , ∇ 2 f ¯ ( y ) = T ⊤ ∇ 2 f ( T y ) T , 约束变为 A T y = b 。

比较两个坐标系中的 KKT 系统可得 T Δ y n t = Δ x n t , λ ¯ ( y ) = λ ( x ) . 因此线性缩放不会改变 Newton 迭代的本质轨迹。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.1, “Affine invariance”34 / 91

Algorithm 10.1:可行初始点 Newton 法

给定 x ( 0 ) ∈ dom ⁡ f 且 A x ( 0 ) = b ,容差 ε > 0 :

所有迭代点保持可行,并且在未停止时目标值下降。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.2, Algorithm 10.135 / 91

应用例 4:二次问题一步到达最优点

回到 f ( x ) = 1 2 ( x 1 2 + 4 x 2 2 ) , x 1 + x 2 = 1. 从可行点 x ( 0 ) = ( 0 , 1 ) 出发: H = [ 1 0 0 4 ] , g = [ 0 4 ] , A = [ 1 1 ] .

解 [ 1 0 1 0 4 1 1 1 0 ] [ Δ x 1 Δ x 2 w ] = [ 0 − 4 0 ] 得到 Δ x = ( 4 / 5 , − 4 / 5 ) ,故 x ( 1 ) = ( 4 / 5 , 1 / 5 ) = x ⋆ 。

可行初始点 Newton 法自编数值例;Boyd & Vandenberghe, §10.2.136 / 91

应用例 5:解析中心的一次 Newton 更新

对 f = − log ⁡ x 1 − log ⁡ x 2 、 x 1 + x 2 = 1 ,从 x = ( 1 / 5 , 4 / 5 ) 出发: g = ( − 5 , − 5 / 4 ) , H = diag ⁡ ( 25 , 25 / 16 ) . 解约束 Newton 系统得 Δ x n t = ( 12 85 , − 12 85 ) , λ 2 = 153 289 ≈ 0.5294 .

取整步后 x + = ( 29 85 , 56 85 ) ≈ ( 0.3412 , 0.6588 ) , 仍满足 x 1 + x 2 = 1 ,并向 ( 1 / 2 , 1 / 2 ) 移动。

可行初始点 Newton 法自编数值例;模型来自 Boyd & Vandenberghe, Example 10.237 / 91

实验|同一个解析中心:从可行点、不可行点或对偶出发

可交互
min x ∈ R + + 3 − ∑ i = 1 3 log ⁡ x i , A x = b , A = ( 1 ω 1.4 ) r p r i = A x − b , r d u a l = − x − 1 + A T ν , x i ⋆ = b 3 A i

正在准备交互图…

一次全 Newton 步如何消除等式残差?对偶 Newton 恢复的 x 在迭代中一定可行吗?

Newton 法与消元完全一致

设 x = F z + x ^ , f ~ ( z ) = f ( F z + x ^ ) 。则 ∇ f ~ ( z ) = F ⊤ ∇ f ( x ) , ∇ 2 f ~ ( z ) = F ⊤ ∇ 2 f ( x ) F . 约化问题的 Newton 步为 Δ z n t = − ( F ⊤ H F ) − 1 F ⊤ g . 映射回原变量: Δ x n t = F Δ z n t = − F ( F ⊤ H F ) − 1 F ⊤ g . 这个方向满足 A Δ x n t = 0 ,并且与直接解 KKT 系统所得方向相同。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.3, equations (10.15)–(10.16)39 / 91

两个坐标系中的 decrement 相同

由 Δ x n t = F Δ z n t : λ ~ ( z ) 2 = Δ z n t ⊤ ∇ 2 f ~ ( z ) Δ z n t = Δ z n t ⊤ F ⊤ H F Δ z n t = Δ x n t ⊤ H Δ x n t = λ ( x ) 2 .

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.3, equality of Newton decrements40 / 91

收敛分析的假设

令 S = { x ∈ dom ⁡ f ∣ f ( x ) ≤ f ( x ( 0 ) ) ,   A x = b } . 在 S 上假设:

  1. S 闭;

  2. ∇ 2 f ( x ) ⪯ M I ,并且 ‖ [ ∇ 2 f ( x ) A ⊤ A 0 ] − 1 ‖ 2 ≤ K ;

  3. Hessian 满足 Lipschitz 条件 ‖ ∇ 2 f ( x ) − ∇ 2 f ( y ) ‖ 2 ≤ L ‖ x − y ‖ 2 。

这些条件把 Chapter 9 的强凸性、Hessian 上界与 Lipschitz 曲率推广到 KKT 系统。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.4, equation (10.17)41 / 91

有约束时的“强凸性”

KKT 矩阵是对称不定矩阵。其逆有界意味着所有正、负特征值都远离零。 这替代无约束分析中的 ∇ 2 f ⪰ m I 。

若 F 是满列秩零空间基,约化 Hessian 为 ∇ 2 f ~ ( z ) = F ⊤ ∇ 2 f ( x ) F . 教材证明上述假设推出 F ⊤ ∇ 2 f ( x ) F ⪰ m ~ I , m ~ = σ min ( F ) 2 K 2 M > 0.

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.4, equation (10.18)42 / 91

收敛结论

Newton 法在等式约束问题上的迭代,与在约化问题 min z f ~ ( z ) 上的迭代完全一致。因此 Chapter 9 的结论直接转移:

阻尼阶段

回溯线搜索保证函数值持续下降,并在有限步后进入整步区域。

二次阶段

靠近 x ⋆ 后接受 t = 1 ,Newton decrement 与误差呈二次下降。

自协调目标

若 f 自协调,则 f ( F z + x ^ ) 仍自协调;迭代复杂度与无约束情形相同: O ( f ( x ( 0 ) ) − p ⋆ + log ⁡ log ⁡ 1 ε ) .

结论依赖可行初始点;下一节把“寻找可行点”也纳入 Newton 迭代。

可行初始点 Newton 法Boyd & Vandenberghe · §10.2.4, “Analysis via the eliminated problem” and self-concordant analysis43 / 91

MATH6015 / CONVEX OPTIMIZATION

04

不可行初始点 Newton 法

MATH6015 · Lecture 0544 / 91

为什么允许不可行初始点

可行初始点 Newton 法要求 x ( 0 ) ∈ dom ⁡ f , A x ( 0 ) = b . 当 dom ⁡ f ≠ R n 时,同时满足这两个条件本身就可能是困难的可行性问题。

可行初始点方法

先寻找交集 dom ⁡ f ∩ { x ∣ A x = b } , 再沿零空间方向降低目标。

不可行初始点方法

只要求 x ( 0 ) ∈ dom ⁡ f ,同时降低 ‖ A x − b ‖ 2 与 ‖ ∇ f ( x ) + A ⊤ ν ‖ 2 .

该方法直接把 KKT 条件视为一个非线性方程组。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3, introduction45 / 91

不可行点处的 Newton 步

当前 x ∈ dom ⁡ f 不必满足 A x = b 。线性化 KKT 条件得到 [ ∇ 2 f ( x ) A ⊤ A 0 ] [ Δ x n t w ] = − [ ∇ f ( x ) A x − b ] .

与可行版本相同

左侧 KKT 矩阵完全相同,因此可以复用分解方法和稀疏结构。

新增修正

右侧第二块为原始残差。当 A x = b 时,它变为零,并恢复 §10.2 的 Newton 步。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, equation (10.19)46 / 91

原始–对偶残差映射

把 y = ( x , ν ) 作为联合变量,定义 r ( x , ν ) = [ r d u a l ( x , ν ) r p r i ( x , ν ) ] = [ ∇ f ( x ) + A ⊤ ν A x − b ] . 其 Jacobian 正是 KKT 矩阵: D r ( x , ν ) = [ ∇ 2 f ( x ) A ⊤ A 0 ] . 原始–对偶 Newton 步满足 D r ( y ) Δ y p d = − r ( y ) , Δ y p d = ( Δ x p d , Δ ν p d ) .

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, equations (10.20)–(10.21)47 / 91

Newton 步中的两个对偶量

原始–对偶形式为 [ H A ⊤ A 0 ] [ Δ x p d Δ ν p d ] = − [ g + A ⊤ ν A x − b ] . 将第二个未知量改写为更新后的乘子 ν + = ν + Δ ν p d : [ H A ⊤ A 0 ] [ Δ x n t ν + ] = − [ g A x − b ] . 因此 Δ x n t = Δ x p d , w = ν + = ν + Δ ν p d .

实际含义

计算原始 Newton 步与新的乘子并不需要旧乘子;旧乘子只在写成“对偶增量”时出现。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, equations (10.21)–(10.22)48 / 91

目标值不一定下降

在不可行点,Newton 方向一般不是 f 的下降方向: ∇ f ( x ) ⊤ Δ x n t = − Δ x n t ⊤ H Δ x n t + ( A x − b ) ⊤ w . 最后一项可能为正。

不能使用的指标

仅监控 f ( x ) 可能拒绝一个显著改善可行性的方向。

正确的进度指标

监控联合残差 ‖ r ( x , ν ) ‖ 2 . 它同时衡量原始可行性与对偶驻点条件。

算法目标已经从“每步降低 f ”变为“每步逼近 KKT 方程的零点”。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, “Residual norm reduction property”49 / 91

残差范数沿 Newton 方向下降

由 D r ( y ) Δ y p d = − r ( y ) : d d t 1 2 ‖ r ( y + t Δ y p d ) ‖ 2 2 | t = 0 = r ( y ) ⊤ D r ( y ) Δ y p d = − ‖ r ( y ) ‖ 2 2 . 当 r ( y ) ≠ 0 时,等价地, d d t ‖ r ( y + t Δ y p d ) ‖ 2 | t = 0 = − ‖ r ( y ) ‖ 2 .

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, equation (10.23)50 / 91

整步立即恢复可行性

由 Newton 方程第二行, A Δ x n t = − ( A x − b ) . 若取 t = 1 ,则 A ( x + Δ x n t ) = b .

对阻尼步 t ∈ [ 0 , 1 ] : r p r i + = A ( x + t Δ x n t ) − b = ( 1 − t ) r p r i . 原始残差方向不变,长度乘以 1 − t 。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, equation (10.24)51 / 91

多步后的原始残差

若第 i 次迭代使用步长 t ( i ) ∈ [ 0 , 1 ] ,则 r p r i ( k ) = ( ∏ i = 0 k − 1 ( 1 − t ( i ) ) ) r p r i ( 0 ) .

一旦某次 t ( i ) = 1 ,原始残差变为零;随后 Newton 方向满足 A Δ x = 0 ,所有后继点保持可行。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.1, full-step feasibility property52 / 91

Algorithm 10.2:不可行初始点 Newton 法

给定 x ( 0 ) ∈ dom ⁡ f 、 ν ( 0 ) 、 0 < α < 1 / 2 、 0 < β < 1 :

终止条件要求原始可行且联合残差足够小。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.2, Algorithm 10.253 / 91

应用例 6:从不可行点一步修正

仍考虑 f ( x ) = 1 2 ( x 1 2 + 4 x 2 2 ) , x 1 + x 2 = 1 , 但取 x ( 0 ) = ( 0 , 0 ) 、 ν ( 0 ) = 0 。此时 r p r i = − 1 。

[ 1 0 1 0 4 1 1 1 0 ] [ Δ x 1 Δ x 2 Δ ν ] = [ 0 0 1 ] ⟹ Δ x = ( 4 / 5 , 1 / 5 ) , Δ ν = − 4 / 5.

由于目标是二次函数,整步同时得到 x ( 1 ) = x ⋆ = ( 4 / 5 , 1 / 5 ) , ν ( 1 ) = ν ⋆ = − 4 / 5.

一次完成两件事

原始残差从 − 1 变为 0 ;对偶残差也从 0 变为 0 。非二次问题一般仍需继续迭代。

不可行初始点 Newton 法自编数值例;Boyd & Vandenberghe, §§10.3.1–10.3.254 / 91

实验|从不可行点出发,也能走向 KKT 解

可交互
min x ∈ R 2 e x 1 + e x 2 s.t. x 1 + x 2 = b

正在准备交互图…

为什么阻尼步可能仍不满足等式?何时会落到可行直线上?

解析中心的初始化

对 min x ≻ 0 − ∑ i log ⁡ x i , A x = b , 可行初始点方法需要先找 x ( 0 ) ≻ 0 且 A x ( 0 ) = b ,这本身是标准型 LP 的严格可行性问题。

不可行初始点方案

直接取任意正向量,例如 x ( 0 ) = 1 , ν ( 0 ) = 0 , 再由残差 Newton 法同时寻找可行性与最优性。

对偶初始化也可同样处理

把 y = A ⊤ ν 显式作为变量并加等式约束,从任意 y ( 0 ) ≻ 0 出发。

这种方法简化初始化,但不能可靠地证明严格可行点不存在。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.2, “Using infeasible start Newton method to simplify initialization”56 / 91

不可行初始点与 Phase I

不可行初始点 Newton 法 Phase I 可行性方法
初始要求 x ( 0 ) ∈ dom ⁡ f 一个容易构造的辅助问题起点
主要输出 KKT 点或残差停在正值 严格可行点,或明确的不可行判定
优势 与主求解器共享 KKT 系统 对不存在严格可行点可给出判定
局限 不可行时可能缓慢停滞 需要额外的辅助优化问题
适合 定义域简单且已知交集非空 定义域复杂或可行性未知

Chapter 11 的内点法将系统讨论 Phase I;本讲只说明两种初始化策略的区别。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.2; see also §11.4 for phase I methods57 / 91

收敛分析的假设

定义残差次水平集 S = { ( x , ν ) ∣ x ∈ dom ⁡ f ,   ‖ r ( x , ν ) ‖ 2 ≤ ‖ r ( x ( 0 ) , ν ( 0 ) ) ‖ 2 } . 假设:

  1. S 为闭集;

  2. ‖ D r ( x , ν ) − 1 ‖ 2 ≤ K ;

  3. D r 在 S 上满足 Lipschitz 条件,常数为 L 。

与可行版本的差别

第二、三项仍是 KKT 矩阵逆有界与 Hessian Lipschitz;第一项改为残差次水平集闭,不要求目标函数次水平集闭。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.3, equations (10.26)–(10.27)58 / 91

残差的基本上界

记 y = ( x , ν ) ,Newton 步满足 D r ( y ) Δ y = − r ( y ) 。在适用范围内: ‖ r ( y + t Δ y ) ‖ 2 ≤ ( 1 − t ) ‖ r ( y ) ‖ 2 + K 2 L 2 t 2 ‖ r ( y ) ‖ 2 2 .

线性项

( 1 − t ) ‖ r ‖ 来自 Newton 方程对残差一阶项的精确抵消。

二次余项

1 2 K 2 L t 2 ‖ r ‖ 2 来自 Jacobian 的 Lipschitz 变化和逆矩阵范数界。

该不等式同时解释阻尼阶段的固定下降与整步阶段的二次收敛。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.3, equation (10.28)59 / 91

两个收敛阶段

阻尼阶段

若 ‖ r ( y ) ‖ 2 > 1 K 2 L , 回溯线搜索保证每步至少减少 α β K 2 L . 因此有限步后进入小残差区域。

整步与二次阶段

若 ‖ r ( y ) ‖ 2 ≤ 1 K 2 L , 则接受 t = 1 ,并满足 ‖ r ( y + ) ‖ 2 ≤ K 2 L 2 ‖ r ( y ) ‖ 2 2 .

首次整步同时使原始点可行;此后进入可行 Newton 法的快速收敛区域。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.3, equations (10.29) and the damped/full-step analysis60 / 91

最大熵问题为何更适合残差分析

考虑 min x ≻ 0   ∑ i = 1 n x i log ⁡ x i , A x = b . 当 x i ↓ 0 时, x i log ⁡ x i → 0 ,所以目标函数的次水平集不一定远离定义域边界;可行 Newton 法的经典闭集假设可能不成立。

但 d d x i ( x i log ⁡ x i ) = 1 + log ⁡ x i → − ∞ , 故接近边界时对偶残差发散,残差次水平集会远离边界。

结论的范围

这说明不可行初始点法满足教材给出的收敛假设;并不意味着可行 Newton 法一定失败,只是相应证明不再直接适用。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.3, comparison with the standard Newton method61 / 91

凸–凹博弈

玩家 1 选择 u ∈ R q 并希望最小化支付;玩家 2 选择 v ∈ R s 并希望最大化支付 ϕ ( u , v ) 。 inf u sup v ϕ ( u , v )   ≥   sup v inf u ϕ ( u , v ) . 若存在鞍点 ( u ⋆ , v ⋆ ) ,则 ϕ ( u ⋆ , v ) ≤ ϕ ( u ⋆ , v ⋆ ) ≤ ϕ ( u , v ⋆ ) ∀ u , v .

若 ϕ 对 u 凸、对 v 凹且可微,鞍点满足 ∇ u ϕ = 0 , ∇ v ϕ = 0.

与 KKT 的联系

这仍是求非线性残差 r ( u , v ) = ∇ ϕ ( u , v ) 的零点,可使用同一套残差 Newton 分析。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.4, equations (10.30)–(10.31)62 / 91

凸–凹博弈的 Newton 法

定义 r ( u , v ) = [ ∇ u ϕ ( u , v ) ∇ v ϕ ( u , v ) ] , D r = ∇ 2 ϕ . Newton 步解 ∇ 2 ϕ ( u , v ) [ Δ u Δ v ] = − [ ∇ u ϕ ∇ v ϕ ] , 并以 ‖ r ‖ 2 做回溯线搜索。

强凸–强凹

若在残差次水平集上存在 m > 0 使 ∇ u u 2 ϕ ⪰ m I , ∇ v v 2 ϕ ⪯ − m I , 则可推出 Jacobian 逆有界。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.4, Newton method for convex-concave games63 / 91

应用例 7:一维凸–凹博弈

考虑 ϕ ( u , v ) = 1 2 u 2 + u v − 1 2 v 2 − 2 u + v . 它对 u 强凸、对 v 强凹。驻点方程为 ∇ ϕ ( u , v ) = [ u + v − 2 u − v + 1 ] = 0 , ∇ 2 ϕ = [ 1 1 1 − 1 ] .

解得 ( u ⋆ , v ⋆ ) = ( 1 2 , 3 2 ) . 由于残差为仿射函数,Newton 法从任意初始点整步一次到达鞍点。

不可行初始点 Newton 法自编数值例;方法参见 Boyd & Vandenberghe, §10.3.464 / 91

教材数值例:可行实例

教材对 n = 100 、 p = 50 的解析中心问题使用 x ( 0 ) = 1 , ν ( 0 ) = 0 , α = 0.01 , β = 0.5 .

观察到的阶段

  • 第 8 次迭代接受整步;

  • 原始残差此后接近零并保持;

  • 约第 9 次迭代后,对偶残差显示二次收敛。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.5, Figures 10.1–10.2(重绘)65 / 91

教材数值例:不可行实例

若 dom ⁡ f 与 { x ∣ A x = b } 不相交,教材实验出现:

  • 残差下降后停在正值;

  • 步长始终小于 1,并逐渐趋近于 0;

  • 算法本身不能给出可靠的不可行证书。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.5, Figures 10.3–10.4(定性重绘)66 / 91

教材数值例:高维凸–凹博弈

教材考虑 R 100 × R 100 上的 ϕ ( u , v ) = u ⊤ B v + c ⊤ u + d ⊤ v − log ⁡ ( 1 − u ⊤ u ) + log ⁡ ( 1 − v ⊤ v ) , 定义域为 ‖ u ‖ 2 < 1 、 ‖ v ‖ 2 < 1 。

从 u ( 0 ) = v ( 0 ) = 0 出发,使用 α = 0.01 、 β = 0.5 。教材图中约第 5 次迭代后出现明显二次收敛。

建模意义

障碍项保证两个玩家的选择留在单位球内部;双线性项产生双方耦合。

不可行初始点 Newton 法Boyd & Vandenberghe · §10.3.5, equation (10.32), Figure 10.5(重绘)67 / 91

MATH6015 / CONVEX OPTIMIZATION

05

KKT 系统与计算实现

MATH6015 · Lecture 0568 / 91

计算 Newton 步的三条路线

矩阵结构

H 是否易于分解? A , H 是否稀疏?Schur 补是否保留稀疏性?

问题维度

比较 p 与 n − p ;三条路线只改变线性代数,Newton 外层迭代相同。

KKT 系统与计算实现Boyd & Vandenberghe · §§10.4.1–10.4.269 / 91

标准 KKT 线性系统

本节统一讨论 ( 10.33 ) [ H A ⊤ A 0 ] [ v w ] = − [ g h ] , H ∈ S + n , A ∈ R p × n , rank ⁡ A = p < n .

可行初始点 Newton 法

H = ∇ 2 f ( x ) , g = ∇ f ( x ) , h = 0 , v = Δ x n t , w = w n t .

不可行初始点 Newton 法

H = ∇ 2 f ( x ) , g = ∇ f ( x ) + A ⊤ ν , h = A x − b , ( v , w ) = ( Δ x n t , Δ ν n t ) .

凸–凹博弈也产生同类鞍点系统,其中右下对角块可为负半定。

思考:为什么不能直接用 Cholesky?左上块半正定,但整个 KKT 矩阵是不定矩阵。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, equation (10.33)70 / 91

路线一:直接分解完整 KKT 系统

KKT 矩阵对称但通常不正定,可用带主元选取的 P ⊤ K P = L D L ⊤ , K = [ H A ⊤ A 0 ] .

稠密计算量

若不利用结构,因矩阵阶数为 n + p ,分解约需 1 3 ( n + p ) 3 flops .

  • 小规模问题:实现直接、数值稳健;

  • 稀疏问题:稀疏 L D L ⊤ 可避免大量零元计算;

  • 多个右端项:一次分解可以重复回代。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, “Solving full KKT system”71 / 91

路线二:块消元与 Schur 补

先假设 H ≻ 0 。由第一行 H v + A ⊤ w = − g ⟹ v = − H − 1 ( g + A ⊤ w ) . 代入 A v = − h ,得到 ( Schur ) − A H − 1 A ⊤ ⏟ S w = A H − 1 g − h , S ≺ 0.

关键变化

原来的 ( n + p ) 阶不定系统变成:

  1. 对 H 做正定分解;

  2. 求解 p 阶正定系统 ( − S ) w = ⋯ ;

  3. 回代得到 v 。

几何含义

H − 1 给出目标函数的局部度量; A H − 1 A ⊤ 把这种度量投影到约束残差空间。

思考:若 p ≪ n 且 H 易解,为什么消元通常更便宜?

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, block elimination and Schur complement72 / 91

Algorithm 10.3:用块消元解 KKT 系统

输入

H ≻ 0 ,满行秩 A ,以及右端项 g , h 。

  1. 求 H − 1 A ⊤ 与 H − 1 g ;

  2. 构造 S = − A H − 1 A ⊤ ;

  3. 解 S w = A H − 1 g − h ;

  4. 解 H v = − A ⊤ w − g .

若分解 H 与一次回代分别耗费 f , s ,总量约为 f + p s + p 2 n + 1 3 p 3 .

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, Algorithm 10.373 / 91

结构决定每一步的代价

H 的结构 分解与回代 块消元的主导计算量
稠密正定 f ≈ n 3 / 3 , s ≈ 2 n 2 n 3 / 3 + 2 p n 2 + p 2 n + p 3 / 3
对角 无需分解, s ≈ n p 2 n + p 3 / 3
带宽 k ≪ n f ≈ n k 2 , s ≈ 4 n k n k 2 + 4 n k p + p 2 n + p 3 / 3
块对角、稀疏、对角 + 低秩 对各块或稀疏图分解 取决于块大小、秩与 fill-in

适合 Schur 补

p 较小,且 H − 1 z 可以快速计算。

适合完整 KKT 分解

K 整体稀疏,而 Schur 补会显著变稠密。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, computational costs after Algorithm 10.374 / 91

当 Hessian 奇异时

块消元公式需要 H − 1 ,但原 KKT 矩阵可能在 H ⪰ 0 、 H 奇异时仍可逆。

等价判据

KKT 矩阵非奇异,当且仅当存在 Q ⪰ 0 使 H + A ⊤ Q A ≻ 0. 若成立,则对任意 Q ≻ 0 都成立。

原系统等价于 [ H + A ⊤ Q A A ⊤ A 0 ] [ v w ] = − [ g + A ⊤ Q h h ] , 因为把原系统第二行左乘 A ⊤ Q 后加到第一行,并未改变解。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, “Elimination with singular H ”75 / 91

教材例 10.3:解析中心的对角 Hessian

min x ≻ 0 − ∑ i = 1 n log ⁡ x i s.t. A x = b , H = diag ⁡ ( x 1 − 2 , … , x n − 2 ) .

完整 KKT 分解

忽略结构时约为 1 3 ( n + p ) 3   flops .

块消元

H − 1 = diag ⁡ ( x 1 2 , … , x n 2 ) ,无需矩阵分解;主要代价为 n p 2 + 1 3 p 3 .

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, Example 10.376 / 91

教材比较:解析中心的三种 Newton 法

教材取 p = 100 , n = 500 ,比较原始可行、对偶与不可行初始点方法。

方法 初始化 进入二次阶段
原始可行 A x ( 0 ) = b , x ( 0 ) ≻ 0 约 12–15 次
对偶 A ⊤ ν ( 0 ) ≻ 0 约 6 次
不可行初始点 仅 x ( 0 ) ≻ 0 约 10–20 次

三者每一步最终都需解与 A D A ⊤ 同型的 p × p 系统,计算量量级相同。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, Figures 10.6–10.8(定性重绘)77 / 91

应用例 8:最优网络流

连通有向图上,弧流量 x j 与外部注入 s i 满足流量守恒。删除一条冗余节点方程后: ( 10.36 ) A x = b , min x ∑ j = 1 n ϕ j ( x j ) .

  • 关联矩阵每列至多有两个非零元 ± 1 ;

  • 目标可分,故 H = diag ⁡ ( ϕ j ″ ( x j ) ) ;

  • S = − A H − 1 A ⊤ 的非零模式就是节点邻接图。

后果

若网络稀疏,Schur 补也稀疏;Newton 步的代价可随弧数近似线性增长。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, “Optimal network flow”, equation (10.36)78 / 91

数值例 9:三条弧上的最优流

使用上一页的三节点网络,节点 3 的方程由守恒自动确定: A = [ 1 1 0 − 1 0 1 ] , b = [ 1 0 ] , f ( x ) = 1 2 ( x 1 2 + 2 x 2 2 + x 3 2 ) .

约束给出 x 1 + x 2 = 1 、 x 3 = x 1 ,于是 f = x 1 2 + ( 1 − x 1 ) 2 . 一阶条件 4 x 1 − 2 = 0 ,因此 x ⋆ = ( 1 2 , 1 2 , 1 2 ) , f ⋆ = 1 2 .

解释

较拥挤的第 2 条弧成本系数更大;最优解在守恒约束下平衡边际成本。

KKT 系统与计算实现自编数值例;模型参见 Boyd & Vandenberghe, §10.4.379 / 91

应用例 10:有限时域最优控制

minimize     { z ( t ) , u ( t ) } ∑ t = 1 N ϕ t ( z ( t ) ) + ∑ t = 0 N − 1 ψ t ( u ( t ) ) subject to z ( t + 1 ) = A t z ( t ) + B t u ( t ) , t = 0 , … , N − 1.

把变量按时间排列: x = ( u ( 0 ) , z ( 1 ) , u ( 1 ) , … , u ( N − 1 ) , z ( N ) ) . 目标分块可分,所以 H = diag ⁡ ( R 0 , Q 1 , … , R N − 1 , Q N ) . 动力学约束矩阵只连接相邻时刻。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, “Optimal control”80 / 91

最优控制:Schur 补为何是块三对角

动力学只把 ( t − 1 ) 与 t 相邻的变量联系起来,因此

稠密通用分解

1 3 N 3 ( 2 k + ℓ ) 3 量级,随时间长度 N 立方增长。

块三对角分解

O ( k 3 N ) 量级,随 N 线性增长;进一步整理就是 Riccati 递推。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, optimal control Schur complement81 / 91

数值例 11:两步标量控制

系统与代价为 z t + 1 = z t + u t , z 0 = 2 , N = 2 , J = 1 2 ( z 1 2 + z 2 2 + u 0 2 + u 1 2 ) .

消去状态: z 1 = 2 + u 0 , z 2 = 2 + u 0 + u 1 ,故 ∇ J = [ 4 + 3 u 0 + u 1 2 + u 0 + 2 u 1 ] . 解 ∇ J = 0 得 u 0 ⋆ = − 6 5 , u 1 ⋆ = − 2 5 , z 1 ⋆ = 4 5 , z 2 ⋆ = 2 5 .

KKT 系统与计算实现自编数值例;模型参见 Boyd & Vandenberghe, §10.4.382 / 91

应用例 12:线性矩阵不等式的解析中心

( 10.37 ) minimize     X − log ⁡ det X subject to tr ⁡ ( A i X ) = b i , i = 1 , … , p , X ∈ S + + n . KKT 条件为 ( 10.38 ) − X − 1 + ∑ i = 1 p ν i A i = 0 , tr ⁡ ( A i X ) = b i .

直接向量化

X 有 n ( n + 1 ) / 2 个自由变量;通用 KKT 分解的复杂度至少为 O ( n 6 ) 。

利用矩阵结构

当 p 固定或相对较小时,对偶法与矩阵形式的块消元都可将关于 n 的复杂度降到 O ( n 3 ) 量级。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, equations (10.37)–(10.38)83 / 91

LMI 解析中心:从对偶变量求 Newton 步

对偶问题可写成 ( 10.39 ) maximize     ν − b ⊤ ν + log ⁡ det ( ∑ i = 1 p ν i A i ) + n , ∑ i = 1 p ν i A i ≻ 0. 令 A = ∑ i ν i A i ,则 [ ∇ g ( ν ) ] i = tr ⁡ ( A − 1 A i ) − b i , [ ∇ 2 g ( ν ) ] i j = − tr ⁡ ( A − 1 A i A − 1 A j ) .

构造梯度/Hessian 并解 p 维 Newton 系统的主要代价: 2 p n 3 + 1 2 p 2 n 2 + 1 3 p 3 .

达到最优后恢复原始变量: X ⋆ = ( ∑ i = 1 p ν i ⋆ A i ) − 1 .

意义

避免把对称矩阵粗暴地当成 O ( n 2 ) 维普通向量。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, equation (10.39)84 / 91

LMI 解析中心:原始矩阵形式的块消元

在线性化 KKT 条件中消去 Δ X : ( 10.41 ) Δ X = X − ∑ i = 1 p w i X A i X . 再代回 tr ⁡ ( A j Δ X ) = 0 ,得到 p × p 系统 C w = d , C i j = tr ⁡ ( A i X A j X ) , d i = tr ⁡ ( A i X ) .

正定性

约束独立时, C 对称正定,可用 Cholesky 分解。

计算量

主要代价同样为 2 p n 3 + p 2 n 2 + 1 3 p 3 .

思考:原始法与对偶法计算量相近时,应比较哪一侧更容易找到严格可行初始点。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.3, equations (10.40)–(10.41)85 / 91

数值例 13:一个 2 × 2 LMI 解析中心

min X ≻ 0 − log ⁡ det X s.t. tr ⁡ X = 2 , X 12 = 0. 取 A 1 = I , A 2 = 1 2 [ 0 1 1 0 ] , b 1 = 2 , b 2 = 0.

约束使 X = diag ⁡ ( a , 2 − a ) ,所以 − log ⁡ det X = − log ⁡ ( a ( 2 − a ) ) . 乘积在 a = 1 处最大,因此 X ⋆ = I , ν 1 ⋆ = 1 , ν 2 ⋆ = 0.

KKT 系统与计算实现自编数值例;模型参见 Boyd & Vandenberghe, §10.4.386 / 91

教材例 10.4:等式约束下的最短折线

折线节点为 ( 0 , 0 ) , ( 1 , x 1 ) , … , ( n , x n ) ,求 minimize     x 1 + x 1 2 + ∑ i = 1 n − 1 1 + ( x i + 1 − x i ) 2 subject to A x = b .

每一项只依赖相邻两个高度,故 Hessian 为三对角矩阵。

块消元代价

p 2 n + 1 3 p 3 量级,随节点数 n 线性增长( p 固定时)。

KKT 系统与计算实现Boyd & Vandenberghe · §10.4.2, Example 10.487 / 91

数值例 14:一处自由节点的最短折线

固定端点与中间节点: ( 0 , 0 ) , ( 1 , x 1 ) , ( 2 , 1 ) , ( 3 , 0 ) . 总长度为 L ( x 1 ) = 1 + x 1 2 + 1 + ( 1 − x 1 ) 2 + 2 .

由对称性或 L ′ ( x 1 ) = 0 : x 1 1 + x 1 2 − 1 − x 1 1 + ( 1 − x 1 ) 2 = 0 , 所以 x 1 ⋆ = 1 2 , L ⋆ = 5 + 2 . 该小例展示了“局部相邻耦合”如何产生三对角 Hessian。

KKT 系统与计算实现自编数值例;模型参见 Boyd & Vandenberghe, Example 10.488 / 91

如何选择求解路线

实践中还要看数值条件

显式形成 H − 1 并非必要;应通过分解与线性求解实现 H − 1 的作用,并监控正规方程可能造成的条件数放大。

KKT 系统与计算实现Boyd & Vandenberghe · §§10.4.1–10.4.3; Appendix C89 / 91

本章的统一视角

建模层

min f ( x ) s.t. A x = b 把可行性和最优性写成 KKT 条件。

算法层

  • 可行起点:只在线性流形内移动;

  • 不可行起点:同时压低原始与对偶残差;

  • 两者局部都具有二次收敛。

计算层

每一步都归结为同一个鞍点线性系统: [ H A ⊤ A 0 ] [ Δ x Δ ν ] = − [ r d u a l r p r i ] .

Lecture 06:内点法

内点法在每一次中心化迭代中仍要求解此类 KKT 系统;本章的残差、线搜索与结构化求解会直接复用。

KKT 系统与计算实现Boyd & Vandenberghe · Chapter 10, §§10.1–10.490 / 91

本讲回顾

等式约束最小化

KKT 条件给出方程,Newton 法求解方程,结构化线性代数决定效率。

本讲目录

80 个源讲义内容单元 · 5 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义