MATH6015 / 内点法

MATH6015 / LECTURE 06

内点法

障碍函数、中心路径与原始–对偶方法

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 11

Boyd & Vandenberghe · Chapter 111 / 108

本讲内容

导览Boyd & Vandenberghe · Chapter 11, §§11.1–11.82 / 108

MATH6015 / CONVEX OPTIMIZATION

01

问题、假设与前序知识

MATH6015 · Lecture 063 / 108

与前面课程的连接

问题、假设与前序知识课程 Lecture 03–05 回顾;Boyd & Vandenberghe, §11.14 / 108

不等式约束凸优化

标准形式

( 11.1 ) minimize     x ∈ R n f 0 ( x ) subject~to     f i ( x ) ≤ 0 , i = 1 , … , m , A x = b , 其中 f 0 , … , f m 凸且二阶连续可微, A ∈ R p × n , rank ⁡ A = p < n 。

  • 最优解 x ⋆ 存在, p ⋆ = f 0 ( x ⋆ ) 。

  • 存在严格可行点: A x = b 且 f i ( x ) < 0 。

  • 严格可行性给出 Slater 条件与强对偶。

问题、假设与前序知识Boyd & Vandenberghe · §11.1, problem (11.1)5 / 108

KKT 条件

严格可行性保证存在 λ ⋆ ∈ R m 、 ν ⋆ ∈ R p ,使 ( 11.2 ) A x ⋆ = b , f i ( x ⋆ ) ≤ 0 , λ ⋆ ⪰ 0 , ∇ f 0 ( x ⋆ ) + ∑ i = 1 m λ i ⋆ ∇ f i ( x ⋆ ) + A ⊤ ν ⋆ = 0 , λ i ⋆ f i ( x ⋆ ) = 0 , i = 1 , … , m .

原始可行

约束满足, x ⋆ 属于可行集。

对偶可行与驻点

乘子非负,Lagrangian 对 x 的梯度为零。

互补松弛

每个约束满足 − λ i ⋆ f i ( x ⋆ ) = 0. 活跃约束可有正乘子;松弛约束的乘子为零。

问题、假设与前序知识Boyd & Vandenberghe · §11.1, KKT conditions (11.2)6 / 108

从 Newton 法到内点法

每一层都复用前一讲的核心计算:Hessian、Newton decrement、回溯线搜索与 KKT 消元。

问题、假设与前序知识Boyd & Vandenberghe · §11.1, hierarchy of convex optimization algorithms7 / 108

可直接处理的问题

问题类型 模型 内点法所需结构
LP min c ⊤ x , G x ⪯ h , A x = b 线性目标与仿射不等式
QP/QCQP 二次目标,凸二次不等式 梯度与 Hessian 可显式计算
凸形式 GP log-sum-exp 目标与约束 光滑凸复合函数
熵优化 min ∑ j x j log ⁡ x j , F x ⪯ g 定义域 x ≻ 0 与线性约束

非光滑目标需要先改写

min x max i ( a i ⊤ x + b i ) ⟺ min x , τ   τ subject~to     a i ⊤ x + b i ≤ τ . 右侧具有光滑目标与仿射约束,可以直接使用本章方法。

问题、假设与前序知识Boyd & Vandenberghe · §11.1, Examples8 / 108

应用例 1:峰值负荷控制

某工厂用 x = ( x 1 , x 2 ) 表示两台设备的调节量。三个时段的超额负荷为 ℓ 1 = 2 x 1 − x 2 + 1 , ℓ 2 = − x 1 + 2 x 2 + 2 , ℓ 3 = − x 1 − x 2 + 6 .

原始目标 min max { ℓ 1 , ℓ 2 , ℓ 3 } 在折点处不可微。引入峰值变量 τ : min x , τ τ subject~to     2 x 1 − x 2 + 1 ≤ τ , − x 1 + 2 x 2 + 2 ≤ τ , − x 1 − x 2 + 6 ≤ τ . 这是三条仿射不等式构成的 LP。

问题、假设与前序知识自编峰值负荷示例;模型变换参见 Boyd & Vandenberghe, §11.19 / 108

MATH6015 / CONVEX OPTIMIZATION

02

对数障碍与中心路径

MATH6015 · Lecture 0610 / 108

从示性函数到对数障碍

不等式 f i ( x ) ≤ 0 可写入目标: min   f 0 ( x ) + ∑ i = 1 m I − ( f i ( x ) ) , I − ( u ) = { 0 , u ≤ 0 , + ∞ , u > 0. I − 不可微。用 I ^ − ( u ) = − 1 t log ⁡ ( − u ) , u < 0 , t > 0 近似后,可以调用 Newton 法。

对数障碍与中心路径Boyd & Vandenberghe · §11.2 and Figure 11.111 / 108

对数障碍函数

定义 ( 11.5 ) ϕ ( x ) = − ∑ i = 1 m log ( − f i ( x ) ) , dom ⁡ ϕ = { x ∣ f i ( x ) < 0 ,   ∀ i } . 中心化问题可写成两个等价形式: ( 11.6 ) min A x = b   f 0 ( x ) + 1 t ϕ ( x ) ⟺ min A x = b   t f 0 ( x ) + ϕ ( x ) .

符号与导数

∇ ϕ ( x ) = ∑ i = 1 m 1 − f i ( x ) ∇ f i ( x ) , ∇ 2 ϕ ( x ) = ∑ i = 1 m ∇ f i ( x ) ∇ f i ( x ) ⊤ f i ( x ) 2 + ∑ i = 1 m 1 − f i ( x ) ∇ 2 f i ( x ) .

靠近任一边界 f i ( x ) ↑ 0 时, ϕ ( x ) → + ∞ 。

对数障碍与中心路径Boyd & Vandenberghe · §11.2.1, equations (11.4)–(11.5)12 / 108

实验|靠近边界时,曲率怎样增大?

可交互
min 0 < x < 1 t c x − log ⁡ x − log ⁡ ( 1 − x )

正在准备交互图…

障碍为何把极小点留在严格内部?

一个可手算的中心路径

考虑 min x ≥ 0 x . 把约束写成 f 1 ( x ) = − x ≤ 0 ,中心化目标为 q t ( x ) = t x − log ⁡ x , x > 0.

q t ′ ( x ) = t − 1 x = 0 ⟹ x ⋆ ( t ) = 1 t . 因此 f 0 ( x ⋆ ( t ) ) − p ⋆ = 1 t , 恰好等于 m / t ,因为 m = 1 。

t x ⋆ ( t ) 目标误差
1 1 1
5 0.2 0.2
20 0.05 0.05
对数障碍与中心路径自编数值例;结论对应 Boyd & Vandenberghe, §11.2.214 / 108

中心路径

对每个 t > 0 ,令 x ⋆ ( t ) 为中心化问题的唯一解。集合 { x ⋆ ( t ) ∣ t > 0 } 称为中心路径。中心点满足 A x ⋆ ( t ) = b , f i ( x ⋆ ( t ) ) < 0 , 且存在 ν ^ 使 ( 11.7 ) t ∇ f 0 ( x ⋆ ( t ) ) + ∑ i = 1 m 1 − f i ( x ⋆ ( t ) ) ∇ f i ( x ⋆ ( t ) ) + A ⊤ ν ^ = 0.

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, central path and equation (11.7)15 / 108

例 11.1:不等式形式 LP

对于 min c ⊤ x subject~to     G x ⪯ h , 记 g i ⊤ 为 G 的第 i 行,松弛量 s i = h i − g i ⊤ x > 0 。则 ϕ ( x ) = − ∑ i = 1 m log ⁡ s i .

梯度与 Hessian

令 d i = 1 / s i : ∇ ϕ ( x ) = G ⊤ d , ∇ 2 ϕ ( x ) = G ⊤ diag ⁡ ( d ) 2 G . 若 G 满列秩,则 Hessian 正定。

中心性条件

t c + G ⊤ d = 0. 几何上, c ⊤ x = c ⊤ x ⋆ ( t ) 与经过 x ⋆ ( t ) 的障碍函数等值线相切。

每个约束贡献一个秩一项 d i 2 g i g i ⊤ ;靠近边界时,对应项迅速增大。

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, Example 11.116 / 108

二维 LP 的中心路径

考虑 min u , v − 3 u − 2 v subject~to     u + v ≤ 4 , u ≤ 3 , v ≤ 3 , u ≥ 0 , v ≥ 0. 最优点为 ( 3 , 1 ) ,最优值 − 11 。障碍法从区域内部逼近这个顶点。 ϕ = − log ⁡ ( 4 − u − v ) − log ⁡ ( 3 − u ) − log ⁡ ( 3 − v ) − log ⁡ u − log ⁡ v .

对数障碍与中心路径自编二维 LP;理论与几何解释参见 Boyd & Vandenberghe, Example 11.1 and Figure 11.217 / 108

实验|中心路径如何接近线性规划的解?

可交互
min x t c T x − log ⁡ x 1 − log ⁡ x 2 − log ⁡ ( 1 − x 1 − x 2 )

正在准备交互图…

为什么 t 越大,中心点越接近边界?3/t 在这里衡量什么?

中心点给出对偶可行点

由中心性条件定义 ( 11.10 ) λ i ⋆ ( t ) = − 1 t f i ( x ⋆ ( t ) ) > 0 , ν ⋆ ( t ) = ν ^ t . 于是 ∇ f 0 ( x ⋆ ( t ) ) + ∑ i = 1 m λ i ⋆ ( t ) ∇ f i ( x ⋆ ( t ) ) + A ⊤ ν ⋆ ( t ) = 0.

Lagrangian 在 x ⋆ ( t ) 取极小

g ( λ ⋆ , ν ⋆ ) = f 0 ( x ⋆ ) + ∑ i λ i ⋆ f i ( x ⋆ ) .

每个互补乘积相同

− λ i ⋆ ( t ) f i ( x ⋆ ( t ) ) = 1 t . 故 g ( λ ⋆ , ν ⋆ ) = f 0 ( x ⋆ ( t ) ) − m t .

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, equations (11.10) and dual points from the central path19 / 108

对偶间隙为 m / t

中心点与相应对偶点的对偶间隙满足 f 0 ( x ⋆ ( t ) ) − g ( λ ⋆ ( t ) , ν ⋆ ( t ) ) = − ∑ i = 1 m λ i ⋆ ( t ) f i ( x ⋆ ( t ) ) = m t . 由弱对偶, ( 11.12 ) 0 ≤ f 0 ( x ⋆ ( t ) ) − p ⋆ ≤ m t .

这个界无需知道 p ⋆ 。它同时给出停止准则和对偶证书。

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, duality gap associated with the central path20 / 108

中心路径是扰动后的 KKT 系统

x = x ⋆ ( t ) 当且仅当存在 λ , ν 满足 ( 11.11 ) A x = b , f i ( x ) < 0 , λ ≻ 0 , ∇ f 0 ( x ) + ∑ i λ i ∇ f i ( x ) + A ⊤ ν = 0 , − λ i f i ( x ) = 1 t , i = 1 , … , m .

  • 小 t :每个约束保持明显松弛。

  • 大 t :活跃约束的松弛趋近零,乘子承担相应边界压力。

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, interpretation via KKT conditions21 / 108

实验|中心路径连接原变量与对偶变量

可交互
min x ≥ 0 1 2 ( x − a ) 2 x − a − λ = 0 , x λ = μ , x , λ > 0

正在准备交互图…

μ→0 时,是 x 还是 λ 走向零?

力场解释

暂不考虑等式约束。第 i 个约束产生排斥力 F i ( x ) = − ∇ [ − log ⁡ ( − f i ( x ) ) ] = 1 f i ( x ) ∇ f i ( x ) , 目标产生力 F 0 ( x ) = − t ∇ f 0 ( x ) 。中心点满足 F 0 ( x ⋆ ( t ) ) + ∑ i F i ( x ⋆ ( t ) ) = 0.

对数障碍与中心路径Boyd & Vandenberghe · §11.2.2, force field interpretation and Example 11.323 / 108

数值例 2:二维 LP 的中心点

对前述 LP 数值求解中心化问题,得到 t u ⋆ ( t ) v ⋆ ( t ) − 3 u ⋆ − 2 v ⋆ 0.5 1.8449 1.3050 − 8.1447 2 2.5342 1.2304 − 10.0634 10 2.8991 1.0520 − 10.8012 50 2.9799 1.0101 − 10.9600

此问题有 m = 5 个标量不等式,因此保证 f 0 ( x ⋆ ( t ) ) − p ⋆ ≤ 5 t . 例如 t = 50 时,实际误差约 0.0400 ,理论上界为 0.1 。

数值检查

t = 50 时 4 − u − v = 0.00995 , 3 − u = 0.02006 , u ,   v ,   3 − v > 0. 点仍严格可行,但两个即将活跃的约束松弛已经很小。

对数障碍与中心路径自编数值计算;误差界参见 Boyd & Vandenberghe, §11.2.224 / 108

应用例 3:概率分配与熵

考虑 min x   ∑ j = 1 n x j log ⁡ x j subject~to     1 ⊤ x = 1 , x ⪰ 0.

加入正性障碍后, q t ( x ) = t ∑ j x j log ⁡ x j − ∑ j log ⁡ x j . 对称性与约束 ∑ j x j = 1 给出 x 1 ⋆ ( t ) = ⋯ = x n ⋆ ( t ) = 1 n . 该例中中心路径退化为一个点:最大熵分布始终是均匀分布。

对数障碍与中心路径Boyd & Vandenberghe · §11.1 entropy example; §11.2 logarithmic barrier25 / 108

MATH6015 / CONVEX OPTIMIZATION

03

障碍法

MATH6015 · Lecture 0626 / 108

为何不直接取很大的 t

若希望误差不超过 ε ,可以一次取 t = m / ε ,然后求解 min A x = b   m ε f 0 ( x ) + ϕ ( x ) . 但当 ε 很小时, x ⋆ ( t ) 靠近边界,Hessian 在不同方向上的尺度差异很大。

障碍法的关键不是单次求解,而是沿中心路径进行一系列热启动 Newton 求解。

障碍法Boyd & Vandenberghe · §11.3, motivation before Algorithm 11.127 / 108

障碍法

Algorithm 11.1

给定严格可行 x 、 t = t ( 0 ) > 0 、 μ > 1 与容差 ε > 0 :

  1. 中心化:从当前 x 出发,求解 min A x = b   t f 0 ( x ) + ϕ ( x ) , 得到 x ⋆ ( t ) 。

  2. 更新: x ← x ⋆ ( t ) 。

  3. 停止:若 m / t < ε ,返回当前原始解和对偶证书。

  4. 增大参数: t ← μ t ,重复。

  • 一次中心化称为一次外层迭代。

  • 中心化内部执行的 Newton 步称为内层迭代。

  • 除首次中心化外,每次都由上一中心点热启动。

障碍法Boyd & Vandenberghe · §11.3.1, Algorithm 11.128 / 108

外层与内层迭代

小 μ 带来更多外层迭代和较少的每次内层步数;较大 μ 的效果相反。

障碍法Boyd & Vandenberghe · §11.3.1, centering steps and choice of μ 29 / 108

中心化的 Newton 方程

在当前严格可行点 x ,令 H t = t ∇ 2 f 0 ( x ) + ∇ 2 ϕ ( x ) , g t = t ∇ f 0 ( x ) + ∇ ϕ ( x ) . 等式约束 Newton 步由 KKT 系统给出: ( 11.14 ) [ H t A ⊤ A 0 ] [ Δ x n t ν n t ] = − [ g t 0 ] .

保持等式可行

A Δ x n t = 0 ⟹ A ( x + s Δ x n t ) = b .

保持严格不等式

回溯线搜索首先缩短 s ,直到 f i ( x + s Δ x n t ) < 0 , ∀ i , 再检查充分下降。

障碍法Boyd & Vandenberghe · §11.3.4, equation (11.14); §10.230 / 108

中心化精度与对偶证书

理论叙述常把中心化看作精确求得 x ⋆ ( t ) 。实际实现用 Newton decrement 停止: λ t ( x ) 2 2 ≤ ε n t .

适度精度已足够

中心路径只是通往原问题解的工具。近似中心化仍会产生收敛的外层序列。

高精度代价通常不大

进入二次收敛区后,再增加若干 Newton 步即可显著降低中心化误差。

若中心化不精确,直接使用 λ i = − 1 / ( t f i ( x ) ) 得到的点一般不完全对偶可行;可增加修正项,或以残差共同判断精度。

障碍法Boyd & Vandenberghe · §11.3.1, Accuracy of centering31 / 108

参数 μ 的取舍

μ 接近 1

  • 相邻中心点距离小;

  • 每次中心化 Newton 步少;

  • 外层迭代次数多。

μ 较大

  • 单次对偶间隙下降快;

  • 热启动离新中心点较远;

  • 每次中心化 Newton 步多。

障碍法Boyd & Vandenberghe · §11.3.1, Choice of μ ; qualitative version of Figure 11.532 / 108

初始参数 t ( 0 )

t ( 0 ) 太大,首次中心化困难;太小,则浪费外层迭代。

已有原始—对偶可行点

若初始对偶间隙为 η = f 0 ( x ( 0 ) ) − g ( λ , ν ) , 可取 t ( 0 ) = m η . 首次中心化产生与现有证书同量级的间隙。

只有原始点

可选择 t , ν 使中心性残差较小: min t , ν ‖ t ∇ f 0 ( x ( 0 ) ) + ∇ ϕ ( x ( 0 ) ) + A ⊤ ν ‖ 2 . 这是关于 t , ν 的最小二乘问题;也可用 Hessian 度量构造仿射不变版本。

障碍法Boyd & Vandenberghe · §11.3.1, Choice of t ( 0 ) 33 / 108

实验|解析中心不一定是最大内切圆圆心

可交互
x ac = arg min A x < b − ∑ i log ⁡ ( b i − a i T x )

正在准备交互图…

同一集合的冗余不等式会不会改变解析中心?

以不可行起点求中心点

若 x ( 0 ) 满足 f i ( x ( 0 ) ) < 0 ,但 A x ( 0 ) ≠ b ,可以对中心化问题采用 Lecture 05 的不可行起点 Newton 法。

该变体放宽了等式可行起点要求,但仍需知道一个处于所有不等式定义域内部的点。

障碍法Boyd & Vandenberghe · §11.3.1, Infeasible start Newton method35 / 108

外层迭代次数

初始中心化后再完成 k 次中心化,对偶间隙为 m μ k t ( 0 ) . 达到容差 ε 所需的额外中心化次数为 ( 11.13 ) k = ⌈ log ( m / ( ε t ( 0 ) ) ) log ⁡ μ ⌉ .

例

m = 100 , t ( 0 ) = 1 , ε = 10 − 6 , μ = 10 : k = ⌈ log ⁡ 10 8 log ⁡ 10 ⌉ = 8.

含义

外层次数仅按精度倒数的对数增长。总成本还取决于每次中心化需要多少 Newton 步。

障碍法Boyd & Vandenberghe · §11.3.3, equation (11.13)36 / 108

Newton 步与扰动 KKT

从扰动 KKT 中消去 λ i = − 1 t f i ( x ) 后,得到关于 x , ν 的非线性方程。其 Newton 线性化为 H Δ x + A ⊤ Δ ν = − g , A Δ x = 0 , 其中 H = ∇ 2 f 0 + ∑ i ∇ 2 f i − t f i + ∑ i ∇ f i ∇ f i ⊤ t f i 2 , g = ∇ f 0 + ∑ i ∇ f i − t f i . 乘以 t 后恰好得到中心化问题的 Newton 方程。

结论

障碍法可以解释为:先消去乘子 λ ,再对扰动 KKT 方程使用 Newton 法。§11.7 将不再消去 λ 。

障碍法Boyd & Vandenberghe · §11.3.4, equations (11.15)–(11.17)37 / 108

教材例:小规模 LP

教材考虑 G ∈ R 100 × 50 的随机严格可行 LP,初始对偶间隙 100 ,终止间隙 10 − 6 。

台阶横段表示中心化 Newton 步;竖段表示 t 更新后证书间隙按 μ 缩小。曲线为教材现象的示意重绘。

障碍法Boyd & Vandenberghe · §11.3.2, Linear programming in inequality form; Figure 11.438 / 108

教材例:几何规划

凸形式 GP: min x log ( ∑ k = 1 K 0 e a 0 k ⊤ x + b 0 k ) subject~to     log ( ∑ k = 1 K i e a i k ⊤ x + b i k ) ≤ 0 , i = 1 , … , m .

对应障碍 ϕ ( x ) = − ∑ i = 1 m log [ − log ( ∑ k = 1 K i e a i k ⊤ x + b i k ) ] . 教材用 n = 50 , m = 100 , K i = 5 的随机实例比较不同 μ 。

观察

  • 对偶间隙随累计 Newton 步近似线性收敛;

  • μ 在较宽范围内对总步数影响不大;

  • LP 与 GP 呈现相似的外层行为。

障碍法Boyd & Vandenberghe · §11.3.2, Geometric programming and Figure 11.639 / 108

教材例:问题规模与 Newton 步数

教材生成标准形式 LP min   c ⊤ x subject~to     A x = b , x ⪰ 0 , 并令变量数 n = 2 p ,把等式数 p 从 10 增加到 1000 。

变量规模扩大 100 倍时,观察到的 Newton 步数只从约 21 增至 27 。

计算成本的真正来源

迭代次数增长缓慢,但每次 Newton 步需要解更大的线性系统。因此必须同时分析矩阵结构与分解成本。

障碍法Boyd & Vandenberghe · §11.3.2, A family of standard form LPs; Figures 11.7–11.840 / 108

数值例 4:中心路径的热启动

仍考虑二维 LP,依次取 t = 0.5 , 2 , 10 , 50 ,并以上一个中心点作为下一次 Newton 法起点。

t 起点 Newton 步 最终目标
0.5 ( 1.5 , 1.5 ) 5 − 8.1447
2 上一中心点 7 − 10.0634
10 上一中心点 10 − 10.8012
50 上一中心点 8 − 10.9600

观察

  • 迭代点始终严格可行;

  • 对偶间隙上界按 m / t 缩小;

  • 继续增大 t 主要改善靠近边界方向的精度。

数值步数取决于停止容差与回溯参数;表中的重点是热启动链,而非某个固定步数。

障碍法自编数值计算;算法结构参见 Boyd & Vandenberghe, Algorithm 11.141 / 108

实验|同一个 LP:中心路径、障碍法与原始–对偶方法

可交互
min x ∈ R 2 c T x , A x ≤ b , s = b − A x F t ( x ) = t c T x − ∑ i log ⁡ s i , r d = c + A T λ , η ^ = s T λ

正在准备交互图…

障碍法的外层参数更新为什么带来阶段变化?互补量很小时,是否还需要检查对偶可行性?

MATH6015 / CONVEX OPTIMIZATION

04

可行性与 Phase I

MATH6015 · Lecture 0643 / 108

为何需要 Phase I

障碍法要求一个严格可行起点: A x ( 0 ) = b , f i ( x ( 0 ) ) < 0. 很多模型只给出约束,无法直接写出这样的点。Phase I 先解决一个辅助问题:

Phase I 的计算结果本身也有解释:它量化约束系统距离严格可行或不可行边界有多远。

可行性与 Phase IBoyd & Vandenberghe · §11.4, introduction44 / 108

基本 Phase I 问题

给定 A x ( 0 ) = b 且 x ( 0 ) 位于所有 f i 的定义域,引入标量 s : ( 11.19 ) min x , s s subject~to     f i ( x ) ≤ s , i = 1 , … , m , A x = b .

容易构造严格可行起点

保持 x = x ( 0 ) ,只需选 s > max i f i ( x ( 0 ) ) . 于是所有约束 f i ( x ) < s 。

s 的含义

对固定 x ,最小可行 s 为 max i f i ( x ) . 因此 Phase I 最小化最大约束违反量。

可行性与 Phase IBoyd & Vandenberghe · §11.4.1, basic phase I problem (11.19)45 / 108

Phase I 最优值的三种情况

记辅助问题最优值为 p ¯ ⋆ 。

情况 结论 可用的停止方式
p ¯ ⋆ < 0 原约束严格可行 一旦找到可行 ( x , s ) 且 s < 0 ,即可停止并把 x 交给 Phase II。
p ¯ ⋆ > 0 原约束不可行 一旦得到正的对偶下界,即可用对偶点给出不可行证书。
p ¯ ⋆ = 0 边界情形 若最小值达到,约束可行但不严格可行;若不达到,约束不可行。数值上只能给出容差结论。

若算法只能确定 | p ¯ ⋆ | < ε ,可断言 f i ( x ) ≤ − ε 不可行,而 f i ( x ) ≤ ε 可行。

可行性与 Phase IBoyd & Vandenberghe · §11.4.1, three cases for the phase I optimal value46 / 108

数值例 5:可行性由 p ¯ ⋆ 判定

考虑两组只有常数不同的约束: x 1 + x 2 ≤ c , x 1 ≥ 1 , x 2 ≥ 1. Phase I 为 min x 1 , x 2 , s s subject~to     x 1 + x 2 − c ≤ s , 1 − x 1 ≤ s , 1 − x 2 ≤ s . 由对称性令 x 1 = x 2 = a ,最优点满足 2 a − c = 1 − a ⟹ a = c + 1 3 , p ¯ ⋆ = 2 − c 3 .

c = 3

a = 4 3 , p ¯ ⋆ = − 1 3 < 0. 点 ( 4 / 3 , 4 / 3 ) 严格可行。

c = 1

a = 2 3 , p ¯ ⋆ = 1 3 > 0. 三条约束不能同时满足。

可行性与 Phase I自编数值例;判别依据参见 Boyd & Vandenberghe, §11.4.147 / 108

最小化违反量之和

另一种 Phase I 形式是 ( 11.20 ) min x , s 1 ⊤ s subject~to     f i ( x ) ≤ s i , i = 1 , … , m , A x = b , s ⪰ 0 . 对固定 x , s i = max { f i ( x ) , 0 } ,所以目标是总违反量。

最大违反量

min max i f i ( x ) 倾向于平衡最严重的几个约束。

违反量之和

min ∑ i max { f i ( x ) , 0 } 常产生稀疏违反:很多约束完全满足,仅少量约束承担冲突。

当系统不可行时,后者有助于识别一个尽可能大的可行约束子集。

可行性与 Phase IBoyd & Vandenberghe · §11.4.1, Sum of infeasibilities48 / 108

例 11.4:两种 Phase I 的结果

教材对一个不可行系统 G x ⪯ h 取 m = 100 , n = 50 :

图为教材结论的示意重绘。两种目标都确认不可行,但第二种更清楚地定位了冲突约束。

可行性与 Phase IBoyd & Vandenberghe · §11.4.1, Example 11.4 and Figure 11.949 / 108

实验|还没优化,先判断有没有可行点

可交互
min x , s s s.t. − x 1 ≤ s , − x 2 ≤ s , x 1 + x 2 − b ≤ s

正在准备交互图…

s*<0、s*=0 与 s*>0,分别说明原问题什么性质?

Phase I 与 Phase II 中心路径的连接

加入一个目标上界 f 0 ( x ) ≤ M : ( 11.21 ) min x , s s subject~to     f i ( x ) ≤ s ,   i = 1 , … , m , f 0 ( x ) ≤ M , A x = b . 其中 M > max { f 0 ( x ( 0 ) ) , p ⋆ } 。

可行性与 Phase IBoyd & Vandenberghe · §11.4.1, Termination near the phase II central path and (11.22)51 / 108

不可行起点 Newton 的 Phase I 变体

把原问题等价写成 f i ( x ) ≤ s , A x = b , s = 0. 对 min x , s   t ( 0 ) f 0 ( x ) − ∑ i log ⁡ ( s − f i ( x ) ) subject~to     A x = b ,   s = 0 使用不可行起点 Newton 法。

  • 可用任意 x 位于共同定义域内,并选 s > max i f i ( x ) 。

  • 起点不满足 s = 0 ,但残差下降后最终会出现完整 Newton 步。

  • 此后 s = 0 且 x 严格可行,算法与标准障碍法相同。

局限

若原问题不可行,残差只会停在正值附近,难以给出可靠不可行停止准则。

可行性与 Phase IBoyd & Vandenberghe · §11.4.2, Phase I via infeasible start Newton method52 / 108

接近可行性边界时更困难

教材考虑参数化系统 G x ⪯ h + γ Δ h . 数据构造为: γ > 0 时严格可行, γ < 0 时不可行, γ = 0 时可行但不严格。

基本 Phase I

远离 γ = 0 时,用约几十个 Newton 步即可找到严格可行点或不可行证书。

不可行起点法

对明显严格可行的问题可能更快;当 γ ↓ 0 时,步数可能急剧上升。

可行性与 Phase IBoyd & Vandenberghe · §11.4.3, Figures 11.10–11.1253 / 108

MATH6015 / CONVEX OPTIMIZATION

05

自协调复杂度

MATH6015 · Lecture 0654 / 108

复杂度分析的假设

§11.5 用 Lecture 03 的自协调 Newton 理论回答:增大 t 后,中心化会不会越来越难?

两个假设

  1. 对所有 t ≥ t ( 0 ) ,函数 t f 0 + ϕ 是闭的自协调函数。

  2. 原问题的次水平集有界。

第二个假设保证中心化问题可解,并使相应 Hessian 正定。

  • LP、QP、QCQP 满足该框架。

  • 障碍法在更一般问题上仍可能表现很好,但以下最坏复杂度界未必适用。

自协调复杂度Boyd & Vandenberghe · §11.5.1, self-concordance assumption55 / 108

熵问题的自协调改写

原问题 min ∑ j = 1 n x j log ⁡ x j subject~to     F x ⪯ g , A x = b 的自然目标加障碍不一定闭且自协调。显式加入定义域约束 x ⪰ 0 : ( 11.23 ) min ∑ j x j log ⁡ x j subject~to     F x ⪯ g , A x = b , x ⪰ 0. 于是 t f 0 + ϕ = t ∑ j x j log ⁡ x j − ∑ j log ⁡ x j − ∑ i log ⁡ ( g i − f i ⊤ x ) .

作用

函数 t y log ⁡ y − log ⁡ y 在 R + + 上自协调。冗余约束不改变原问题,却使复杂度理论适用。

自协调复杂度Boyd & Vandenberghe · §11.5.1, entropy maximization reformulation (11.23)56 / 108

GP 的自协调改写

对每个单项式 e a i k ⊤ x + b i k 引入上界 y i k : e a i k ⊤ x + b i k ≤ y i k ⟺ a i k ⊤ x + b i k − log ⁡ y i k ≤ 0. 凸形式 GP 可改写为 min ∑ k = 1 K 0 y 0 k subject~to     ∑ k = 1 K i y i k ≤ 1 , i = 1 , … , m , a i k ⊤ x + b i k − log ⁡ y i k ≤ 0 , y i k ≥ 0.

自协调复杂度Boyd & Vandenberghe · §11.5.1, geometric programming reformulation57 / 108

每次中心化的 Newton 步数

闭且严格凸的自协调函数 q ,从起点 x 求至规定 Newton 精度所需步数满足 ( 11.24 ) q ( x ) − q ⋆ γ + c , 1 γ = 20 − 8 α α β ( 1 − 2 α ) 2 , c ≈ 6. 从 x ⋆ ( t ) 热启动求 x ⋆ ( μ t ) 时,中心化目标差可估计为 μ t f 0 ( x ⋆ ( t ) ) + ϕ ( x ⋆ ( t ) ) − μ t f 0 ( x ⋆ ( μ t ) ) − ϕ ( x ⋆ ( μ t ) ) ≤ m ( μ − 1 − log ⁡ μ ) . 因此每次外层迭代至多需要 ( 11.26 ) m ( μ − 1 − log ⁡ μ ) γ + c 个 Newton 步。这个界与 t 、变量维数 n 和具体数据无关。

自协调复杂度Boyd & Vandenberghe · §11.5.2, equations (11.24)–(11.26)58 / 108

μ − 1 − log ⁡ μ

  • μ 接近 1 :单次中心化容易。

  • μ 增大:单次中心化的理论上界近似线性增长。

  • 界虽然保守,却证明中心化难度不会随 t → ∞ 发散。

自协调复杂度Boyd & Vandenberghe · §11.5.2 and Figure 11.1359 / 108

总 Newton 步数

把外层次数与每次中心化上界相乘: ( 11.27 ) N = ⌈ log ⁡ ( m / ( t ( 0 ) ε ) ) log ⁡ μ ⌉ ( m ( μ − 1 − log ⁡ μ ) γ + c ) .

关于精度

固定 m , μ 时, N = O ( log ⁡ 1 ε ) . 这对应至少线性收敛的最坏界。

关于 μ

μ ↓ 1 时外层次数大; μ 很大时单次中心化界大。理论最优值通常非常接近 1 。

理论界用于说明可解性与维数依赖,不用于预测实际的几十次 Newton 步。

自协调复杂度Boyd & Vandenberghe · §11.5.3, equation (11.27)60 / 108

理论上的 m 复杂度

取 ( 11.28 ) μ = 1 + 1 m , 利用 μ − 1 − log ⁡ μ ≤ 1 2 m , log ⁡ μ ≥ log ⁡ 2 m , 可得 ( 11.29 ) N ≤ ⌈ m log 2 m t ( 0 ) ε ⌉ ( 1 2 γ + c ) = O ( m log ⁡ 1 ε ) .

理论参数与实践参数

μ = 1 + 1 / m 只用于改善最坏界;实际通常选明显更大的 μ ,例如 10 – 20 ,并观察到更少的总 Newton 步。

自协调复杂度Boyd & Vandenberghe · §11.5.3, Choosing μ as a function of m 61 / 108

可行性问题的复杂度

令 F = max i f i ( 0 ) > 0 , G = max i ‖ ∇ f i ( 0 ) ‖ 2 , 并假设所有可行点位于半径 R 的球中。通过添加一个冗余线性约束,可把 ( x , s ) = ( 0 , s 0 ) 放在 Phase I 中心路径上,其中 s 0 = m G R + F . 若 Phase I 最优值为 p ¯ ⋆ ≠ 0 ,判定可行或不可行所需 Newton 步数至多具有量级 ( 11.35 ) O ( m log ⁡ m 2 G R | p ¯ ⋆ | ) .

难度参数

| p ¯ ⋆ | 越小,系统越接近“严格可行与不可行”的分界,判定越困难。这与 §11.4 的数值现象一致。

自协调复杂度Boyd & Vandenberghe · §11.5.4, feasibility problems and equation (11.35)62 / 108

Phase I 与 Phase II 的总复杂度

组合分析使用带两个冗余约束的 Phase I: f 0 ( x ) ≤ M , a ⊤ x ≤ 1. 若问题可行,Phase I 在 s = 0 处进入 Phase II 中心路径。

Phase I

N I = O ( m + 2 log ⁡ ( m + 1 ) ( m + 2 ) G R | p ¯ ⋆ | ) . 找到严格可行点或证实不可行。

Phase II

N I I = O ( m + 1 log ⁡ ( m + 1 ) ( M − p ⋆ ) ε ) . 把间隙降至 ε 。

总 Newton 步数由 N I + N I I 控制;问题接近可行性边界时,Phase I 项会变大。

自协调复杂度Boyd & Vandenberghe · §11.5.5, equations (11.36)–(11.37)63 / 108

复杂度结论的适用范围

理论给出的保证

  • 每次中心化步数有与 t 无关的统一上界;

  • 精度代价按 log ⁡ ( 1 / ε ) 增长;

  • 恰当理论参数下得到 m 量级。

数值实践中的现象

  • 最坏界远高于实际步数;

  • Newton 步数常随规模增长很慢;

  • 单步线性代数往往决定总时间。

自协调改写是否在具体实现中更快,需要结合模型结构判断;其确定优势是能够获得严格复杂度证书。

自协调复杂度Boyd & Vandenberghe · §11.5.6, Summary64 / 108

MATH6015 / CONVEX OPTIMIZATION

06

广义不等式与锥规划

MATH6015 · Lecture 0665 / 108

广义不等式问题

考虑 ( 11.38 ) min x f 0 ( x ) subject~to     f i ( x ) ⪯ K i 0 , i = 1 , … , q , A x = b , 其中 K i ⊆ R k i 为 proper cone, f i 对 K i 凸。

KKT 条件

( 11.39 ) A x ⋆ = b , f i ( x ⋆ ) ⪯ K i 0 , λ i ⋆ ⪰ K i ∗ 0 , ∇ f 0 ( x ⋆ ) + ∑ i D f i ( x ⋆ ) ⊤ λ i ⋆ + A ⊤ ν ⋆ = 0 , ( λ i ⋆ ) ⊤ f i ( x ⋆ ) = 0.

标量不等式是 K i = R + 的特殊情形;SOCP 与 SDP 由其他锥产生。

广义不等式与锥规划Boyd & Vandenberghe · §11.6, problems with generalized inequalities66 / 108

广义对数函数

proper cone K 上的广义对数 ψ : int ⁡ K → R 满足 ψ ( s x ) = ψ ( x ) + θ log ⁡ s , s > 0 , 其中 θ > 0 为 degree。定义还要求 ψ 闭、严格凹且二阶连续可微;由对数齐次性可推出 ( 11.40 ) ∇ ψ ( x ) ∈ int ⁡ K ∗ , x ⊤ ∇ ψ ( x ) = θ .

锥 K 广义对数 ψ degree
R + k ∑ j = 1 k log ⁡ x j k
二阶锥 log ⁡ ( s 2 − ‖ y ‖ 2 2 ) 2
S + p log ⁡ det X p

后续复杂度分析还需验证相应障碍 − ψ 的自协调性;这不是“广义对数”定义本身的一部分。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, Examples 11.5–11.767 / 108

三类锥的几何

逐分量非负

二阶锥截面,坐标等比例

广义障碍在锥边界处发散,并使用锥的对偶结构生成对偶变量。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, Examples 11.5–11.768 / 108

广义障碍与中心路径

令 ψ i 是 K i 的广义对数,degree 为 θ i 。定义 ϕ ( x ) = − ∑ i = 1 q ψ i ( − f i ( x ) ) , dom ⁡ ϕ = { x ∣ f i ( x ) ≺ K i 0 } . 中心点最小化 min A x = b   t f 0 ( x ) + ϕ ( x ) 并满足 ( 11.41 ) t ∇ f 0 ( x ⋆ ( t ) ) + ∑ i D f i ( x ⋆ ( t ) ) ⊤ ∇ ψ i ( − f i ( x ⋆ ( t ) ) ) + A ⊤ ν ^ = 0.

与标量情形的对应

R + m 上取 ψ ( s ) = ∑ i log ⁡ s i ,上式退化为普通对数障碍中心路径。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, logarithmic barrier and central path69 / 108

广义中心点的对偶间隙

定义 ( 11.42 ) λ i ⋆ ( t ) = 1 t ∇ ψ i ( − f i ( x ⋆ ( t ) ) ) , ν ⋆ ( t ) = ν ^ t . 由 x ⊤ ∇ ψ i ( x ) = θ i , ( 11.43 ) ( λ i ⋆ ( t ) ) ⊤ f i ( x ⋆ ( t ) ) = − θ i t . 令 θ = ∑ i = 1 q θ i , 则原始—对偶间隙为 θ / t .

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, equations (11.42)–(11.43)70 / 108

例 11.8:SOCP 障碍

SOCP min   f ⊤ x subject~to     ‖ A i x + b i ‖ 2 ≤ c i ⊤ x + d i , i = 1 , … , q 的障碍为 ( 11.45 ) ϕ ( x ) = − ∑ i = 1 q log [ ( c i ⊤ x + d i ) 2 − ‖ A i x + b i ‖ 2 2 ] . 每个二阶锥的 degree 为 2 ,故 θ = 2 q , f 0 ( x ⋆ ( t ) ) − p ⋆ ≤ 2 q t .

严格内部

Newton 线搜索必须维持 ‖ A i x + b i ‖ 2 < c i ⊤ x + d i .

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, Example 11.871 / 108

应用例 6:应急设施选址

为三个地点 a 1 = ( 0 , 0 ) , a 2 = ( 2 , 0 ) , a 3 = ( 0 , 2 ) 选择设施位置 x ∈ R 2 ,最小化最远距离: min x , r   r subject~to     ‖ x − a i ‖ 2 ≤ r , i = 1 , 2 , 3.

这是含三个二阶锥约束的 SOCP。障碍为 − ∑ i = 1 3 log ( r 2 − ‖ x − a i ‖ 2 2 ) . 最优解 x ⋆ = ( 1 , 1 ) , r ⋆ = 2 .

广义不等式与锥规划自编设施选址例;SOCP 障碍参见 Boyd & Vandenberghe, Example 11.872 / 108

实验|系数不确定时,需要留多少余量?

可交互
max x ≥ 0 c T x s.t.  a T x + σ ‖ x ‖ 2 ≤ 2 sup ‖ u ‖ 2 ≤ σ ( a + u ) T x = a T x + σ ‖ x ‖ 2

正在准备交互图…

欧氏球不确定性为什么产生一个二阶锥约束?

例 11.9:SDP 障碍

考虑 min x   c ⊤ x subject~to     F ( x ) = F 0 + ∑ j = 1 n x j F j ⪯ 0 , 其中 F j ∈ S p 。对半正定锥使用 log ⁡ det : ϕ ( x ) = − log ⁡ det ( − F ( x ) ) .

梯度

∂ ϕ ∂ x j = − tr ( F ( x ) − 1 F j ) = tr ( ( − F ) − 1 F j ) .

对偶点与间隙

Z ⋆ ( t ) = 1 t ( − F ( x ⋆ ( t ) ) ) − 1 ≻ 0 , gap = p t .

这里 degree 等于矩阵阶数 p ,而不是标量变量数 n 。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.1, Example 11.974 / 108

数值例 7:二维半正定设计

考虑 min x 1 , x 2   x 1 + x 2 subject~to     [ x 1 0 0 x 2 ] − [ 1 0.6 0.6 1 ] ⪰ 0. 半正定条件等价于 x 1 ≥ 1 , x 2 ≥ 1 , ( x 1 − 1 ) ( x 2 − 1 ) ≥ 0.36 .

对称性给出 x 1 ⋆ = x 2 ⋆ = 1.6 , p ⋆ = 3.2 . 严格内部的障碍为 − log ( ( x 1 − 1 ) ( x 2 − 1 ) − 0.36 ) .

广义不等式与锥规划自编 SDP 数值例;障碍与对偶点参见 Boyd & Vandenberghe, Example 11.975 / 108

广义障碍法与 Phase I

普通障碍法中的 m 全部替换为总 degree θ : 停止条件 θ t < ε , 外层次数 ⌈ log ⁡ ( θ / ( t ( 0 ) ε ) ) log ⁡ μ ⌉ . 广义 Phase I 选择 e i ≻ K i 0 ,求解 min x , s s subject~to     f i ( x ) ⪯ K i s e i , i = 1 , … , q , A x = b .

  • 最优值为负:得到严格锥可行点。

  • 最优值为正:对偶点给出广义不等式系统的不可行证书。

  • 最优值接近零:问题接近严格可行性的边界。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.2, barrier method and phase I76 / 108

教材数值例:SOCP 与 SDP

§11.6.3 对随机严格原始—对偶可行的 SOCP 与 SDP 使用障碍法。

小规模 SOCP

n = 50 , q = 50 ,每个 A i ∈ R 5 × 50 。初始间隙 100 ,取不同 μ :

  • 每次中心化所需 Newton 步近似恒定;

  • μ ≥ 10 时总步数约几十次。

小规模与系列 SDP

小例中 x ∈ R 100 ,矩阵阶数 p = 100 。系列例 min 1 ⊤ x subject~to     A + diag ⁡ ( x ) ⪰ 0 把 n 从 10 增至 1000 ,平均 Newton 步仅缓慢增长。

三类问题 LP、SOCP、SDP 的外层曲线相似;差别主要体现在单步线性代数。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.3, Figures 11.15–11.2077 / 108

广义不等式的复杂度

若 t f 0 + ϕ 闭且自协调、次水平集有界,则 ( 11.48 ) μ t f 0 ( x ⋆ ( t ) ) + ϕ ( x ⋆ ( t ) ) − μ t f 0 ( x ⋆ ( μ t ) ) − ϕ ( x ⋆ ( μ t ) ) ≤ θ ( μ − 1 − log ⁡ μ ) . 所以每次中心化的 Newton 步数不超过 θ ( μ − 1 − log ⁡ μ ) γ + c .

统一结论

普通不等式的复杂度理论保持不变,只需将约束数 m 替换成锥障碍的总 degree θ 。

SOCP 每个锥贡献 2 ; p × p PSD 锥贡献 p 。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.4, complexity analysis via self-concordance78 / 108

对偶锥上的广义对数

令 ψ 是 K 上 degree 为 θ 的广义对数。定义其对偶广义对数 ( 11.49 ) ψ ¯ ( y ) = inf x ≻ K 0 ( y ⊤ x − ψ ( x ) ) , y ∈ int ⁡ K ∗ . 得到 Fenchel 型不等式 ( 11.50 ) ψ ¯ ( y ) + ψ ( x ) ≤ x ⊤ y , 且等号成立当且仅当 ∇ ψ ( x ) = y 。

锥 对偶广义对数
二阶锥 原 log ⁡ ( s 2 − ‖ y ‖ 2 ) 加常数
半正定锥 log ⁡ det Y + p ,仍为 log-det 形式

该不等式是证明广义中心化上界 (11.48) 的关键。

广义不等式与锥规划Boyd & Vandenberghe · §11.6.4, equations (11.49)–(11.52), Examples 11.12–11.1379 / 108

MATH6015 / CONVEX OPTIMIZATION

07

原始—对偶内点法

MATH6015 · Lecture 0680 / 108

障碍法与原始—对偶方法

障碍法

  • 外层更新 t ,内层求中心点;

  • 每个内层点保持原始可行;

  • 中心化结束时构造对偶点;

  • 适合解释中心路径与复杂度。

原始—对偶方法

  • 只有一个迭代循环;

  • 同时更新 x , λ , ν ;

  • 中间点可以原始或对偶不可行;

  • 高精度时通常更快。

原始—对偶内点法Boyd & Vandenberghe · §11.7, introduction81 / 108

三个 KKT 残差

令 f ( x ) = [ f 1 ( x ) ⋯ f m ( x ) ] ⊤ , D f ( x ) = [ ∇ f 1 ( x ) ⊤ ⋮ ∇ f m ( x ) ⊤ ] . 扰动 KKT 残差写成 ( 11.53 ) r t ( x , λ , ν ) = [ r d u a l r c e n t r p r i ] = [ ∇ f 0 ( x ) + D f ( x ) ⊤ λ + A ⊤ ν − diag ⁡ ( λ ) f ( x ) − ( 1 / t ) 1 A x − b ] .

原始—对偶内点法Boyd & Vandenberghe · §11.7.1, equation (11.53)82 / 108

原始—对偶搜索方向

对固定 t ,在 f i ( x ) < 0 、 λ ≻ 0 的点线性化 r t = 0 : ( 11.54 ) [ ∇ 2 f 0 + ∑ i λ i ∇ 2 f i D f ⊤ A ⊤ − diag ⁡ ( λ ) D f − diag ⁡ ( f ) 0 A 0 0 ] [ Δ x Δ λ Δ ν ] = − [ r d u a l r c e n t r p r i ] .

若 r p r i = 0 ,则 A Δ x = 0 , 所以任何步长都保持线性等式可行。

方向同时依赖当前原始变量与乘子。边界松弛和乘子共同决定曲率与尺度。

实际实现通常先消去 Δ λ ,再求具有 KKT 结构的降维系统。

原始—对偶内点法Boyd & Vandenberghe · §11.7.1, equation (11.54)83 / 108

与障碍法 Newton 方向的比较

消去 Δ λ 后,原始—对偶方向满足 [ H p d A ⊤ A 0 ] [ Δ x p d Δ ν p d ] = − [ ∇ f 0 + ∑ i ∇ f i − t f i + A ⊤ ν r p r i ] , 其中 ( 11.56 ) H p d = ∇ 2 f 0 + ∑ i λ i ∇ 2 f i + ∑ i λ i − f i ∇ f i ∇ f i ⊤ .

方向何时一致

当 − λ i f i ( x ) = 1 / t , ∀ i , 即当前点满足扰动互补条件时, H p d = ( 1 / t ) H b a r ,两种原始方向相同。

原始—对偶内点法Boyd & Vandenberghe · §11.7.1, equations (11.55)–(11.58)84 / 108

代理对偶间隙

中间迭代点未必原始、对偶可行,无法直接计算真正对偶间隙。定义 ( 11.59 ) η ^ ( x , λ ) = − f ( x ) ⊤ λ , f ( x ) ≺ 0 , λ ⪰ 0.

若 r p r i = r d u a l = 0 ,则 η ^ = f 0 ( x ) − g ( λ , ν ) , 它就是真正的原始—对偶间隙。

与当前点对应的中心参数是 t c u r r e n t = m η ^ . 算法取更大的目标值 t = μ m η ^ .

终止判断

需要同时检查 ‖ r p r i ‖ 2 、 ‖ r d u a l ‖ 2 与 η ^ ;只看代理间隙并不足够。

原始—对偶内点法Boyd & Vandenberghe · §11.7.2, surrogate duality gap (11.59)85 / 108

原始—对偶内点算法

Algorithm 11.2

给定 f ( x ) ≺ 0 、 λ ≻ 0 、 μ > 1 、容差 ε f e a s , ε > 0 :

  1. 计算 η ^ = − f ( x ) ⊤ λ ,取 t = μ m / η ^ .

  2. 解线性系统 (11.54),得到 ( Δ x , Δ λ , Δ ν ) 。

  3. 通过回溯线搜索选择步长 s ,更新 ( x , λ , ν ) ← ( x , λ , ν ) + s ( Δ x , Δ λ , Δ ν ) .

当 ‖ r p r i ‖ 2 ≤ ε f e a s , ‖ r d u a l ‖ 2 ≤ ε f e a s , η ^ ≤ ε 时停止。

原始—对偶内点法Boyd & Vandenberghe · §11.7.3, Algorithm 11.286 / 108

原始—对偶线搜索

先保证乘子正: s max = min { 1 ,   min Δ λ i < 0 ( − λ i Δ λ i ) } , s ← 0.99 s max .

再反复令 s ← β s ,直到 f ( x + s Δ x ) ≺ 0.

最后继续回溯,直到 ‖ r t ( y + s Δ y ) ‖ 2 ≤ ( 1 − α s ) ‖ r t ( y ) ‖ 2 .

原始—对偶内点法Boyd & Vandenberghe · §11.7.3, Line search87 / 108

数值例 8:两变量标准 LP 的中心对

考虑 min x 1 , x 2   x 1 + 2 x 2 subject~to     x 1 + x 2 = 1 , x ⪰ 0. KKT 扰动条件为 c + A ⊤ ν − λ = 0 , x 1 + x 2 = 1 , x i λ i = 1 / t . 解得下列中心原始—对偶对: t x 1 x 2 λ 1 λ 2 gap = 2 / t 1 0.6180 0.3820 1.6180 2.6180 2 10 0.9099 0.0901 0.1099 1.1099 0.2 当 t → ∞ , x ⋆ ( t ) → ( 1 , 0 ) ,第二个非负约束活跃,其乘子趋向 1 。

原始—对偶内点法自编数值例;扰动 KKT 结构参见 Boyd & Vandenberghe, §§11.2.2 and 11.788 / 108

实验|让可行性、驻点和互补间隙一起收敛

可交互
r d = x − c + A T λ , r p = A x + s − b , r c = s ∘ λ − σ μ 1 , μ = s T λ 3

正在准备交互图…

为什么只看目标值下降不足以判定内点迭代成功?

教材例:小规模 LP 与 GP

教材用与 §11.3.2 相同的 LP、GP 数据测试原始—对偶方法: μ = 10 , α = 0.01 , β = 0.5 , ε = 10 − 8 . 起点只要求不等式严格满足,并取 λ i ( 0 ) = − 1 / f i ( x ( 0 ) ) , 使初始代理间隙为 100 。

两类问题都在约二十余次迭代内把残差和间隙降至很小。

原始—对偶内点法Boyd & Vandenberghe · §11.7.4, Small LP and GP; Figures 11.21–11.2290 / 108

教材例:LP 规模增长

对 n = 2 p 的标准 LP 系列,教材从 x ( 0 ) = 1 , λ ( 0 ) = 1 , ν ( 0 ) = 0 启动原始—对偶方法,以 ε = 10 − 8 终止。

迭代数从约 15 增至 35 ,随规模近似对数增长。

比较

虽然从不可行点起步、终止精度更高,原始—对偶方法的迭代数仍与障碍法处于同一数量级。

原始—对偶内点法Boyd & Vandenberghe · §11.7.4, A family of LPs; Figure 11.2391 / 108

MATH6015 / CONVEX OPTIMIZATION

08

实现

MATH6015 · Lecture 0692 / 108

KKT 线性系统决定单步成本

障碍法中心化 Newton 方程统一写成 ( 11.60 ) [ H A ⊤ A 0 ] [ Δ x ν n t ] = − [ g 0 ] , 其中 H = t ∇ 2 f 0 + ∑ i ∇ f i ∇ f i ⊤ f i 2 + ∑ i ∇ 2 f i − f i , g = t ∇ f 0 + ∑ i ∇ f i − f i .

实现目标

避免形成和分解一个无结构的稠密 ( n + p ) × ( n + p ) 矩阵。应利用消元、稀疏、带状、块对角或对角加低秩结构。

原始—对偶 Newton 方程具有相同的 KKT 骨架,以下结构同样适用。

实现Boyd & Vandenberghe · §11.8, equation (11.60)93 / 108

稀疏与对角加低秩

稀疏问题

若每个 f i 只依赖少量变量,则梯度、Hessian 和 A 都稀疏。使用稀疏对称不定分解或消元树,可显著减少填充。

可分目标和少量线性约束

若 ∇ 2 f 0 = D 为对角矩阵, f i 仿射,则 H = D + U C U ⊤ . 可用矩阵求逆引理把 n 维系统化为秩数维系统。

几条稠密约束通常只产生少量稠密行列,仍可在稀疏分解中专门处理。

实现Boyd & Vandenberghe · §11.8, Sparse problems; separable objective and few linear constraints94 / 108

标准形式 LP 的消元

对 min   c ⊤ x subject~to     A x = b , x ⪰ 0 , 中心化目标为 t c ⊤ x − ∑ j log ⁡ x j 。令 X = diag ⁡ ( x ) ,Newton 系统是 [ X − 2 A ⊤ A 0 ] [ Δ x ν ] = [ − t c + X − 1 1 0 ] . 先消去 Δ x : Δ x = − t X 2 c + x − X 2 A ⊤ ν , 再解 Schur 补系统 A X 2 A ⊤ ν = − t A X 2 c + b . A 满行秩时 A X 2 A ⊤ ≻ 0 ,可用 Cholesky;若 A 稀疏,Schur 补通常也可稀疏处理。

实现Boyd & Vandenberghe · §11.8.1, Standard form linear programming95 / 108

数值例 9:标准 LP 的一次消元

取 A = [ 1 1 ] , b = 1 , c = [ 1 2 ] , x = [ 0.6 0.4 ] , t = 1. 此时 X 2 = diag ⁡ ( 0.36 , 0.16 ) , A X 2 A ⊤ = 0.52 , 且 − t A X 2 c + b = − ( 0.36 + 0.32 ) + 1 = 0.32 . 故 ν n t = 0.61538 , Δ x = − X 2 c + x − X 2 A ⊤ ν n t = [ 0.01846 − 0.01846 ] . 检查 A Δ x = 0 :Newton 方向自动保持 x 1 + x 2 = 1 。

实现自编数值例;消元公式参见 Boyd & Vandenberghe, §11.8.196 / 108

ℓ 1 逼近转化为 LP

min x   ‖ A x − b ‖ 1 引入 y ∈ R m : min x , y 1 ⊤ y subject~to     A x − b ⪯ y , − ( A x − b ) ⪯ y . 令两个正 slack 及其对角权重为 s 1 = b − A x + y , s 2 = − b + A x + y , D i = diag ⁡ ( s i ) − 2   ( i = 1 , 2 ) . g 1 = diag ⁡ ( s 1 ) − 1 1 − diag ⁡ ( s 2 ) − 1 1 , g 2 = t 1 − diag ⁡ ( s 1 ) − 1 1 − diag ⁡ ( s 2 ) − 1 1 , g = g 1 + ( D 1 − D 2 ) ( D 1 + D 2 ) − 1 g 2 . 消去 Δ y 后, Δ x 满足 ( 11.61 ) A ⊤ D A Δ x = − A ⊤ g , 其中 D = 4 D 1 D 2 ( D 1 + D 2 ) − 1 = 2 ( diag ⁡ ( y ) 2 + diag ⁡ ( b − A x ) 2 ) − 1 .

实现Boyd & Vandenberghe · §11.8.2, ℓ 1 -norm approximation97 / 108

ℓ 1 内点步是加权最小二乘

方程 (11.61) 正是加权最小二乘的正规方程: min Δ x ‖ D 1 / 2 ( A Δ x + D − 1 g ) ‖ 2 2 .

  • 若 A 是稀疏矩阵、卷积算子或快速变换,结构可以在每次加权最小二乘中复用。

  • ℓ 1 拟合的成本可理解为“少量权重变化的最小二乘求解”。

实现Boyd & Vandenberghe · §11.8.2, weighted least-squares interpretation98 / 108

应用例 10:稳健传感器标定

五次标定观测为 a = ( 1 , 2 , 3 , 4 , 5 ) , b = ( 1.1 , 1.9 , 3.2 , 3.9 , 9.0 ) . 最后一个观测含明显离群误差。比较 min θ ‖ a θ − b ‖ 2 2 与 min θ ‖ a θ − b ‖ 1 . 两种斜率。 θ L S = a ⊤ b a ⊤ a = 75.1 55 = 1.3655 , θ ℓ 1 = 1.0667 . ℓ 1 解是比值 b i / a i 关于权重 a i 的加权中位数,受离群点影响较小。 ℓ 1 的内点步反复求解 a ⊤ D a Δ θ = − a ⊤ g , 其中 D , g 由当前 slack 按下一页公式计算。

实现自编标定例;实现结构参见 Boyd & Vandenberghe, §11.8.299 / 108

应用例 10:内点步中的权重

对当前 ( θ , y ) 和 barrier 参数 t ,先计算正 slack s 1 = b − a θ + y , s 2 = − b + a θ + y ,

梯度分量

D i = diag ⁡ ( s i ) − 2 , i = 1 , 2 , g 1 = diag ⁡ ( s 1 ) − 1 1 − diag ⁡ ( s 2 ) − 1 1 , g 2 = t 1 − diag ⁡ ( s 1 ) − 1 1 − diag ⁡ ( s 2 ) − 1 1 .

消元后的量

D = 4 D 1 D 2 ( D 1 + D 2 ) − 1 , g = g 1 + ( D 1 − D 2 ) ( D 1 + D 2 ) − 1 g 2 . a ⊤ D a Δ θ = − a ⊤ g .

解释

接近某一侧约束边界的 residual 会产生较大的对角权重;因此每个 interior-point step 都是由当前 slack 自适应加权的一维 least-squares normal equation。

实现Boyd & Vandenberghe, §11.8.2, equation (11.61)100 / 108

SDP 的 Newton 系统

对 min   c ⊤ x subject~to     F ( x ) = ∑ i = 1 n x i F i + G ⪯ 0 , 令 S = − F ( x ) ≻ 0 。中心化目标为 t c ⊤ x − log ⁡ det S . Newton 方程 H Δ x = − g 中 H i j = tr ⁡ ( S − 1 F i S − 1 F j ) , g i = t c i + tr ⁡ ( S − 1 F i ) .

稠密情形的主要量级

形成和求解系统的量级由 max { n p 3 ,   n 2 p 2 ,   n 3 } 控制。共同块对角结构可以逐块利用;一般稀疏 F i 并不保证 Hessian 稀疏。

实现Boyd & Vandenberghe · §11.8.3, semidefinite programming in inequality form101 / 108

应用例 11:协方差上界设计

设两个传感器的误差耦合矩阵为 B = [ 1 0.6 0.6 1 ] . 设计对角预算 diag ⁡ ( x ) 使 diag ⁡ ( x ) − B ⪰ 0 并最小化 x 1 + x 2 。这是前述最优解 ( 1.6 , 1.6 ) 的 SDP。

令 S = diag ⁡ ( x ) − B . 在严格可行点 x = ( 2 , 2 ) , S − 1 = 1 0.64 [ 1 0.6 0.6 1 ] = [ 1.5625 0.9375 0.9375 1.5625 ] .

由于 F i = − E i i , H i j = ( S i j − 1 ) 2 . 所以 H = [ 2.4414 0.8789 0.8789 2.4414 ] . 一个矩阵逆同时给出整个 Hessian。

实现自编传感器设计例;特殊结构公式参见 Boyd & Vandenberghe, §11.8.3102 / 108

网络速率优化

固定每条流的路径,令 A ∈ { 0 , 1 } L × n 为“链路—流”关联矩阵: A ℓ j = 1 ⟺ 流  j  经过链路  ℓ . 问题为 ( 11.62 ) max x   ∑ j = 1 n U j ( x j ) subject~to     A x ⪯ c , x ⪰ 0. 中心化 Hessian 具有 H = D 0 + A ⊤ D 1 A + D 2 , 其中 D 0 = − t diag ⁡ ( U j ″ ( x j ) ) , D 1 = diag ⁡ ( c − A x ) − 2 , D 2 = diag ⁡ ( x ) − 2 .

实现Boyd & Vandenberghe · §11.8.4, network rate optimization103 / 108

网络结构决定 Hessian 稀疏性

H i j ≠ 0 ⟺ 流  i , j  共享某条链路 . 短路径、每条链路承载少量流时, H 稀疏。

也可用矩阵求逆引理转为 L × L 系统;此时两个链路共享某条流才产生非零耦合。

应在 n × n 的“流耦合系统”和 L × L 的“链路耦合系统”之间选择更小、更稀疏者。

实现Boyd & Vandenberghe · §11.8.4, sparsity patterns and matrix inversion lemma104 / 108

数值例 12:三条流、两条链路

取 A = [ 1 1 0 0 1 1 ] , c = [ 3 2.5 ] , U j ( x j ) = log ⁡ x j . 问题 max x ≻ 0   log ⁡ x 1 + log ⁡ x 2 + log ⁡ x 3 subject~to     x 1 + x 2 ≤ 3 , x 2 + x 3 ≤ 2.5 . 两个容量约束在最优点均活跃。令 x 1 = 3 − x 2 、 x 3 = 2.5 − x 2 ,一阶条件为 − 1 3 − x 2 + 1 x 2 − 1 2.5 − x 2 = 0. 数值解 x ⋆ = ( 2.0946 ,   0.9054 ,   1.5946 ) . 共享两条链路的流 2 获得较小速率;稀疏矩阵 A 直接编码这种竞争关系。

实现自编网络数值例;模型与 Hessian 结构参见 Boyd & Vandenberghe, §11.8.4105 / 108

选择原始系统还是 Schur 补

结构

优先考虑

原因

p ≪ n , H − 1 易算

p × p Schur 补

消去 Δ x ,系统明显降维

n ≪ p 或 Schur 补变稠密

原始 KKT 系统

避免形成稠密 A H − 1 A ⊤

带状/块对角 Hessian

结构化直接分解

保持局部耦合,减少填充

网络或图模型

比较流系统与链路系统

选择维数更小、图更稀疏的一侧

SDP 共同块结构

按块形成逆与 Hessian

矩阵运算可并行,避免大稠密块

线性方程的数学等价形式很多;数值实现应根据维数、稀疏模式和条件数选择。

实现Boyd & Vandenberghe · §11.8 and §§9.7, 10.4106 / 108

第 11 章的结构

中心路径与证书

  • 对数障碍把不等式变为光滑目标;

  • 中心点同时生成对偶可行点;

  • m / t 或 θ / t 给出可验证误差界。

初始化与复杂度

Phase I 找严格可行点或证实不可行。自协调性给出每次中心化的统一界和 O ( m log ⁡ ( 1 / ε ) ) 型最坏复杂度。

锥与原始—对偶方法

普通障碍扩展到正交锥、二阶锥与半正定锥。原始—对偶方法同时更新原始变量与乘子,通常更适合高精度计算。

实现

实际时间主要花在线性系统。LP 消元、 ℓ 1 加权最小二乘、SDP 块结构和网络稀疏图决定单步成本。

Lecture 07:统计估计

最大似然、maximum entropy、协方差估计与实验设计将产生 log-sum-exp、entropy、log-det 及 conic models;本讲的 primal–dual certificates 与 KKT 求解器为这些模型提供计算基础。

实现Boyd & Vandenberghe · Chapter 11, §§11.1–11.8107 / 108

本讲回顾

带走的结构

  1. 对数障碍把不等式约束变为光滑目标;中心路径随 t 增大逼近最优解。

  2. 中心点同时给出对偶可行点和可验证误差界,典型对偶间隙为 m / t 。

  3. Phase I 处理严格可行起点,自协调性控制 Newton 中心化步数和最坏复杂度。

  4. 原始—对偶方法求解扰动 KKT 方程;稀疏性、Schur 补和锥结构决定单步成本。

自测

  1. 给定约束数 m 与精度 ε ,应把 t 增大到什么量级才能得到所需间隙?

  2. 面对一个 KKT 系统,能否根据维度和稀疏结构判断应直接求解还是形成 Schur 补?

本讲目录

91 个源讲义内容单元 · 8 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义