MATH6015 / 对偶理论

MATH6015 / LECTURE 04

对偶理论

对偶下界、最优性条件与敏感性

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · §3.3 / Chapter 5

Boyd & Vandenberghe · §3.3 / Chapter 51 / 101

本讲内容

导览Boyd & Vandenberghe · §3.3 review and Chapter 52 / 101

MATH6015 / CONVEX OPTIMIZATION

01

共轭函数回顾

MATH6015 · Lecture 043 / 101

前序知识

Lectures 01A–01B

凸集、相对内部、分离定理与锥;凸函数的一阶条件、次梯度、共轭函数与 Fenchel–Young 不等式。

Lecture 01C

标准形式、等价变换,以及 LP/QP/QCQP/SOCP/GP/SDP 的变量、目标与约束结构。

线性代数

A ⊤ ν ∈ R n , X ⪰ 0 , ⟨ X , Z ⟩ = tr ⁡ ( X Z ) . 需区分 range、nullspace、正定与半正定,并核对乘子的维度。

本讲的切入点

把约束乘到目标中,再对原变量取下确界;共轭函数使这一消元过程可以计算。

共轭函数回顾Lectures 01A–01C 回顾;Boyd & Vandenberghe, Chapters 2–44 / 101

线性扰动与共轭

给定 f : R n → R ∪ { + ∞ } ,线性扰动后的最优值为 inf x ( f ( x ) − y ⊤ x ) = − sup x ( y ⊤ x − f ( x ) ) .

共轭函数

f ∗ ( y ) = sup x ∈ dom ⁡ f { y ⊤ x − f ( x ) } f ∗ 是关于 y 的仿射函数族的逐点上确界,因此始终凸。

对偶解释

x 原变量或资源数量
y 线性价格或扰动
f ∗ ( y ) 给定价格下的最大净收益

定义中的 sup 允许最优点不被取得;有效域稍后成为 dual constraint。

共轭函数回顾Boyd & Vandenberghe · §3.3.1, equation (3.18)5 / 101

几何解释与 Fenchel–Young

固定斜率 y ,将直线向上移动至接触 f : y x − f ∗ ( y ) ≤ f ( x ) . 等价地, f ( x ) + f ∗ ( y ) ≥ y ⊤ x . 若 f 为闭凸函数,等号成立当且仅当 y ∈ ∂ f ( x ) . 可微情形化为 y = ∇ f ( x ) ;共轭把斜率与接触点互换。

共轭函数回顾Boyd & Vandenberghe · §§3.3.1–3.3.2, Figure 3.86 / 101

实验|把斜率当作变量,构造共轭函数

可交互
f ∗ ( y ) = sup x { y x − f ( x ) } f ( x ) + f ∗ ( y ) − x y ≥ 0

正在准备交互图…

为什么最优接触点满足 f′(x)=y?指数函数的共轭定义域是什么?

共轭如何生成对偶约束

原函数 共轭及其有效域
I C ( x ) σ C ( y ) = sup x ∈ C y ⊤ x
‖ x ‖ I { ‖ y ‖ ∗ ≤ 1 } ( y )
1 2 x ⊤ Q x , Q ≻ 0 1 2 y ⊤ Q − 1 y
log ⁡ ∑ i e x i ∑ i y i log ⁡ y i on Δ

Δ = { y ⪰ 0 ∣ 1 ⊤ y = 1 } is the probability simplex.

对等式约束问题 min x   f ( x ) s.t.  A x = b , Lagrangian 关于 x 的下确界为 g ( ν ) = inf x ( f ( x ) + ν ⊤ ( A x − b ) ) = − f ∗ ( − A ⊤ ν ) − b ⊤ ν . f ∗ 的有效域直接给出 ν 必须满足的约束。

共轭函数回顾Boyd & Vandenberghe · §§3.3.1–3.3.2; §5.1.68 / 101

资源价格与乘子

企业使用资源 r ⪰ 0 取得收入 S ( r ) ;给定价格 p 时,最大利润为 M ( p ) = sup r ( S ( r ) − p ⊤ r ) = ( − S ) ∗ ( − p ) .

共轭视角

S 描述生产技术, p ⊤ r 是资源成本;最优资源量在边际收入与资源价格平衡处取得。

对偶视角

约束的 Lagrange multiplier 具有同样的单位资源价格含义;§5.6 将证明它给出最优值对资源上限的局部敏感度。

因此,共轭函数不是新的计算支线,而是“消去原变量并保留价格信息”的语言。

共轭函数回顾Boyd & Vandenberghe · §3.3.1, Example 3.28; §5.69 / 101

食谱问题

每天选择燕麦坚果碗与酸奶蛋白杯的份数 x 1 , x 2 ,在满足最低营养需求的同时使总开销最小。

食品(每份) 单价 蛋白质 膳食纤维
燕麦坚果碗 6 2 4
酸奶蛋白杯 8 5 1
每日最低需求 – 10 8

最低成本食谱

令 x = ( x 1 , x 2 ) ,则 minimize 6 x 1 + 8 x 2 subject   to 2 x 1 + 5 x 2 ≥ 10 , 4 x 1 + x 2 ≥ 8 , x ⪰ 0. 即 min { c ⊤ x ∣ A x ⪰ b ,   x ⪰ 0 } ,其中 A 的列对应食品,行对应营养素。

共轭函数回顾自编示例 · 归一化教学数据;数值不代表真实食品的营养成分10 / 101

补品问题

药店为蛋白质与膳食纤维补品设定单位价格 y 1 , y 2 ≥ 0 ,销售恰好满足每日需求的补品组合。

药店的定价问题

替代补品的总价不得高于相应食品的价格: maximize 10 y 1 + 8 y 2 subject   to 2 y 1 + 4 y 2 ≤ 6 , 5 y 1 + y 2 ≤ 8 , y ⪰ 0. 即 max { b ⊤ y ∣ A ⊤ y ⪯ c ,   y ⪰ 0 } 。

变量的经济含义

y i 是第 i 种营养素的单位价格,而不是补品数量; ( A ⊤ y ) j 是用补品复制第 j 种食品所含营养素的总价。

共轭函数回顾自编示例 · 食谱 LP 及其对偶;归一化教学数据11 / 101

食谱与补品的对偶关系

食谱:食品份数

minimize c ⊤ x subject   to A x ⪰ b , x ⪰ 0. x ⋆ = ( 5 3 , 4 3 ) , c ⊤ x ⋆ = 62 3 .

补品:营养单价

maximize b ⊤ y subject   to A ⊤ y ⪯ c , y ⪰ 0. y ⋆ = ( 13 9 , 7 9 ) , b ⊤ y ⋆ = 62 3 .

对任意可行 x , y ,非负性和两侧约束给出 b ⊤ y ≤ ( A x ) ⊤ y = x ⊤ A ⊤ y ≤ c ⊤ x . 补品收益始终不超过食谱成本;本例的两组可行解达到同一个值,因此 x ⋆ , y ⋆ 分别为两侧最优解。

共轭函数回顾自编示例 · 食谱 LP 及其对偶;归一化教学数据12 / 101

MATH6015 / CONVEX OPTIMIZATION

02

Lagrange 对偶函数

MATH6015 · Lecture 0413 / 101

Lagrangian

对一般问题 minimize f 0 ( x ) subject   to f i ( x ) ≤ 0 , i = 1 , … , m , h j ( x ) = 0 , j = 1 , … , p , 定义 L ( x , λ , ν ) = f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ j = 1 p ν j h j ( x ) .

λ i 对应不等式,dual feasibility 要求 λ i ≥ 0 。

ν j 对应等式,可取任意实数。每一项必须与 f 0 具有相同量纲。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.1, equation (5.1)14 / 101

Lagrange 对偶函数

固定乘子,对原变量求下确界: g ( λ , ν ) = inf x ∈ D L ( x , λ , ν ) .

对每个固定 x , L ( x , λ , ν ) 是乘子的仿射函数。因此 g 是仿射函数族的逐点下确界,故 g   始终为凹函数 . 该结论不要求 primal 为凸问题。

有效域

若 L 对 x 无下界,则 g = − ∞ 。有限性条件经常形成 dual problem 中的等式、范数球或 PSD 约束。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.215 / 101

最优值的下界

若 x ~ primal feasible 且 λ ⪰ 0 ,则 ∑ i λ i f i ( x ~ ) ≤ 0 , ∑ j ν j h j ( x ~ ) = 0. 因此 g ( λ , ν ) ≤ L ( x ~ , λ , ν ) ≤ f 0 ( x ~ ) . 再对所有 primal feasible x ~ 取下确界,得到 λ ⪰ 0 ⟹ g ( λ , ν ) ≤ p ⋆ .

方向检查

本课程采用 minimization primal,因此 dual function 提供下界。若 primal 写成 maximization,界的方向需相应调整。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.3, equation (5.2)16 / 101

约束的线性近似

原问题可写为无约束 extended-value 形式 inf x [ f 0 ( x ) + ∑ i I − ( f i ( x ) ) + ∑ j I 0 ( h j ( x ) ) ] , 其中 I − ( u ) = 0 当 u ≤ 0 ,否则为 + ∞ ; I 0 ( u ) = 0 当 u = 0 。

对 λ i ≥ 0 ,线性函数满足 λ i u ≤ I − ( u ) , ν j u ≤ I 0 ( u ) .

以这些线性下估计替代 hard indicator,便得到 Lagrangian。由于始终从下方近似,所得最优值仍是下界。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.417 / 101

乘子改变下界

固定 λ ≥ 0 : L ( x , λ ) = f 0 ( x ) + λ f 1 ( x ) . 对 x 取最低点得到 g ( λ ) 。

优化 λ 的目标,是使这个下界尽可能接近 p ⋆ 。

Lagrange 对偶函数Boyd & Vandenberghe · §§5.1.2–5.1.4; Figures 5.1–5.218 / 101

线性方程的最小范数解

教材问题为 minimize ⁡   x ⊤ x subject   to A x = b . Lagrangian 与驻点为 L ( x , ν ) = x ⊤ x + ν ⊤ ( A x − b ) , 2 x + A ⊤ ν = 0. 代入 x = − 1 2 A ⊤ ν 得 g ( ν ) = − 1 4 ν ⊤ A A ⊤ ν − b ⊤ ν .

维度

A ∈ R p × n ,故 A A ⊤ ∈ S + p , ν ∈ R p 。 g 是关于 ν 的凹二次函数。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.5, problem (5.5)19 / 101

标准形式 LP

minimize ⁡   c ⊤ x subject   to A x = b , x ⪰ 0. 对 − x ⪯ 0 引入 λ ⪰ 0 : L ( x , λ , ν ) = − b ⊤ ν + ( c + A ⊤ ν − λ ) ⊤ x . 线性函数在 R n 上有有限下确界,当且仅当其系数为零。因此 g ( λ , ν ) = { − b ⊤ ν , A ⊤ ν − λ + c = 0 , − ∞ , 其他情形 . 令 y = − ν 并消去 λ ,得到熟悉的约束 A ⊤ y ⪯ c 。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.5, problem (5.6)20 / 101

非凸划分问题的下界

教材的 two-way partitioning problem 为 minimize ⁡   x ⊤ W x subject   to x i 2 = 1 , i = 1 , … , n . 其 feasible set 含 2 n 个符号向量。Lagrangian 为 L ( x , ν ) = x ⊤ ( W + diag ⁡ ν ) x − 1 ⊤ ν , 故 g ( ν ) = { − 1 ⊤ ν , W + diag ⁡ ν ⪰ 0 , − ∞ , 其他情形 .

关键事实

非凸 primal 的 dual 仍是 convex SDP,并给出可计算的全局下界。取 ν = − λ min ( W ) 1 即得 p ⋆ ≥ n λ min ( W ) 。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.5, problems (5.7)–(5.9)21 / 101

共轭函数给出 dual function

考虑线性约束问题 minimize ⁡   f 0 ( x ) subject   to A x ⪯ b , C x = d . g ( λ , ν ) = inf x ( f 0 ( x ) + ( A ⊤ λ + C ⊤ ν ) ⊤ x − b ⊤ λ − d ⊤ ν ) = − b ⊤ λ − d ⊤ ν − f 0 ∗ ( − A ⊤ λ − C ⊤ ν ) . 有效域由 − A ⊤ λ − C ⊤ ν ∈ dom ⁡ f 0 ∗ 确定。共轭函数把“对 x 求下确界”变成函数查表与仿射映射。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.6, equations (5.10)–(5.11)22 / 101

三个共轭对偶例子

Primal 所用共轭 dual function 或有限性条件
min ‖ x ‖
A x = b
范数的共轭是 dual-unit-ball indicator g ( ν ) = − b ⊤ ν 若 ‖ A ⊤ ν ‖ ∗ ≤ 1
Entropy maximization
min ∑ i x i log ⁡ x i
( x log ⁡ x ) ∗ ( y ) = e y − 1 g 为仿射项减去指数和;可消去概率归一化乘子
Minimum-volume ellipsoid
min − log ⁡ det X
( − log ⁡ det ) ∗ ( Y ) = − log ⁡ det ( − Y ) − n ∑ i λ i a i a i ⊤ ≻ 0 ,目标含其 log-det

三个例子分别产生范数球、指数和 PSD 有效域,说明 dual constraints 来自共轭函数的定义域。

Lagrange 对偶函数Boyd & Vandenberghe · §5.1.6, problems (5.12)–(5.15)23 / 101

应用例 3:生产计划

工厂生产两种产品, x j 为产品 j 的产量,单位利润分别为 3 , 2 。两种资源的容量为 4 , 5 ,每单位产品的资源消耗由两条约束的系数给出。

Primal

maximize 3 x 1 + 2 x 2 subject   to x 1 + x 2 ≤ 4 , 2 x 1 + x 2 ≤ 5 , x ⪰ 0. 交点 x ⋆ = ( 1 , 3 ) ,最优利润为 9 。

Dual

minimize 4 y 1 + 5 y 2 subject   to y 1 + 2 y 2 ≥ 3 , y 1 + y 2 ≥ 2 , y ⪰ 0. y ⋆ = ( 1 , 1 ) ,dual value 同为 9 。

两类资源在最优点均耗尽; y i ⋆ 将在 §5.6 中解释为资源容量的边际价格。

Lagrange 对偶函数自编示例 · 两产品、两资源的数值 LP24 / 101

MATH6015 / CONVEX OPTIMIZATION

03

对偶问题与强对偶

MATH6015 · Lecture 0425 / 101

Lagrange 对偶问题

每个 dual-feasible ( λ , ν ) 都给出下界。选择最大的下界得到 maximize g ( λ , ν ) subject   to λ ⪰ 0.

dual objective g 凹,约束 λ ⪰ 0 凸,所以 dual problem 总是 convex optimization problem。

记 primal 与 dual 最优值为 p ⋆ , d ⋆ 。dual optimum 是否取得,与最优值是否有限是两个不同问题。

隐含约束

g = − ∞ 的区域不提供有效下界。实际书写 dual 时通常把 dom ⁡ g 的条件显式列为约束。

对偶问题与强对偶Boyd & Vandenberghe · §§5.2–5.2.1, equation (5.16)26 / 101

LP 的显式 dual constraints

标准形式 primal

min c ⊤ x s.t. A x = b , x ⪰ 0 等价 dual 为 max b ⊤ y s.t. A ⊤ y ⪯ c .

不等式形式 primal

min c ⊤ x s.t. A x ⪯ b 一种符号约定下的 dual 为 max − b ⊤ λ s.t. A ⊤ λ + c = 0 , λ ⪰ 0.

显式形式必须与所用不等式方向和乘子符号一致。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.1, problems (5.17)–(5.22)27 / 101

Weak duality

d ⋆ ≤ p ⋆ 对所有优化问题成立,不要求 convexity 或 constraint qualification。

已知情况 weak duality 的结论 可作出的判断
p ⋆ = − ∞ 必有 d ⋆ = − ∞ dual infeasible
d ⋆ = + ∞ 必有 p ⋆ = + ∞ primal infeasible
primal、dual 均 feasible g ( λ , ν ) ≤ p ⋆ ≤ f 0 ( x ) 两侧界住最优值

弱对偶通常不能反向使用。例如 dual infeasible 不必然意味着 primal unbounded。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.2, equation (5.23)28 / 101

Duality gap

对 primal feasible x 和 dual feasible ( λ , ν ) , g ( λ , ν ) ≤ d ⋆ ≤ p ⋆ ≤ f 0 ( x ) .

Strong duality 指 d ⋆ = p ⋆ ;它不自动保证 primal 或 dual optimum 被取得。

对偶问题与强对偶Boyd & Vandenberghe · §§5.2.2–5.2.329 / 101

实验|每一个乘子,给出一个下界

可交互
min x x 2 s.t.  x ≥ b q ( λ ) = inf x { x 2 + λ ( b − x ) } = λ b − λ 2 4

正在准备交互图…

非最优乘子能给出有效下界吗?什么时候间隙为零?

Slater 条件

对凸问题 min f 0 ( x ) s.t.  f i ( x ) ≤ 0 , A x = b , 若存在 x ~ ∈ relint ⁡ D 满足 f i ( x ~ ) < 0 ( i = 1 , … , m ) , A x ~ = b , 则 d ⋆ = p ⋆ , 且当 d ⋆ > − ∞ 时 dual optimum 被取得。

Refined Slater condition

仿射不等式无需严格满足。若前 k 个 f i 仿射,只要求 f i ( x ~ ) ≤ 0 对 i ≤ k 成立,对其余凸不等式严格成立。

Slater 是充分条件,不是强对偶的必要条件。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.3, equations (5.25)–(5.27)31 / 101

教材中的强对偶例子

问题 dual 的结构 strong duality 条件或结论
线性方程最小范数 无约束凹二次 maximization feasible 时 Slater;不可行时 p ⋆ = d ⋆ = + ∞ (dual unbounded above)
LP 另一形式的 LP primal 或 dual feasible 时成立;两边均 infeasible 是例外
凸 QCQP q ( λ ) ⊤ P ( λ ) − 1 q ( λ ) 二次不等式严格可行
Entropy maximization 指数和或 log-sum-exp 存在 x ≻ 0 满足 affine constraints
Covering ellipsoid log-det maximization 可取足够小的 X ≻ 0 ,Slater 总成立

判断强对偶时,应分别检查 convexity、domain 的相对内部和严格可行性。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.432 / 101

QCQP 的 dual

minimize 1 2 x ⊤ P 0 x + q 0 ⊤ x + r 0 subject   to 1 2 x ⊤ P i x + q i ⊤ x + r i ≤ 0. 定义 P ( λ ) = P 0 + ∑ i λ i P i , q ( λ ) = q 0 + ∑ i λ i q i , r ( λ ) = r 0 + ∑ i λ i r i . 若 P 0 ≻ 0 、 P i ⪰ 0 且 λ ⪰ 0 ,则 g ( λ ) = − 1 2 q ( λ ) ⊤ P ( λ ) − 1 q ( λ ) + r ( λ ) . 严格可行的 quadratic constraints 保证 strong duality。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.4, problems (5.28)–(5.29)33 / 101

非凸 trust-region problem

minimize ⁡   x ⊤ A x + 2 b ⊤ x subject   to x ⊤ x ≤ 1 , A ⪰̸ 0.

L ( x , λ ) = x ⊤ ( A + λ I ) x + 2 b ⊤ x − λ . 当 λ ≥ 0 , A + λ I ⪰ 0 , b ∈ R ( A + λ I ) 时, g ( λ ) = − b ⊤ ( A + λ I ) † b − λ .

特殊结论

尽管 objective 非凸,单个 quadratic inequality 且满足 Slater 时仍有 zero duality gap。这是 S-lemma 的重要表现。

对偶问题与强对偶Boyd & Vandenberghe · §5.2.4, problems (5.32)–(5.33)34 / 101

Mixed-strategy matrix game

玩家 1 选择分布 u ∈ Δ n ,玩家 2 选择 v ∈ Δ m ,期望支付为 u ⊤ P v 。 其中 Δ k = { z ∈ R k ∣ z ⪰ 0 ,   1 ⊤ z = 1 } 是概率单纯形。

若玩家 1 先公布策略: p 1 ⋆ = min u ∈ Δ n max j ( P ⊤ u ) j . 玩家 1 控制最坏支付。

若玩家 2 先公布策略: p 2 ⋆ = max v ∈ Δ m min i ( P v ) i . 玩家 2 控制最坏收入。

将第一个问题写成 LP 后,其 dual 正是第二个问题。LP strong duality 给出 min u ∈ Δ n max v ∈ Δ m u ⊤ P v = max v ∈ Δ m min u ∈ Δ n u ⊤ P v .

对偶问题与强对偶Boyd & Vandenberghe · §5.2.5, problems (5.34)–(5.35)35 / 101

应用例 4:最大流

有向边 ( i , j ) 的容量为 c i j 。最大流问题选择流量 f i j ,把尽可能多的流从源点 s 送到汇点 t 。

边上的标记为“流量 f i j / 容量 c i j ”。

可行流

每条边满足容量限制 0 ≤ f i j ≤ c i j , 中间节点满足流量守恒:流入量等于流出量。

本例的守恒关系

a :   3 = 2 + 1 , b :   2 + 1 = 3. 源点净流出量为 | f | = f s a + f s b = 3 + 2 = 5.

图中标注给出一个值为 5 的可行流;还需要一个上界来证明它是最大流。

对偶问题与强对偶自编示例 · 四节点网络;边标记为 flow/capacity36 / 101

应用例 4:最小割

割把节点分为 S 与 S ¯ = V ∖ S ,其中 s ∈ S 、 t ∈ S ¯ 。所有 s – t 流都必须从 S 离开。

红色边从 S 指向 S ¯ ,其容量计入该割。

割容量只计算从 S 指向 S ¯ 的边: C ( S , S ¯ ) = ∑ i ∈ S ,   j ∈ S ¯ ( i , j ) ∈ E c i j . 最小割问题在所有允许的 S 中最小化 C ( S , S ¯ ) 。

本例

取 S = { s } ,跨割边为 ( s , a ) 与 ( s , b ) ,所以 C ( S , S ¯ ) = 3 + 2 = 5.

任意可行流都满足 | f | ≤ C ( S , S ¯ ) 。上一页给出 | f | = 5 ,本页给出容量为 5 的割,因此两者分别为最大流与最小割: max f | f | = min S : s ∈ S , t ∉ S C ( S , S ¯ ) = 5.

对偶问题与强对偶自编示例 · 四节点网络;max-flow/min-cut duality certificate37 / 101

MATH6015 / CONVEX OPTIMIZATION

04

几何与鞍点解释

MATH6015 · Lecture 0438 / 101

Set of values

将所有约束值与目标值放在同一个集合中: G = { ( f 1 ( x ) , … , f m ( x ) , h 1 ( x ) , … , h p ( x ) , f 0 ( x ) ) ∣ x ∈ D } . 若以 ( u , v , t ) 表示该点,则 p ⋆ = inf { t ∣ ( u , v , t ) ∈ G ,   u ⪯ 0 ,   v = 0 } . 而 dual function 为 g ( λ , ν ) = inf ( u , v , t ) ∈ G ( λ , ν , 1 ) ⊤ ( u , v , t ) . 因此每个有限的 g ( λ , ν ) 都对应 G 的一个非竖直支撑超平面。

几何与鞍点解释Boyd & Vandenberghe · §5.3.1, equation (5.36)39 / 101

支撑线与 strong duality

可交互

定义 epigraph variation A = G + R + m × { 0 } × R + . 图中 A 为曲线以上区域。

若在 ( 0 , 0 , p ⋆ ) 存在法向量 ( λ , ν , 1 ) 的支撑面,则 g ( λ , ν ) = p ⋆ , 即 strong duality。

p ( u ) = min x ∈ D , x ≤ u f 0 ( x ) , p ⋆ = p ( 0 ) t = g ( λ ) − λ u

在两种情形中都取 λ = 2 ,比较支撑线在 u = 0 的截距。

几何与鞍点解释Boyd & Vandenberghe · §5.3.1, Figures 5.3–5.540 / 101

Slater 定理的几何证明

设 B = { ( 0 , 0 , s ) ∣ s < p ⋆ } . 凸集 A 与 B 不相交,因此存在分离超平面 λ ~ ⊤ u + ν ~ ⊤ v + μ t ≥ α ( ( u , v , t ) ∈ A ) .

  1. 由 A 向正的 u , t 方向封闭,得到 λ ~ ⪰ 0 、 μ ≥ 0 。

  2. 若 μ > 0 ,除以 μ 即得到某个 dual feasible ( λ , ν ) ,且 g ( λ , ν ) = p ⋆ 。

  3. Slater 点位于 inequality-value 空间的严格负侧,排除 μ = 0 的竖直分离面。

因此支撑面可规范化为法向量 ( λ , ν , 1 ) ,dual optimum 被取得。

几何与鞍点解释Boyd & Vandenberghe · §5.3.2, Figure 5.641 / 101

Multicriterion interpretation

无等式约束时,将各约束函数与 objective 组成 F ( x ) = ( f 1 ( x ) , … , f m ( x ) , f 0 ( x ) ) . 多目标 scalarization 选择非负权重 λ ~ 并最小化 λ ~ ⊤ F ( x ) . 把最后一个权重规范化为 1 后, λ ~ = ( λ , 1 ) ,所得标量目标正是 f 0 ( x ) + ∑ i λ i f i ( x ) = L ( x , λ ) .

解释

λ i 给出第 i 个 criterion 相对于原 objective 的交换率;支撑超平面的法向量同时解释 scalarization 与 Lagrange multipliers。

几何与鞍点解释Boyd & Vandenberghe · §5.3.3, problems (5.43)–(5.44)42 / 101

Max-min inequality

暂不含等式约束。对固定 x , sup λ ⪰ 0 L ( x , λ ) = { f 0 ( x ) , x  feasible , + ∞ , 否则 . 故 p ⋆ = inf x sup λ ⪰ 0 L ( x , λ ) , d ⋆ = sup λ ⪰ 0 inf x L ( x , λ ) . 一般 max-min inequality 为 sup z inf w F ( w , z ) ≤ inf w sup z F ( w , z ) . strong duality 表示对 Lagrangian 可以交换 inf 与 sup 而不改变值。

几何与鞍点解释Boyd & Vandenberghe · §5.4.1, equations (5.45)–(5.47)43 / 101

Saddle point

若 ( x ~ , λ ~ ) 满足 L ( x ~ , λ ) ≤ L ( x ~ , λ ~ ) ≤ L ( x , λ ~ ) ∀ x ,   λ ⪰ 0 , 则它是 Lagrangian 的 saddle point。

固定 λ ~ : x ~ ∈ arg min x ⁡ L ( x , λ ~ ) .

固定 x ~ : λ ~ ∈ arg max λ ⪰ 0 ⁡ L ( x ~ , λ ) .

等价关系

primal optimum、dual optimum 和 zero duality gap 共同成立,当且仅当相应点形成 saddle point。

几何与鞍点解释Boyd & Vandenberghe · §5.4.244 / 101

连续零和博弈

玩家 1 选择 x 并希望减小 L ;玩家 2 选择 λ ⪰ 0 并希望增大 L 。

玩家 1 先行动时,玩家 2 观察 x 后施加最不利价格: inf x sup λ ⪰ 0 L ( x , λ ) = p ⋆ .

玩家 2 先行动时,玩家 1 观察价格后调整决策: sup λ ⪰ 0 inf x L ( x , λ ) = d ⋆ .

duality gap 衡量后行动者因观察对方选择所获得的优势。存在 saddle point 时,行动顺序不再影响最终支付。

几何与鞍点解释Boyd & Vandenberghe · §5.4.345 / 101

价格与税的解释

f 0 ( x ) 是企业成本, f i ( x ) ≤ 0 是资源或法规限制。若允许按价格 λ i 买卖第 i 个约束的余量,总成本为 L ( x , λ ) = f 0 ( x ) + ∑ i λ i f i ( x ) . 企业在给定价格下选择最有利的运营方式,所得成本为 g ( λ ) 。

weak duality:即使监管者选择最不利价格,允许买卖约束余量后的最优成本仍不超过硬约束成本。

strong duality:存在一组 shadow prices,使企业从放松硬约束中得不到额外优势。

几何与鞍点解释Boyd & Vandenberghe · §5.4.446 / 101

MATH6015 / CONVEX OPTIMIZATION

05

最优性条件

MATH6015 · Lecture 0447 / 101

Primal-dual certificate

若 x primal feasible, ( λ , ν ) dual feasible,则 g ( λ , ν ) ≤ p ⋆ ≤ f 0 ( x ) . 因此 0 ≤ f 0 ( x ) − p ⋆ ≤ f 0 ( x ) − g ( λ , ν ) ⏟ primal-dual gap .

停止准则

若 f 0 ( x ( k ) ) − g ( λ ( k ) , ν ( k ) ) ≤ ε a b s , 则 x ( k ) 必为 ε a b s -suboptimal。该结论由可行性和 weak duality 保证,不依赖未知的 p ⋆ 。

最优性条件Boyd & Vandenberghe · §5.5.148 / 101

绝对与相对精度

绝对 gap 适用于目标值的自然尺度已知的情形。相对精度需要避免除以接近零的量。

若 g ( λ , ν ) > 0 ,可使用 f 0 ( x ) − g ( λ , ν ) g ( λ , ν ) ≤ ε r e l .

若 f 0 ( x ) < 0 ,可使用 f 0 ( x ) − g ( λ , ν ) − f 0 ( x ) ≤ ε r e l .

算法含义

Interior-point methods 同时维护 primal 和 dual 变量,以 gap 作为有数学保证的终止条件;Lecture 06 将使用这一结构。

最优性条件Boyd & Vandenberghe · §5.5.149 / 101

Complementary slackness

若 primal 与 dual optimum 均被取得且 p ⋆ = d ⋆ ,则 λ i ⋆ f i ( x ⋆ ) = 0 , i = 1 , … , m .

正乘子

λ i ⋆ > 0 ⟹ f i ( x ⋆ ) = 0. 有价格的资源必须全部用尽。

严格余量

f i ( x ⋆ ) < 0 ⟹ λ i ⋆ = 0. 尚有余量的约束没有边际价值。

它不能单独推出最优性,还需 primal feasibility、dual feasibility 与 stationarity。

最优性条件Boyd & Vandenberghe · §5.5.2, equation (5.48)50 / 101

KKT 条件

对可微问题,Karush–Kuhn–Tucker conditions 为 f i ( x ⋆ ) ≤ 0 , i = 1 , … , m , h j ( x ⋆ ) = 0 , j = 1 , … , p , λ i ⋆ ≥ 0 , i = 1 , … , m , λ i ⋆ f i ( x ⋆ ) = 0 , i = 1 , … , m , ∇ f 0 ( x ⋆ ) + ∑ i λ i ⋆ ∇ f i ( x ⋆ ) + ∑ j ν j ⋆ ∇ h j ( x ⋆ ) = 0.

primal feasibility dual feasibility complementary slackness stationarity

最优性条件Boyd & Vandenberghe · §5.5.3, equation (5.49)51 / 101

KKT 的必要性与充分性

问题类型与假设 KKT 的作用
一般可微问题,且已知 strong duality、primal/dual optimum 均取得 任一最优 primal-dual pair 必须满足 KKT
可微凸问题 任一满足 KKT 的点必为 primal/dual optimal,并且 gap 为零
可微凸问题且满足 Slater KKT 对 primal optimality 是必要且充分条件;存在最优乘子

对非凸问题,KKT 通常只提供局部候选点;不能仅凭 stationarity 断言全局最优。

最优性条件Boyd & Vandenberghe · §5.5.352 / 101

Equality-constrained QP

minimize 1 2 x ⊤ P x + q ⊤ x + r subject   to A x = b , P ⪰ 0. KKT conditions 为 A x ⋆ = b , P x ⋆ + q + A ⊤ ν ⋆ = 0 , 即线性系统 [ P A ⊤ A 0 ] [ x ⋆ ν ⋆ ] = [ − q b ] . 该 block matrix 将在 Lecture 05 中成为 equality-constrained Newton method 的核心。

最优性条件Boyd & Vandenberghe · §5.5.3, Example 5.153 / 101

Water-filling

设 α i > 0 。考虑 min x   − ∑ i = 1 n log ⁡ ( α i + x i ) s.t. x ⪰ 0 , 1 ⊤ x = 1.

KKT 给出 x i ⋆ = max { 0 , 1 / ν ⋆ − α i } , ∑ i x i ⋆ = 1. 水位为 1 / ν ⋆ ;每个容器中高于柱顶 α i 、低于水位的部分就是 x i ⋆ 。总水量决定唯一水位。

最优性条件Boyd & Vandenberghe · §5.5.3, Example 5.2; Figure 5.754 / 101

实验|有限功率应该分给哪些通道?

可交互
max x ≥ 0 ∑ i = 1 3 log ⁡ ( a i + x i ) s.t. ∑ i = 1 3 x i = P x i ∗ = max { 0 , 1 / ν ∗ − a i }

正在准备交互图…

为什么劣质通道可能完全不获得功率?

弹簧与接触力

势能最小化给出平衡位置。不可穿透约束的 multipliers 是接触力。

complementary slackness 表示只有接触发生时,接触力才可能非零;stationarity 正是两个物体的合力为零。

能量模型与不可穿透约束

f 0 ( x 1 , x 2 ) = 1 2 k 1 x 1 2 + 1 2 k 2 ( x 2 − x 1 ) 2 + 1 2 k 3 ( l − x 2 ) 2 , w 2 − x 1 ≤ 0 , w + x 1 − x 2 ≤ 0 , w 2 − l + x 2 ≤ 0. KKT stationarity 是两个物体的受力平衡; λ i f i ( x ) = 0 表示接触力只在相应间隙闭合时出现。

最优性条件Boyd & Vandenberghe · §5.5.4, Figures 5.8–5.956 / 101

实验|互补松弛可以解释为接触力

可交互
min x 1 , x 2 k 2 ( x 1 − a ) 2 + 1 2 ( x 2 − b ) 2 s.t. x 1 ≤ x 2 λ ≥ 0 , x 2 − x 1 ≥ 0 , λ ( x 2 − x 1 ) = 0

正在准备交互图…

为什么没有接触时力为零,而有接触力时位置间隙必须为零?

从 dual 恢复 primal

设 strong duality 成立且已知 dual optimum ( λ ⋆ , ν ⋆ ) 。每个 primal optimum 都满足 x ⋆ ∈ arg min x ⁡ L ( x , λ ⋆ , ν ⋆ ) . 若该 minimizer 唯一,记为 x ~ ,则:

  • 若 x ~ primal feasible,它就是 primal optimum;

  • 若 x ~ 不 feasible,则 primal optimal value 没有被取得。

Entropy recovery

对教材 entropy problem,解完 dual 后可直接恢复 x i ⋆ = exp ⁡ ( − a i ⊤ λ ⋆ − ν ⋆ − 1 ) . 严格凸性保证 Lagrangian minimizer 唯一。

最优性条件Boyd & Vandenberghe · §5.5.5, Example 5.358 / 101

可分问题的 dual decomposition

minimize ⁡   ∑ i = 1 n f i ( x i ) subject   to a ⊤ x = b , 其中每个 f i 可微且严格凸。dual function 为 g ( ν ) = − b ν − ∑ i = 1 n f i ∗ ( − ν a i ) .

给定一个标量价格 ν ,每个分量独立求解 f i ′ ( x i ( ν ) ) = − ν a i .

再用一维 root finding 或 bisection 调整 ν ,使 a ⊤ x ( ν ) = b .

这是大规模资源分配和分布式优化中的基本分解结构。

最优性条件Boyd & Vandenberghe · §5.5.5, Example 5.459 / 101

应用例 5:EV 充电

n 辆车在同一时段分配总功率 D > 0 。 p i 是车辆 i 的充电功率, a i > 0 , c i 是其凸充电成本的参数: min p i ≥ 0   ∑ i = 1 n ( 1 2 a i p i 2 + c i p i ) s.t. ∑ i p i = D . KKT stationarity 与 complementary slackness 给出 p i ⋆ ( ν ) = max { 0 , ν − c i a i } , ∑ i p i ⋆ ( ν ) = D .

采用约束 D − ∑ i p i = 0 的符号约定时, ν 是总功率平衡的边际价格。每辆车只需知道 ν ,便能独立计算自身充电量。

协调器通过一维搜索更新 ν ;该结构与 water-filling 和 Example 5.4 相同。

最优性条件自编示例 · 可分凸充电成本与总功率平衡60 / 101

应用例 6:最优传输

a i , b j ≥ 0 分别为源点与目的点的质量,且 ∑ i a i = ∑ j b j ; π i j 是运输量, c i j 是单位运输成本。

Primal transport plan

min π i j ≥ 0 ∑ i , j c i j π i j ∑ j π i j = a i , ∑ i π i j = b j .

Dual potentials

max u , v   a ⊤ u + b ⊤ v s.t. u i + v j ≤ c i j . 若 π i j ⋆ > 0 ,则 u i ⋆ + v j ⋆ = c i j 。

取 a = b = ( 1 / 2 , 1 / 2 ) 、 C = [ 1 3 2 1 ] ,最优方案沿对角运输。对偶可行解 u = ( 0 , 0 ) 、 v = ( 1 , 1 ) 给出同样的值 1 ,因而 primal/dual value 均为 1 。

最优性条件自编示例 · 离散 optimal transport 的 LP dual61 / 101

应用例 7:Soft-margin SVM

给定训练样本 ( x i , y i ) ,其中 y i ∈ { − 1 , 1 } 。参数 C > 0 控制正则化与 margin violation ξ i 的权衡。 minimize w , b , ξ 1 2 ‖ w ‖ 2 2 + C ∑ i ξ i subject   to y i ( w ⊤ x i + b ) ≥ 1 − ξ i , ξ i ≥ 0. 消去 primal variables 后,dual 为 maximize α 1 ⊤ α − 1 2 ∑ i , j α i α j y i y j x i ⊤ x j subject   to 0 ≤ α i ≤ C , ∑ i α i y i = 0. 其中 w ⋆ = ∑ i α i ⋆ y i x i 。KKT 条件进一步给出 0 < α i ⋆ < C ⇒ y i ( ( w ⋆ ) ⊤ x i + b ⋆ ) = 1 , α i ⋆ = C ⇒ y i ( ( w ⋆ ) ⊤ x i + b ⋆ ) ≤ 1. 这些 α i ⋆ > 0 的样本构成 support vectors。

最优性条件自编示例 · 线性 soft-margin support vector machine62 / 101

MATH6015 / CONVEX OPTIMIZATION

06

敏感性与等价变形

MATH6015 · Lecture 0463 / 101

Perturbed problem

将约束右端扰动为 minimize f 0 ( x ) subject   to f i ( x ) ≤ u i , i = 1 , … , m , h j ( x ) = v j , j = 1 , … , p , 并记最优值为 p ⋆ ( u , v ) 。

u i > 0 放松第 i 个 inequality; u i < 0 收紧它。

v j 改变 equality 的右端; p ⋆ ( u , v ) = + ∞ 可表示扰动后 infeasible。

Value function

若原问题为凸问题,则 p ⋆ ( u , v ) 是关于 ( u , v ) 的凸函数,其 epigraph 与 §5.3 中集合 A 的闭包一致。

敏感性与等价变形Boyd & Vandenberghe · §5.6.1, equation (5.56)64 / 101

全局敏感性界

假设原问题 strong duality 成立且 dual optimum 被取得。对任意扰动, p ⋆ ( u , v ) ≥ p ⋆ ( 0 , 0 ) − λ ⋆ ⊤ u − ν ⋆ ⊤ v .

证明只需对扰动问题的任一 feasible x 写出 p ⋆ ( 0 , 0 ) = g ( λ ⋆ , ν ⋆ ) ≤ f 0 ( x ) + λ ⋆ ⊤ u + ν ⋆ ⊤ v , 再对 x 取下确界。

非对称性

该式给出 perturbed value 的下界。它能保证收紧高价格约束会显著增加成本,却不能单独保证放松约束会带来同等幅度的改善。

敏感性与等价变形Boyd & Vandenberghe · §5.6.2, equation (5.57)65 / 101

Value function 的支撑线

乘子给出凸 value function 在原点的支撑超平面。

若 p ⋆ 在原点可微,则 λ i ⋆ = − ∂ p ⋆ ∂ u i ( 0 , 0 ) , ν j ⋆ = − ∂ p ⋆ ∂ v j ( 0 , 0 ) . 不可微时,最优乘子对应负的 subgradient。

敏感性与等价变形Boyd & Vandenberghe · §§5.6.2–5.6.3, Figure 5.1066 / 101

应用例 8:资源容量的边际价值

回到生产计划,在两个容量右端加入扰动: x 1 + x 2 ≤ 4 + u 1 , 2 x 1 + x 2 ≤ 5 + u 2 . 最优 dual price 为 y ⋆ = ( 1 , 1 ) 。在两条资源约束继续取等号且非负约束不 active 的扰动范围内, x 1 ⋆ = 1 + u 2 − u 1 , x 2 ⋆ = 3 + 2 u 1 − u 2 , V ( u ) = 9 + u 1 + u 2 . 若仍用 minimization objective p ⋆ = − V ,则 p ⋆ ( u ) = − 9 − u 1 − u 2 , ∇ p ⋆ ( 0 ) = − ( 1 , 1 ) .

单位解释

y i ⋆ = 1 表示资源 i 的容量增加一单位时,最优利润在该扰动范围内增加一单位。乘子的单位是“目标单位/约束右端单位”。

敏感性与等价变形自编示例 · 沿用应用例 3;局部 active-set sensitivity67 / 101

实验|约束放宽一点,能改善多少?

可交互
p ∗ ( b ) = min x ≤ b 1 2 ( x − c ) 2 = 1 2 max ( c − b , 0 ) 2 d p ∗ d b = − λ ∗ , λ ∗ = max ( c − b , 0 )

正在准备交互图…

为什么乘子为零时,小幅放宽约束不再降低最优值?

应用例 9:碳排放约束

p i 是机组 i 的发电量, C i 是凸发电成本, D 是总需求, e i 是单位排放量, E 是排放上限。 电力调度模型为 min p   ∑ i C i ( p i ) s.t. ∑ i p i = D , ∑ i e i p i ≤ E , p ⪰ 0. 设排放约束的最优乘子为 λ E ⋆ 。若 value function 对 E 可微, d p ⋆ ( E ) d E = − λ E ⋆ .

若排放约束松弛,则 λ E ⋆ = 0 ;在约束保持松弛的范围内,调整 E 不改变最优成本。

λ E ⋆ > 0 时约束必为 active;放宽一单位排放上限,系统成本局部下降约 λ E ⋆ 。

仅由 λ E ⋆ = 0 不能反推出约束松弛,只能得到关于 E 的一阶敏感度为零。

敏感性与等价变形自编示例 · 凸经济调度与排放上限69 / 101

等价问题可以有不同 dual

Lagrange dual 依赖问题的表示方式,而不只依赖 feasible set 和 objective 的最优点。

  1. 引入新变量和 equality constraints;

  2. 用严格递增函数变换 objective;

  3. 将显式约束并入 extended-value objective 的定义域。

这些变形保持 primal 等价,却会改变 Lagrangian 中可以单独求下确界的结构,因而改变 dual variables、dual constraints 和 dual objective。

建模含义

一种好的 reformulation 不仅要保持 convexity,还应产生易于计算、分解或解释的 dual。

敏感性与等价变形Boyd & Vandenberghe · §5.770 / 101

引入变量与 equality constraint

原问题 min x   f 0 ( A x + b ) 的 Lagrange dual function 只是常数 p ⋆ 。引入 y : min x , y   f 0 ( y ) s.t. A x + b = y . 对 x , y 分别取下确界,得到 maximize ν b ⊤ ν − f 0 ∗ ( ν ) subject   to A ⊤ ν = 0. 新 equality constraint 暴露了线性映射与非线性函数之间的接口,使 dual 具有实际结构。

敏感性与等价变形Boyd & Vandenberghe · §5.7.1, problems (5.59)–(5.61)71 / 101

教材例 5.5–5.6

Unconstrained geometric program

min x log ⁡ ∑ i = 1 m e a i ⊤ x + b i . 令 A x + b = y ,利用 log-sum-exp 共轭,dual 成为 max ν   b ⊤ ν − ∑ i ν i log ⁡ ν i 1 ⊤ ν = 1 , A ⊤ ν = 0 , ν ⪰ 0.

Norm approximation

min x ‖ A x − b ‖ . 令 A x − b = y ,利用 norm conjugate,得到 max ν   b ⊤ ν A ⊤ ν = 0 , ‖ ν ‖ ∗ ≤ 1.

一个产生 entropy objective,另一个产生 dual-norm ball。

敏感性与等价变形Boyd & Vandenberghe · §5.7.1, Examples 5.5–5.672 / 101

一般复合约束

考虑 min f 0 ( A 0 x + b 0 ) s.t. f i ( A i x + b i ) ≤ 0. 令 y i = A i x + b i 。对 x 和各 y i 取下确界后,dual 为 maximize ∑ i = 0 m ν i ⊤ b i − f 0 ∗ ( ν 0 ) − ∑ i = 1 m λ i f i ∗ ( ν i / λ i ) subject   to λ i ≥ 0 , ∑ i = 0 m A i ⊤ ν i = 0. λ i f i ∗ ( ν i / λ i ) 是 f i ∗ 的 perspective;当 λ i = 0 时需采用闭包约定。把 f i 取为 log-sum-exp 即得到 inequality-constrained GP 的 entropy-form dual。

敏感性与等价变形Boyd & Vandenberghe · §5.7.1, equations (5.65)–(5.67), Example 5.773 / 101

变换 objective

同一 norm approximation problem 可写成 min ‖ A x − b ‖ 或 min 1 2 ‖ A x − b ‖ 2 . 两者有相同 minimizers,但在引入 residual variable 后产生不同 dual:

max   b ⊤ ν s.t. A ⊤ ν = 0 ,   ‖ ν ‖ ∗ ≤ 1.

max   b ⊤ ν − 1 2 ‖ ν ‖ ∗ 2 s.t. A ⊤ ν = 0.

第一个 dual 有 hard norm-ball constraint;第二个 dual 无该约束,但 objective 含平方罚项。

敏感性与等价变形Boyd & Vandenberghe · §5.7.2, Example 5.874 / 101

Implicit constraints

教材 box-constrained LP 为 min   c ⊤ x s.t. A x = b , l ⪯ x ⪯ u . 把 box 并入定义域,令 f 0 ( x ) = c ⊤ x 在 box 内,否则为 + ∞ 。dual function 成为 g ( ν ) = − b ⊤ ν − u ⊤ ( A ⊤ ν + c ) − + l ⊤ ( A ⊤ ν + c ) + . 于是 dual 是关于 ν 的 unconstrained concave piecewise-linear maximization。

比较

若保留 box 为显式 constraints,dual 含两组非负 multipliers。两种 dual 形式不同但等价。

敏感性与等价变形Boyd & Vandenberghe · §5.7.3, Example 5.9, problems (5.68)–(5.71)75 / 101

应用例 10:TV 信号恢复

b 是含噪观测, x 是待恢复信号, D 是一阶差分矩阵, λ > 0 控制数据拟合与分段平滑之间的权衡。 min x   1 2 ‖ x − b ‖ 2 2 + λ ‖ D x ‖ 1 . 引入 z = D x : min x , z   1 2 ‖ x − b ‖ 2 2 + λ ‖ z ‖ 1 s.t. D x − z = 0. 由二次函数和 ℓ 1 范数的共轭,可得 dual max y   − 1 2 ‖ D ⊤ y ‖ 2 2 + b ⊤ D ⊤ y s.t. ‖ y ‖ ∞ ≤ λ . variable splitting 让 data-fit 与 TV regularizer 分开;dual variable 可解释为受幅值限制的离散通量。

敏感性与等价变形自编示例 · 一维 total-variation denoising 的 Fenchel dual76 / 101

MATH6015 / CONVEX OPTIMIZATION

07

Alternatives 与不可行证书

MATH6015 · Lecture 0477 / 101

Feasibility as optimization

系统 f i ( x ) ≤ 0 , i = 1 , … , m , h j ( x ) = 0 , j = 1 , … , p 可视为 objective 恒为零的 optimization problem。其最优值为 p ⋆ = { 0 , 系统 feasible , + ∞ , 系统 infeasible . 相应 dual function 为 g ( λ , ν ) = inf x ( ∑ i λ i f i ( x ) + ∑ j ν j h j ( x ) ) , 并关于 ( λ , ν ) 正齐次。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.1, equations (5.72)–(5.75)78 / 101

Weak alternatives

以下两个系统至多一个 feasible: 原系统: f i ( x ) ≤ 0 , h j ( x ) = 0 , 证书系统: λ ⪰ 0 , g ( λ , ν ) > 0. 若两者同时 feasible,则对原系统的 feasible x 有 0 < g ( λ , ν ) ≤ ∑ i λ i f i ( x ) + ∑ j ν j h j ( x ) ≤ 0 , 矛盾。

Strict system

f i ( x ) < 0 、 h j ( x ) = 0 的 weak alternative 为 λ ⪰ 0 、 λ ≠ 0 、 g ( λ , ν ) ≥ 0 。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.1, equations (5.76)–(5.78)79 / 101

Strong alternatives

若 f i convex、 h j affine,并满足适当 constraint qualification,则 alternatives 可加强为:两个系统恰有一个 feasible。 min x , s   s s.t. f i ( x ) ≤ s , A x = b 把 strict feasibility 转为最优值符号: p ⋆ < 0 ⟺ ∃ x :   f i ( x ) < 0 ,   A x = b . 若存在 x ∈ relint ⁡ D 满足 A x = b ,上述辅助问题满足 Slater,dual optimum 被取得,从而得到 strict system 的 strong alternative。

对 nonstrict system 还需要 primal optimum attainment 等额外条件。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.2, problems (5.79)–(5.84)80 / 101

Farkas lemma

下列两个系统恰有一个 feasible: (A) A x ⪯ 0 , c ⊤ x < 0 , (B) A ⊤ y + c = 0 , y ⪰ 0. 系统 (B) 的 y 是系统 (A) infeasible 的有限证书。将 (A) 视为 LP min   c ⊤ x s.t. A x ⪯ 0 并利用 LP strong duality 即可证明该结论。

几何含义

若 − c 不属于由 A 的行向量生成的相应锥,则存在超平面方向 x 将其严格分离;否则非负组合 y 给出证书。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.3, equations (5.87)–(5.90)81 / 101

应用例 11:不可行排班

令 x i 表示员工 i 的班次数。排班要求为 x 1 + x 2 ≤ 1 , x 1 ≥ 1 , x 2 ≥ 1. 写成 A x ⪯ b : A = [ 1 1 − 1 0 0 − 1 ] , b = [ 1 − 1 − 1 ] . 取 λ = ( 1 , 1 , 1 ) ⪰ 0 ,则 A ⊤ λ = 0 , b ⊤ λ = − 1 < 0. 若某个 x 满足 A x ⪯ b ,左乘 λ ⊤ 将得到 0 = λ ⊤ A x ≤ λ ⊤ b = − 1 ,矛盾。

这三个乘子构成不依赖求解过程的 infeasibility certificate。

Alternatives 与不可行证书自编示例 · 三条线性约束的 Farkas certificate82 / 101

椭球交集

设 E i = { x ∣ f i ( x ) ≤ 0 } , f i ( x ) = x ⊤ A i x + 2 b i ⊤ x + c i , A i ≻ 0. 寻找 interior intersection 等价于 strict inequalities f i ( x ) < 0 的可行性。对任意 λ ⪰ 0 、 λ ≠ 0 ,定义 A ( λ ) = ∑ i λ i A i , b ( λ ) = ∑ i λ i b i , c ( λ ) = ∑ i λ i c i . alternative certificate 为 − b ( λ ) ⊤ A ( λ ) − 1 b ( λ ) + c ( λ ) ≥ 0. 它说明组合椭球 { x ∣ ∑ i λ i f i ( x ) ≤ 0 } 包含原交集,却没有内部。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.3, equations (5.85)–(5.86)83 / 101

Arbitrage-free price bounds

初始价格为 p ,场景收益矩阵为 V 。若存在投资组合 x 满足 V x ⪰ 0 , p ⊤ x < 0 , 则存在 arbitrage。Farkas lemma 表明,无 arbitrage 等价于存在 y ⪰ 0 , V ⊤ y = p .

解释

y 是场景价格向量;若资产集合中含正收益的无风险资产,可再归一化为风险中性概率。当前资产价格必须由各场景收益的非负组合生成,否则便有确定获利机会。

若新增资产的场景收益为 a ,则所有 arbitrage-free prices 均可由满足 V ⊤ y = p 、 y ⪰ 0 的 a ⊤ y 上下界刻画。

Alternatives 与不可行证书Boyd & Vandenberghe · §5.8.3, Example 5.1084 / 101

MATH6015 / CONVEX OPTIMIZATION

08

Generalized inequalities

MATH6015 · Lecture 0485 / 101

锥序与 dual cone

proper cone K ⊆ R q 定义广义不等式 u ⪯ K v ⟺ v − u ∈ K . dual cone 为 K ∗ = { y ∣ y ⊤ z ≥ 0   ∀ z ∈ K } .

K ⪯ K 的含义 K ∗
R + q componentwise order R + q
second-order cone ‖ x ‖ 2 ≤ t 自对偶
S + q positive-semidefinite order 自对偶

dual multiplier 必须属于 K ∗ ,这是 scalar 条件 λ i ≥ 0 的推广。

Generalized inequalitiesBoyd & Vandenberghe · §5.9; §§2.4 and 2.686 / 101

Generalized Lagrangian

对 min f 0 ( x ) s.t. f i ( x ) ⪯ K i 0 , h j ( x ) = 0 , 其中 f i : R n → R q i ,定义 L ( x , λ , ν ) = f 0 ( x ) + ∑ i λ i ⊤ f i ( x ) + ∑ j ν j h j ( x ) , g ( λ , ν ) = inf x L ( x , λ , ν ) . 若 λ i ⪰ K i ∗ 0 ,则 λ i ⊤ f i ( x ) ≤ 0 对 primal feasible x 成立,故仍有 weak duality。 max g ( λ , ν ) s.t. λ i ⪰ K i ∗ 0.

Generalized inequalitiesBoyd & Vandenberghe · §5.9.1, problems (5.91)–(5.92)87 / 101

Generalized Slater condition

若 f 0 convex、每个 f i 为 K i -convex、equality affine,且存在 x ~ ∈ relint ⁡ D , A x ~ = b , f i ( x ~ ) ≺ K i 0 , 则 strong duality 成立,dual optimum 被取得。

SOCP 中严格可行意味着每个 cone constraint 位于 cone interior: ‖ z i ( x ~ ) ‖ 2 < t i ( x ~ ) .

SDP 中严格可行意味着 F ( x ~ ) ≺ 0 而不是仅有 F ( x ~ ) ⪯ 0 。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.188 / 101

SDP dual

教材 SDP 为 min x   c ⊤ x s.t. F ( x ) = ∑ i = 1 n x i F i + G ⪯ 0. 乘子 Z ∈ S + k ,Lagrangian 为 L ( x , Z ) = ∑ i x i ( c i + tr ⁡ ( F i Z ) ) + tr ⁡ ( G Z ) . 故 dual 为 maximize Z tr ⁡ ( G Z ) subject   to tr ⁡ ( F i Z ) + c i = 0 , i = 1 , … , n , Z ⪰ 0. 若存在 x 使 F ( x ) ≺ 0 ,则 strong duality 成立。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.1, Example 5.1189 / 101

Cone program dual

minimize c ⊤ x subject   to A x = b , x ⪰ K 0. 对 − x ⪯ K 0 引入 λ ⪰ K ∗ 0 。消去 λ 并令 y = − ν ,得到 maximize b ⊤ y subject   to A ⊤ y ⪯ K ∗ c . primal 使用 cone K ,dual 使用 dual cone K ∗ 。LP、SOCP、SDP 都可视为该配对的特例。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.1, Example 5.1290 / 101

Generalized KKT conditions

在 strong duality 和 differentiability 下,optimal pair 满足 f i ( x ⋆ ) ⪯ K i 0 , h j ( x ⋆ ) = 0 , λ i ⋆ ⪰ K i ∗ 0 , λ i ⋆ ⊤ f i ( x ⋆ ) = 0 , ∇ f 0 ( x ⋆ ) + ∑ i D f i ( x ⋆ ) ⊤ λ i ⋆ + ∑ j ν j ⋆ ∇ h j ( x ⋆ ) = 0. 与 scalar constraints 不同, λ i ⋆ ⊤ f i ( x ⋆ ) = 0 可能在两个向量都非零时成立。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.2, equations (5.94)–(5.95)91 / 101

SDP complementary slackness

对 Example 5.11,若 F ( x ⋆ ) ⪯ 0 、 Z ⋆ ⪰ 0 ,则 tr ⁡ ( F ( x ⋆ ) Z ⋆ ) = 0 ⟹ F ( x ⋆ ) Z ⋆ = 0.

两个 range 正交: R ( F ( x ⋆ ) ) ⟂ R ( Z ⋆ ) . 矩阵 complementary slackness 表达的是子空间正交,而不是简单的“某个标量为零”。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.2, complementary slackness for generalized inequalities92 / 101

Generalized sensitivity

将 cone constraints 扰动为 f i ( x ) ⪯ K i u i , h j ( x ) = v j . 若 unperturbed problem 有 zero duality gap,最优乘子满足全局界 p ⋆ ( u , v ) ≥ p ⋆ ( 0 , 0 ) − ∑ i λ i ⋆ ⊤ u i − ν ⋆ ⊤ v . 对 SDP perturbation F ( x ) ⪯ U , p ⋆ ( U ) ≥ p ⋆ ( 0 ) − tr ⁡ ( Z ⋆ U ) . 若可微,则 ∇ p ⋆ ( 0 ) = − Z ⋆ . 因此 dual PSD matrix 给出 value 对不同矩阵方向扰动的联合敏感性。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.3, Example 5.1393 / 101

Generalized alternatives

系统 f i ( x ) ⪯ K i 0 , h j ( x ) = 0 的 weak alternative 为 λ i ⪰ K i ∗ 0 , g ( λ , ν ) > 0. 对 strict cone inequalities,alternative 增加 λ ≠ 0 并改为 g ≥ 0 。在 K i -convex、affine equality 以及相对内部条件下得到 strong alternatives。

LMI feasibility

F ( x ) = ∑ i x i F i + G ≺ 0 与 Z ⪰ 0 , Z ≠ 0 , tr ⁡ ( G Z ) ≥ 0 , tr ⁡ ( F i Z ) = 0 构成 strong alternatives。

Generalized inequalitiesBoyd & Vandenberghe · §5.9.4, Example 5.14, equations (5.96)–(5.102)94 / 101

应用例 12:稳健线性约束

系数含椭球不确定性 a = a ¯ + P u , ‖ u ‖ 2 ≤ ρ . 要求 a ⊤ x ≤ b 对所有允许的 u 成立。由 support function sup ‖ u ‖ 2 ≤ ρ ( a ¯ + P u ) ⊤ x = a ¯ ⊤ x + ρ ‖ P ⊤ x ‖ 2 , 故 robust constraint 等价于 SOCP constraint a ¯ ⊤ x + ρ ‖ P ⊤ x ‖ 2 ≤ b . 不确定性集合的 support function 与 SOCP dual cone 在这里直接连接。

Generalized inequalities自编示例 · 椭球不确定集下的 robust linear inequality95 / 101

应用例 13:控制系统 LMI

连续时间系统 x ˙ = A x 渐近稳定,可由 Lyapunov matrix P 认证: P ≻ 0 , A ⊤ P + P A ≺ 0. 例如,取 A = [ − 1 1 0 − 2 ] , P = I , A ⊤ P + P A = [ − 2 1 1 − 4 ] ≺ 0 , 因为其特征值为 − 3 ± 2 。因此 P = I 是该系统的稳定性证书。 这是关于 P ∈ S n 的 strict LMIs。若找不到 P ,generalized alternative 可产生 PSD matrices,证明这些 LMI 无法同时严格满足。

Primal certificate:一个 P 同时证明所有状态方向的能量 V ( x ) = x ⊤ P x 严格下降。

Dual certificate:PSD multiplier 组合出无法为负定的矩阵方向,证明所选模型或结构 infeasible。

Generalized inequalities自编示例 · Lyapunov stability test as semidefinite feasibility96 / 101

MATH6015 / CONVEX OPTIMIZATION

09

总结

MATH6015 · Lecture 0497 / 101

对偶理论的结构

同一组 multipliers 同时承担下界、价格、敏感性、最优性条件和不可行证书等角色。

总结Boyd & Vandenberghe · Chapter 598 / 101

本讲公式索引

对象 公式
Conjugate f ∗ ( y ) = sup x { y ⊤ x − f ( x ) }
Dual function g ( λ , ν ) = inf x L ( x , λ , ν )
Weak duality g ( λ , ν ) ≤ d ⋆ ≤ p ⋆ ≤ f 0 ( x )
Strong duality d ⋆ = p ⋆ ;凸问题加 Slater 是常用充分条件
Complementary slackness λ i ⋆ f i ( x ⋆ ) = 0
Sensitivity λ i ⋆ = − ∂ u i p ⋆ ( 0 , 0 ) , ν j ⋆ = − ∂ v j p ⋆ ( 0 , 0 )
Cone duality f i ( x ) ⪯ K i 0 对应 λ i ⪰ K i ∗ 0
总结Boyd & Vandenberghe · §3.3 review and Chapter 599 / 101

与后续课程的连接

Lecture 05

Equality-constrained minimization 将求解 [ H A ⊤ A 0 ] [ Δ x Δ ν ] = − [ r d u a l r p r i ] , 即 KKT equations 的 Newton system。

Lecture 06

Interior-point methods 将 complementary slackness λ i ( − f i ( x ) ) = 0 扰动为 λ i ( − f i ( x ) ) = 1 / t , 沿 central path 同时逼近 primal 与 dual optimum。

总结Boyd & Vandenberghe · Chapters 10–11100 / 101

本讲回顾

带走的结构

  1. Lagrange 对偶函数通过对原变量取下确界给出原问题最优值的下界,弱对偶始终成立。

  2. 在适当的约束资格条件下,强对偶成立,KKT 条件刻画最优解。

  3. 乘子同时表示下界、影子价格与局部敏感性,也可构造不可行证书。

  4. 广义不等式把标量非负约束推广到锥序,并保留对偶与 KKT 的统一结构。

自测

  1. 给定一个简单约束问题,能否写出 Lagrangian、对偶函数与对偶问题,并检查弱对偶方向?

  2. 能否用原始可行性、对偶可行性、互补松弛和驻点条件验证一个候选解?

本讲目录

86 个源讲义内容单元 · 6 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义