MATH6015 / 凸优化问题

MATH6015 / LECTURE 01C

凸优化问题

从问题描述到 LP、QP、SOCP 与 GP

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 4

Boyd & Vandenberghe · Chapter 41 / 67

MATH6015 / CONVEX OPTIMIZATION

01

课程承接

MATH6015 · Lecture 01C2 / 67

前置知识与本讲问题

本讲集中回答三个问题:

  1. 怎样判断一个给定表示是否构成凸优化问题?

  2. 怎样通过等价变换得到便于分析和计算的标准形式?

  3. LP、QP、QCQP、SOCP 与 GP 分别对应哪些结构?

凸集描述可行域,凸函数描述目标和不等式;仿射函数描述等式约束。

课程承接Boyd & Vandenberghe, Chapters 2–43 / 67

生产计划:第三次回访

minimize u , v − 3 u − 2 v subject   to 2 u + v ≤ 8 , u + 2 v ≤ 8 , u ≥ 0 , v ≥ 0.

前两讲分别确认了可行域的凸性与函数的凸性;本讲进一步辨认模型类别、标准形式及等价表示。

课程承接自编示例;参见 Boyd & Vandenberghe, Section 4.3.14 / 67

内容结构

分析顺序为:先确定问题的数学语义,再检查凸性与等价表示,最后按结构识别可用的标准模型。

课程承接Boyd & Vandenberghe, Chapter 45 / 67

MATH6015 / CONVEX OPTIMIZATION

02

4.1 优化问题的描述

MATH6015 · Lecture 01C6 / 67

优化问题

minimize x ∈ R n f 0 ( x ) subject   to f i ( x ) ≤ 0 , i = 1 , … , m , h j ( x ) = 0 , j = 1 , … , p .

  • x :optimization variable(决策变量);

  • f 0 :objective/cost function(目标/代价函数);

  • f i ≤ 0 、 h j = 0 :inequality / equality constraints。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.17 / 67

定义域与可行性

问题的定义域是所有函数同时有定义的点: D = ⋂ i = 0 m dom ⁡ f i ∩ ⋂ j = 1 p dom ⁡ h j .

  • x ∈ D 且满足全部约束,称为 feasible point;

  • 所有 feasible points 构成 feasible set X ;

  • X ≠ ∅ 时问题 feasible,否则 infeasible。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.18 / 67

最优值与三种状态

p ⋆ = inf { f 0 ( x ) ∣ x ∈ X } .

例如,在 x > 0 上: min 1 / x 的最优值为 0 但不取到; min ( − log ⁡ x ) 无下界; min x log ⁡ x 的最优点为 1 / e 。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.19 / 67

最优点与约束状态

X o p t = { x ∈ X ∣ f 0 ( x ) = p ⋆ } .

  • 若 X o p t ≠ ∅ ,称最优值 attained;

  • f 0 ( x ) ≤ p ⋆ + ϵ 的 feasible x 称为 ϵ -suboptimal;

  • 若 f i ( x ) = 0 ,第 i 个不等式在 x 处 active; 若 f i ( x ) < 0 ,则 inactive;

  • 删除后不改变可行域的约束称 redundant。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.110 / 67

可行性问题

当 f 0 ≡ 0 时,优化问题退化为 find x subject   to f i ( x ) ≤ 0 , h j ( x ) = 0.

此时只问约束是否一致,以及在一致时给出一个可行点。

许多优化算法的一个基本步骤就是反复求解可行性问题;拟凸优化也可化为一系列可行性检验。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.111 / 67

标准形式

标准形式将不等式和等式的右端统一写为零: f i ( x ) ≤ 0 , h j ( x ) = 0.

箱约束 ℓ i ≤ x i ≤ u i 等价于两组不等式 ℓ i − x i ≤ 0 , x i − u i ≤ 0. 最大化问题 max f 0 ( x ) 通过最小化 − f 0 ( x ) 处理。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.212 / 67

等价问题

若能从一个问题的解直接恢复另一个问题的解,反之亦然,则称二者 equivalent。

常用变换包括:正比例缩放、单调函数变换、变量替换、引入 slack variables、消去或引入等式约束。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.313 / 67

不改变解的变换

对于 α i > 0 ,   β j ≠ 0 , min α 0 f 0 ( x ) , α i f i ( x ) ≤ 0 , β j h j ( x ) = 0 与原问题有相同的可行域和最优点。

更一般地,只要 ψ 0 严格单调递增,且 ψ i ( u ) ≤ 0 ⟺ u ≤ 0 , 就可用 ψ i ∘ f i 代替 f i 。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.314 / 67

变量替换与消去等式

若 ϕ : D ~ → D 是双射, 令 x = ϕ ( z ) ,则以 f ~ i ( z ) = f i ( ϕ ( z ) ) , h ~ j ( z ) = h j ( ϕ ( z ) ) 构成的 z -问题与原问题等价。

特别地,若 A x = b 可行,取一个特解 x 0 和 Range ⁡ ( F ) = Null ⁡ ( A ) ,则 x = F z + x 0 参数化全部可行点;代入后消去线性等式。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.315 / 67

Slack 与辅助变量

不等式 f i ( x ) ≤ 0 等价于存在 s i ≥ 0 ,使 f i ( x ) + s i = 0.

若出现复合项 f i ( A i x + b i ) ,也可引入 y i = A i x + b i 将其写为 f i ( y i ) 加上线性等式。这种拆分在建模和算法中很常用。

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.316 / 67

参数模型与 Oracle

4.1 优化问题的描述Boyd & Vandenberghe, Section 4.1.417 / 67

MATH6015 / CONVEX OPTIMIZATION

03

4.2 凸优化问题

MATH6015 · Lecture 01C18 / 67

凸优化标准形式

minimize x f 0 ( x ) subject   to f i ( x ) ≤ 0 , i = 1 , … , m , a j ⊤ x = b j , j = 1 , … , p . 这是 convex optimization problem,当且仅当 f 0 , f 1 , … , f m   均为凸函数,且等式约束为仿射函数。

可行域是各凸函数定义域、凸下水平集和仿射超平面的交集,因而是凸集。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.119 / 67

解集的结构

若 f 0 为凸函数,则任意 ϵ -suboptimal set 都是凸集;尤其, X o p t = { x ∈ X ∣ f 0 ( x ) = p ⋆ } 是凸集。

若 f 0 严格凸,则 X o p t 至多含一个点。

最大化凹函数等价于最小化其相反数,因此 concave maximization 也属于凸优化的范围。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.120 / 67

表示方式同样重要

“凸函数在凸集上最小化”还不足以成为教材中的标准凸优化形式:约束必须以 convex inequalities 和 affine equalities 表示。

可行域本身凸,却不是标准凸形式。它等价于 x 1 ≤ 0 , x 1 + x 2 = 0 , 后者才是凸优化问题的有效表示。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.121 / 67

局部最优即全局最优

设 x 是局部最优。若有 y ∈ X 满足 f 0 ( y ) < f 0 ( x ) ,令 z θ = ( 1 − θ ) x + θ y , 0 < θ ≪ 1 . 由可行域凸性, z θ 可行;由目标凸性, f 0 ( z θ ) ≤ ( 1 − θ ) f 0 ( x ) + θ f 0 ( y ) < f 0 ( x ) . 这与局部最优性矛盾。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.222 / 67

一阶最优条件

设 f 0 为可微凸函数, X 为非空凸可行域。则 x ⋆  最优 ⟺ ∇ f 0 ( x ⋆ ) ⊤ ( y − x ⋆ ) ≥ 0 , ∀ y ∈ X .

由凸函数一阶下界 f 0 ( y ) ≥ f 0 ( x ) + ∇ f 0 ( x ) ⊤ ( y − x ) 可立即验证充分性;必要性来自沿可行线段的方向导数。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.323 / 67

无约束凸二次问题

对 f ( x ) = 1 2 x ⊤ P x + q ⊤ x + r , P ⪰ 0 , 最优性的充要条件是 P x + q = 0 .

情形 结论
q ∉ Range ⁡ ( P ) 无解,问题无下界
P ≻ 0 唯一解 x ⋆ = − P − 1 q
P 奇异且 q ∈ Range ⁡ ( P ) X o p t = − P † q + Null ⁡ ( P )
4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.324 / 67

仅有线性等式

min f 0 ( x ) subject   to A x = b . 所有可行方向 v 属于 Null ⁡ ( A ) 。一阶最优条件为 ∇ f 0 ( x ⋆ ) ⊤ v = 0 , ∀ v ∈ Null ⁡ ( A ) . 等价地, ∇ f 0 ( x ⋆ ) ∈ Range ⁡ ( A ⊤ ) ⟺ ∃ ν :   ∇ f 0 ( x ⋆ ) + A ⊤ ν = 0 , 并同时满足 A x ⋆ = b 。这已是 Lagrange multiplier 条件的基本形态。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.325 / 67

非负正交锥

min x ⪰ 0 f 0 ( x ) . 可微凸情形的一阶最优条件等价于 x ⋆ ⪰ 0 , ∇ f 0 ( x ⋆ ) ⪰ 0 , x i ⋆ ∇ i f 0 ( x ⋆ ) = 0   ( i = 1 , … , n ) .

最后一个关系称为 complementarity:每个坐标上,变量或梯度至少有一个为零。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.326 / 67

等价凸问题

下列操作保持 convexity:

  • 消去 A x = b :代入 x = F z + x 0 ,凸函数与仿射映射复合仍凸;

  • 引入 y = A x + b :增加仿射等式,保留凸性;

  • 对 affine inequality 引入 slack variable;

  • 将目标改写为 epigraph form;

  • 对联合凸函数在部分变量上最小化(partial minimization)。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.427 / 67

Epigraph 形式

引入标量 t 作为目标函数的上界。一般凸问题可等价改写为线性目标最小化,附加约束为 f 0 ( x ) − t ≤ 0 . 由于 f 0 ( x ) − t 仍为凸函数,改写后的问题保持凸性。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.428 / 67

拟凸优化

在 quasiconvex optimization 中,约束仍为凸不等式和仿射等式,但目标 f 0 仅为 quasiconvex。 min f 0 ( x ) subject   to f i ( x ) ≤ 0 ,   A x = b .

  • 最优集仍凸;严格局部最优点是全局最优,但一般局部最优点未必全局最优;

  • 对可微 f 0 ,若 x ∈ X 且 ∇ f 0 ( x ) ⊤ ( y − x ) > 0 对所有 y ∈ X ∖ { x } 成立,则 x 最优;该条件不再是必要条件;

  • 典型例子是 linear-fractional objective。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.529 / 67

拟凸问题的可行性检验

若凸函数族 ϕ t 满足 f 0 ( x ) ≤ t ⟺ ϕ t ( x ) ≤ 0 , 则对于给定 t ,检验 find ⁡   x subject   to ϕ t ( x ) ≤ 0 , f i ( x ) ≤ 0 , A x = b 是一个 convex feasibility problem。

随着 t 增大,可行性单调出现;因而可以对 t 二分搜索,逼近最优值 p ⋆ 。

4.2 凸优化问题Boyd & Vandenberghe, Section 4.2.530 / 67

MATH6015 / CONVEX OPTIMIZATION

04

4.3 线性规划

MATH6015 · Lecture 01C31 / 67

线性规划的三种形式

所有目标和约束函数都是仿射函数;可行域是 polyhedron。

4.3 线性规划Boyd & Vandenberghe, Section 4.332 / 67

转为 LP 标准形式

从 general form 出发,先对 G x ⪯ h 引入 slack ⪰ 0 : G x + s = h . 再将自由变量写为 x = x + − x − , x + , x − ⪰ 0 . 得到 min c ⊤ x + − c ⊤ x − + d subject   to G x + − G x − + s = h , A x + − A x − = b , x + , x − , s ⪰ 0 .

4.3 线性规划Boyd & Vandenberghe, Section 4.333 / 67

生产计划

设 u , v 为两类产品产量;每批收益为 3 , 2 ,两道工序容量均为 8 : min u , v − 3 u − 2 v subject   to 2 u + v ≤ 8 , u + 2 v ≤ 8 , u , v ≥ 0.

目标和全部约束均为仿射,故为 LP。最优点处两道容量约束同时 active: ( u ⋆ , v ⋆ ) = ( 8 / 3 , 8 / 3 ) .

4.3 线性规划自编示例;参见 Boyd & Vandenberghe, Section 4.3.134 / 67

实验|转动目标,最优顶点怎样切换?

可交互
min x ∈ C c T x , c = ( cos ⁡ θ , sin ⁡ θ )

正在准备交互图…

什么方向会使整条边都是最优解?

网络流

令 x e 为有向边 e 的流量。取关联矩阵约定 B v e = + 1 表示边 e 流入节点 v , B v e = − 1 表示流出; 因此 d 表示节点要求的净流入量。 min x c ⊤ x subject   to B x = d , 0 ⪯ x ⪯ u .

右图以 ( c e , u e ) 标记单位费用和容量,并令 d s = − 5 , d t = 5 , d 1 = d 2 = 0 。例如节点 (1) 的守恒方程为 x s 1 − x 12 − x 1 t = 0. 流量 ( x s 1 , x s 2 , x 12 , x 1 t , x 2 t ) = ( 2 , 3 , 0 , 2 , 3 ) 满足全部守恒式和容量约束。道路、物流与通信网络具有相同的 LP 结构。

4.3 线性规划Boyd & Vandenberghe, Exercise 4.1236 / 67

多面体的 Chebyshev 中心

对多面体 P = { x ∣ a i ⊤ x ≤ b i ,   i = 1 , … , m } , 求其内接最大欧氏球的中心 x c 与半径 r 。 sup ‖ u ‖ 2 ≤ r a i ⊤ ( x c + u ) = a i ⊤ x c + r ‖ a i ‖ 2 ≤ b i . 因此 max x c , r   r subject   to a i ⊤ x c + r ‖ a i ‖ 2 ≤ b i , r ≥ 0 是 LP。几何距离问题由此变成线性规划。

4.3 线性规划Boyd & Vandenberghe, Section 4.3.137 / 67

分段线性目标

f ( x ) = max i = 1 , … , m ( a i ⊤ x + b i ) 是 convex piecewise-linear function。利用 epigraph: min x , t t subject   to a i ⊤ x + b i ≤ t , i = 1 , … , m .

每个 affine piece 生成一条线性不等式;最小化最大值因而可作为 LP 求解。

4.3 线性规划Boyd & Vandenberghe, Section 4.3.138 / 67

线性分式规划

min x c ⊤ x + d e ⊤ x + f subject   to G x ⪯ h , A x = b , e ⊤ x + f > 0.

该 objective 是 linear-fractional function,既 quasiconvex 又 quasiconcave(quasilinear)。

例如,“每单位资源的收益/能耗”或“单位时间的产出”常导致这类比例目标。

4.3 线性规划Boyd & Vandenberghe, Section 4.3.239 / 67

线性分式到 LP

令 y = x e ⊤ x + f , z = 1 e ⊤ x + f . 则 x = y / z ,并得到等价 LP: min y , z c ⊤ y + d z subject   to G y − h z ⪯ 0 , A y − b z = 0 , e ⊤ y + f z = 1 , z ≥ 0. 若 z > 0 ,以 x = y / z 恢复原变量;若 z = 0 ,它对应原问题的一条极限方向, 原问题中的可行点可以逼近相同的目标值。因此两个问题的最优值相同。

4.3 线性规划Boyd & Vandenberghe, Section 4.3.240 / 67

MATH6015 / CONVEX OPTIMIZATION

05

4.4 二次规划与二阶锥规划

MATH6015 · Lecture 01C41 / 67

二次规划

min x 1 2 x ⊤ P x + q ⊤ x + r subject   to G x ⪯ h , A x = b , P ⪰ 0.

QP 是在 polyhedron 上最小化 convex quadratic function。取 P = 0 即得到 LP。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.442 / 67

QCQP 与模型层次

若不等式也为凸二次函数,则 min x 1 2 x ⊤ P 0 x + q 0 ⊤ x + r 0 subject   to 1 2 x ⊤ P i x + q i ⊤ x + r i ≤ 0 , i = 1 , … , m , A x = b , P i ⪰ 0 , 称为 quadratically constrained quadratic program(QCQP)。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.443 / 67

最小二乘与约束回归

‖ A x − b ‖ 2 2 = x ⊤ A ⊤ A x − 2 b ⊤ A x + b ⊤ b . 因此 least squares 是无约束 QP;若 A 满列秩,解为 x ⋆ = ( A ⊤ A ) − 1 A ⊤ b . 加入箱约束后, min x ‖ A x − b ‖ 2 2 subject   to ℓ ⪯ x ⪯ u 成为 constrained least squares(QP),通常不再有同样简单的闭式解。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.144 / 67

带先验的标定

若参考参数为 x r e f ,可使用 min x 1 2 ‖ A x − b ‖ 2 2 + λ 2 ‖ x − x r e f ‖ 2 2 , λ > 0.

Hessian 为 A ⊤ A + λ I ≻ 0 , 故目标严格凸,并满足 ( A ⊤ A + λ I ) x ⋆ = A ⊤ b + λ x r e f .

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.145 / 67

实验|最优点在内部、边上还是顶点?

可交互
min x 1 2 ( x − c ) T H ( x − c ) s.t. x 1 , x 2 ≥ 0 , x 1 + x 2 ≤ 2

正在准备交互图…

活动约束变化时,解路径是否一定光滑?

多面体之间的距离

dist ⁡ ( P 1 , P 2 ) = inf { ‖ x 1 − x 2 ‖ 2 ∣ x 1 ∈ P 1 ,   x 2 ∈ P 2 } . 若 P 1 = { x ∣ A 1 x ⪯ b 1 } , P 2 = { x ∣ A 2 x ⪯ b 2 } , 则解 QP min x 1 , x 2 ‖ x 1 − x 2 ‖ 2 2 subject   to A 1 x 1 ⪯ b 1 ,   A 2 x 2 ⪯ b 2 . 最优值为零当且仅当两多面体相交。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.147 / 67

Markowitz 投资组合

令 x 为各资产的投资比例, p ¯ 为收益均值, Σ ⪰ 0 为收益协方差。 min x x ⊤ Σ x subject   to p ¯ ⊤ x ≥ r min , 1 ⊤ x = 1 , x ⪰ 0 .

x ⊤ Σ x 是组合收益的方差;该 QP 在保证最低平均收益与预算约束下最小化风险。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.148 / 67

实验|最低收益要求怎样改变最小风险组合?

可交互
min w w T Σ w s.t. μ T w ≥ r , w ≥ 0 , 1 T w = 1

正在准备交互图…

为什么收益要求超过所有资产均值时,非负组合会不可行?

二阶锥规划

min x f ⊤ x subject   to ‖ A i x + b i ‖ 2 ≤ c i ⊤ x + d i , i = 1 , … , m , F x = g . 约束 ‖ A x + b ‖ 2 ≤ c ⊤ x + d 等价于 ( A x + b , c ⊤ x + d ) 属于 second-order cone。

A i = 0 时退化为 LP;当 c i = 0 且 d i ≥ 0 时, 可平方为 QCQP;SOCP 比两者都更一般。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.250 / 67

鲁棒线性约束

系数不确定但落在椭球中: a = a ¯ + P u , ‖ u ‖ 2 ≤ 1. 要求 a ⊤ x ≤ b 对所有允许的 a 成立。当且仅当 sup ‖ u ‖ 2 ≤ 1 ( a ¯ + P u ) ⊤ x = a ¯ ⊤ x + sup ‖ u ‖ 2 ≤ 1 u ⊤ P ⊤ x = a ¯ ⊤ x + ‖ P ⊤ x ‖ 2 ≤ b . 故 robust LP 可等价改写为 SOCP。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.251 / 67

概率约束

若随机约束系数 a i ∼ N ( a ¯ i , Σ i ) , 且要求 prob ⁡ ( a i ⊤ x ≤ b i ) ≥ η , η ≥ 1 / 2 , 则等价于 a ¯ i ⊤ x + Φ − 1 ( η ) ‖ Σ i 1 / 2 x ‖ 2 ≤ b i . 右侧是二阶锥约束:给定置信水平的随机线性约束可在高斯模型下转为 SOCP。

4.4 二次规划与二阶锥规划Boyd & Vandenberghe, Section 4.4.252 / 67

实验|系数不确定时,需要留多少余量?

可交互
max x ≥ 0 c T x s.t.  a T x + σ ‖ x ‖ 2 ≤ 2 sup ‖ u ‖ 2 ≤ σ ( a + u ) T x = a T x + σ ‖ x ‖ 2

正在准备交互图…

欧氏球不确定性为什么产生一个二阶锥约束?

MATH6015 / CONVEX OPTIMIZATION

06

4.5 几何规划

MATH6015 · Lecture 01C54 / 67

单项式函数

在正正交锥 R + + n 上, f ( x ) = c x 1 a 1 x 2 a 2 ⋯ x n a n , c > 0 , a i ∈ R , 称为 monomial function。

这里的指数可以为负数或分数;这与初等代数中“指数为非负整数”的 monomial 用法不同。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.155 / 67

正项式函数

monomial 的有限正和 f ( x ) = ∑ k = 1 K c k x 1 a 1 k ⋯ x n a n k , c k > 0 , 称为 posynomial。

函数类 封闭运算
monomial 乘法、除法
posynomial 加法、乘法、正数乘
posynomial / monomial 仍为 posynomial

例如 x 1 2 + 3 x 1 − 1 x 2 1 / 2 是 posynomial。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.156 / 67

几何规划的原始形式

min x f 0 ( x ) subject   to f i ( x ) ≤ 1 , i = 1 , … , m , h j ( x ) = 1 , j = 1 , … , p , 其中 f i 是 posynomial, h j 是 monomial,且隐含 x ≻ 0 。

这称为 geometric program(GP)的 posynomial form;它通常不是原变量中的凸优化问题。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.257 / 67

GP 的等价规范化

GP 可以容纳更一般的写法: f ( x ) ≤ h ( x ) ⟺ f ( x ) h ( x ) ≤ 1 , 其中 f 为 posynomial, h 为 monomial。 h 1 ( x ) = h 2 ( x ) ⟺ h 1 ( x ) h 2 ( x ) = 1. 最大化非零 monomial 目标,则最小化其 inverse monomial。

这些规则将工程表达式统一为 GP 的标准 posynomial form。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.258 / 67

对数变量替换

令 y i = log ⁡ x i , x i = e y i . 若 f ( x ) = c ∏ i x i a i 为 monomial,则 f ( e y ) = exp ⁡ ( a ⊤ y + b ) , b = log ⁡ c .

因此 monomial 在 log variables 中变为 affine function 的指数。单项结构由乘积变为加法。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.359 / 67

GP 的凸形式

若 f 为 posynomial,则 f ( e y ) = ∑ k = 1 K exp ⁡ ( a k ⊤ y + b k ) . 若单项式等式写成 h j ( x ) = c j ∏ ℓ x ℓ a j ℓ = 1 ,则对目标和约束取对数,得到 min y log ⁡ ∑ k e a 0 k ⊤ y + b 0 k subject   to log ⁡ ∑ k e a i k ⊤ y + b i k ≤ 0 , a j ⊤ y + log ⁡ c j = 0.

log-sum-exp 是凸函数,等式是仿射的;这就是 GP 的 convex form。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.360 / 67

悬臂梁设计

由 N 个单位长度矩形截面段组成的 cantilever beam,编号从受力端向固定端依次为 1 , … , N 。设计变量为每段宽度 w i > 0 、高度 h i > 0 。

以总体积(重量)为目标,并限制截面尺寸、宽高比和最大应力: min w , h   ∑ i = 1 N w i h i , w min ≤ w i ≤ w max , h min ≤ h i ≤ h max , S min ≤ h i / w i ≤ S max , 6 i F w i h i 2 ≤ σ max .

4.5 几何规划Boyd & Vandenberghe, Section 4.5.461 / 67

挠度约束

记 y i 和 v i 分别为第 i 段右端的挠度与斜率。由固定端条件 v N + 1 = y N + 1 = 0 ,从 i = N 向 1 递推: v i = 12 ( i − 1 / 2 ) F E w i h i 3 + v i + 1 , y i = 6 ( i − 1 / 3 ) F E w i h i 3 + v i + 1 + y i + 1 .

每一步都是 monomial 与已有 posynomial 的和,所以 v i , y i 仍为 posynomial。特别地,受力端约束 y 1 ≤ y max 是 posynomial inequality。

因此目标、尺寸约束、应力约束与挠度约束共同构成一个 GP。

4.5 几何规划Boyd & Vandenberghe, Section 4.5.462 / 67

实验|乘法约束如何变成直线?

可交互
min x , y > 0 a x + b y s.t. x y ≥ c min u , v log ⁡ ( a e u + b e v ) s.t. u + v ≥ log ⁡ c

正在准备交互图…

取对数为何需要严格正变量?

从结构识别模型

类别 目标/约束结构 典型问题
LP 仿射 生产计划、网络流、Chebyshev 中心
QP/QCQP 凸二次 + 线性/二次约束 回归、距离、投资组合
SOCP 仿射 + 二范数约束 鲁棒设计、概率约束
GP posynomial/monomial,经 log 变换 尺寸设计、缩放
一般凸问题 凸目标与凸不等式 正则化、估计

建模时首先辨认函数与约束的结构,再选择等价变换与适合的求解方法。

4.5 几何规划Boyd & Vandenberghe, Sections 4.1–4.564 / 67

实验|三个相关系数不能随意指定

可交互
max x , y c 1 x + c 2 y s.t. ( 1 r x r 1 y x y 1 ) ⪰ 0

正在准备交互图…

相关系数各自落在 [−1,1],足以保证矩阵半正定吗?

本讲总结

  1. 凸优化问题由凸目标、凸不等式和仿射等式构成;表示方式决定这一结构是否显式可见。

  2. 标准化、变量替换、等式消去、epigraph 与 slack variables 用于建立等价模型。

  3. LP、QP/QCQP、SOCP 与 GP 分别利用仿射、二次、范数锥和正项式结构。

  4. 模型识别之后,最优性条件、对偶理论与数值算法才能针对结构展开。

4.5 几何规划Boyd & Vandenberghe, Chapter 466 / 67

本讲回顾

带走的结构

  1. 凸优化问题要求目标与不等式函数凸、等式约束仿射;表示方式决定这一结构是否显式。

  2. 变量替换、等式消去、epigraph 和 slack variables 用来得到便于分析的等价模型。

  3. LP、QP/QCQP、SOCP 与 GP 分别利用仿射、二次、范数锥和正项式结构。

  4. 模型分类的目的,是让最优性条件、对偶工具和数值算法利用问题的具体结构。

自测

  1. 给定一个目标与约束,能否判断它属于 LP、QP、SOCP 或 GP,并写出相应标准形式?

  2. 面对看似非凸的表示,能否尝试 epigraph、变量替换或对数变换,并说明变换前后的等价关系?

本讲目录

54 个源讲义内容单元 · 6 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义