MATH6015 / 凸集

MATH6015 / LECTURE 01A

凸集

从线段、超平面到凸锥与对偶锥

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 2

Boyd & Vandenberghe · Chapter 21 / 47

MATH6015 / CONVEX OPTIMIZATION

01

优化与凸性

MATH6015 · Lecture 01A2 / 47

生产计划

一家工厂在一个班次内生产 A、B 两类产品,产量为 x = ( u v ) ∈ R 2 . 两道工序的单位工时与班次容量为 A B 容量 工序 1 2 1 8 工序 2 1 2 8 每批收益分别为 3 与 2 ,因此模型为 minimize u , v − 3 u − 2 v subject   to 2 u + v ≤ 8 , u + 2 v ≤ 8 , u ≥ 0 , v ≥ 0.

优化与凸性自编示例;参见 Boyd & Vandenberghe, Section 4.3.13 / 47

优化问题的组成

minimize x ∈ R n f 0 ( x ) subject   to f i ( x ) ≤ 0 , i = 1 , … , m , h j ( x ) = 0 , j = 1 , … , p .

在最小二乘模型中, A ∈ R m × n , x ∈ R n , b ∈ R m , A x − b ∈ R m . 维度决定乘法是否成立,也决定梯度与约束所在的空间。

优化与凸性Boyd & Vandenberghe, Section 4.1.14 / 47

凸性带来的结构

凸函数

非凸函数

优化与凸性Boyd & Vandenberghe, Sections 3.1.3 and 4.2.25 / 47

本讲内容

生产计划的约束首先定义一个可行域。本讲研究如何从集合的表示与构造判断可行域的凸性。

优化与凸性Boyd & Vandenberghe, Chapter 26 / 47

MATH6015 / CONVEX OPTIMIZATION

02

凸集

MATH6015 · Lecture 01A7 / 47

直线与线段

给定 x 1 ≠ x 2 ∈ R n ,经过两点的直线可参数化为 x ( θ ) = θ x 1 + ( 1 − θ ) x 2 = x 2 + θ ( x 1 − x 2 ) , θ ∈ R .

θ = 0 ⇒ x 2 , θ = 1 ⇒ x 1 , 0 ≤ θ ≤ 1 ⇒ x ( θ )  位于两点间的线段。

凸集Boyd & Vandenberghe, Section 2.1.18 / 47

仿射集与仿射组合

集合 A ⊆ R n 称为仿射集(affine set),若 x 1 , x 2 ∈ A , θ ∈ R ⟹ θ x 1 + ( 1 − θ ) x 2 ∈ A . 也就是说,任意两点所在的整条直线都留在 A 内。

更一般地,若 x = ∑ i = 1 k θ i x i , ∑ i = 1 k θ i = 1 , 则称 x 为 x 1 , … , x k 的仿射组合 (affine combination)。系数可以为负。

凸集Boyd & Vandenberghe, Section 2.1.29 / 47

线性方程组的解集

若 A = { x ∣ A x = b } 非空,则 A 是仿射集: A ( θ x 1 + ( 1 − θ ) x 2 ) = θ b + ( 1 − θ ) b = b . 取任意一个可行点 x 0 ,则 A = x 0 + Null ⁡ ( A ) = { x 0 + v ∣ A v = 0 } .

仿射集是“线性子空间加一个偏移量”;偏移量由 b 决定。

凸集Boyd & Vandenberghe, Section 2.1.2, Example 2.110 / 47

仿射包与仿射维数

集合 C 的仿射包(affine hull)是包含它的最小仿射集: aff ⁡ C = { ∑ i = 1 k θ i x i   |   x i ∈ C ,   ∑ i = 1 k θ i = 1 } . 若 S 是仿射集且 C ⊆ S ,则 aff ⁡ C ⊆ S 。

仿射维数定义为 dim aff ⁡ C = dim ⁡ ( aff ⁡ C ) . 三个不共线点的仿射包是一个平面;一条非退化线段的仿射维数为 1 。

凸集Boyd & Vandenberghe, Section 2.1.2–2.1.311 / 47

相对内部

当 C 落在低维仿射集内时,普通内部可能为空。相对内部在 aff ⁡ C 中取邻域: relint ⁡ C = { x ∈ C ∣ ∃ r > 0 ,   B ( x , r ) ∩ aff ⁡ C ⊆ C } .

例如在 R 3 中,平面 x 3 = 0 上的实心方形普通内部为空, 但其相对内部是去掉边界后的方形。相对边界为 relbd ⁡ C = cl ⁡ C ∖ relint ⁡ C .

凸集Boyd & Vandenberghe, Section 2.1.3, Example 2.212 / 47

凸集

集合 C ⊆ R n 是凸集(convex set),若 x , y ∈ C , 0 ≤ θ ≤ 1 ⟹ θ x + ( 1 − θ ) y ∈ C .

仿射集包含整条直线,因而必为凸集;凸集只要求连接两点的线段留在集合内。

凸集Boyd & Vandenberghe, Section 2.1.413 / 47

凸组合与凸包

若 x = ∑ i = 1 k θ i x i , θ i ≥ 0 , ∑ i = 1 k θ i = 1 , 则 x 是这些点的凸组合(convex combination)。它可理解为非负权重的混合。

所有凸组合构成凸包(convex hull): conv ⁡ C = { ∑ i = 1 k θ i x i   |   x i ∈ C ,   θ i ≥ 0 ,   ∑ i θ i = 1 } . conv ⁡ C 是包含 C 的最小凸集。

凸集Boyd & Vandenberghe, Section 2.1.414 / 47

实验|两点之间的线段,是否仍在集合内?

可交互
z ( t ) = ( 1 − t ) A + t B , 0 ≤ t ≤ 1

正在准备交互图…

发现一条越出集合的线段足以否定凸性;检查一条线段能否证明凸性?

平均与期望

凸性不仅控制有限个点的加权平均,也控制极限、积分和期望。

二点分布已经给出通常的凸组合: P ( X = x 1 ) = θ , P ( X = x 2 ) = 1 − θ ⟹ E X = θ x 1 + ( 1 − θ ) x 2 .

凸集Boyd & Vandenberghe, Section 2.1.416 / 47

锥与锥包

集合 K 为锥(cone),若 x ∈ K , α ≥ 0 ⟹ α x ∈ K . 若它还满足凸性,则 x 1 , x 2 ∈ K , α 1 , α 2 ≥ 0 ⟹ α 1 x 1 + α 2 x 2 ∈ K .

∑ i α i x i ,   α i ≥ 0 称为锥组合; 所有锥组合构成 cone ⁡ C ,即包含 C 的最小凸锥。

凸集Boyd & Vandenberghe, Section 2.1.517 / 47

基本例子

集合 凸性/仿射性 锥性
∅ ,   { x 0 } ,   R n 仿射,因此凸 仅 ∅ , { 0 } , R n 为锥
直线 仿射 经过原点时是子空间、凸锥
线段 凸,通常非仿射 仅退化为原点时为锥
射线 { x 0 + θ v ∣ θ ≥ 0 } 凸,通常非仿射 x 0 = 0 时为凸锥
线性子空间 仿射,因此凸 凸锥

这些基本对象是后续构造可行域的积木。区分“仿射”“凸”“锥”时,应分别检查: 任意实系数的仿射组合、非负且和为一的凸组合、非负缩放。

凸集Boyd & Vandenberghe, Section 2.218 / 47

超平面

给定 a ∈ R n ∖ { 0 } 、 b ∈ R , H = { x ∣ a ⊤ x = b } 称为超平面(hyperplane)。若 x 0 ∈ H ,则 H = { x ∣ a ⊤ ( x − x 0 ) = 0 } = x 0 + a ⟂ .

a 是法向量:在超平面内移动的任何向量 v 都满足 a ⊤ v = 0 。常数 b 决定超平面距原点的偏移。

凸集Boyd & Vandenberghe, Section 2.2.119 / 47

半空间

与超平面对应的闭半空间为 H − = { x ∣ a ⊤ x ≤ b } = { x ∣ a ⊤ ( x − x 0 ) ≤ 0 } . 边界是 { x ∣ a ⊤ x = b } ,内部是开半空间 { x ∣ a ⊤ x < b } 。

若 a ⊤ ( x − x 0 ) ≤ 0 ,则 x − x 0 与外法向量 a 的夹角为直角或钝角。

半空间是凸集,因为线性不等式在凸组合下保持。

凸集Boyd & Vandenberghe, Section 2.2.120 / 47

欧氏球

中心 x c 、半径 r > 0 的欧氏球为 B ( x c , r ) = { x ∣ ‖ x − x c ‖ 2 ≤ r } = { x ∣ ( x − x c ) ⊤ ( x − x c ) ≤ r 2 } . 它是凸集:若 x 1 , x 2 ∈ B ( x c , r ) ,则对 0 ≤ θ ≤ 1 , ‖ θ x 1 + ( 1 − θ ) x 2 − x c ‖ 2 ≤ θ ‖ x 1 − x c ‖ 2 + ( 1 − θ ) ‖ x 2 − x c ‖ 2 ≤ r .

凸集Boyd & Vandenberghe, Section 2.2.221 / 47

椭球

若 P = P ⊤ ≻ 0 ,椭球定义为 E = { x ∣ ( x − x c ) ⊤ P − 1 ( x − x c ) ≤ 1 } . 令 P = Q Q ⊤ (此时 Q 可逆),则同一集合也可写作 E = { x c + Q u ∣ ‖ u ‖ 2 ≤ 1 } .

它是单位欧氏球的仿射像。若 λ i 是 P 的特征值,则半轴长度为 λ i 。更一般地, { x c + Q u ∣ ‖ u ‖ 2 ≤ 1 } 允许 Q 奇异;此时称为退化椭球。

凸集Boyd & Vandenberghe, Section 2.2.222 / 47

范数球

任意范数 ‖ ⋅ ‖ 的球 { x ∣ ‖ x − x c ‖ ≤ r } 都是凸集。二维单位球说明范数选择改变几何形状,但不改变凸性。

‖ x ‖ 1 = ∑ i | x i | , ‖ x ‖ 2 = ( x ⊤ x ) 1 / 2 , ‖ x ‖ ∞ = max i | x i | .

凸集Boyd & Vandenberghe, Section 2.2.323 / 47

实验|不同范数,怎样定义“单位距离”?

可交互
‖ x ‖ p = ( | x 1 | p + | x 2 | p ) 1 / p , 1 ≤ p < ∞ ‖ x ‖ ∞ = max { | x 1 | , | x 2 | }

正在准备交互图…

同一个向量,为什么在不同范数下会有不同长度?

范数锥与二阶锥

任意范数诱导一个范数锥(norm cone) K ‖ ⋅ ‖ = { ( x , t ) ∈ R n + 1 ∣ ‖ x ‖ ≤ t } , 它是凸锥。欧氏范数给出二阶锥(second-order cone, SOC): Q n + 1 = { ( x , t ) ∣ ‖ x ‖ 2 ≤ t } .

‖ x ‖ 2 ≤ t ⟺ x ⊤ x ≤ t 2 , t ≥ 0. 它也称 Lorentz cone 或 quadratic cone。

凸集Boyd & Vandenberghe, Section 2.2.3, Example 2.325 / 47

实验|哪一个单位方向最能对齐给定向量?

可交互
‖ z ‖ ∗ = max ‖ x ‖ ≤ 1 z T x max ‖ x ‖ ≤ r z T x = r ‖ z ‖ ∗

正在准备交互图…

为什么 ℓ₁ 与 ℓ∞ 互为对偶,而欧氏范数自对偶?

多面体

有限个线性等式和不等式的公共解集称为多面体(polyhedron): P = { x ∈ R n ∣ A x ⪯ b ,   C x = d } . 它是半空间和超平面的有限交集,因而是凸集。

二维生产约束 2 u + v ≤ 8 , u + 2 v ≤ 8 , u , v ≥ 0 定义一个有界多面体;有界多面体常称为 polytope。

凸集Boyd & Vandenberghe, Section 2.2.427 / 47

非负正交锥

非负正交锥(nonnegative orthant)为 R + n = { x ∈ R n ∣ x i ≥ 0 ,   i = 1 , … , n } = { x ∈ R n ∣ x ⪰ 0 } . 它同时是多面体和凸锥。分量不等式 x ⪯ y 表示每个分量均满足 x i ≤ y i 。

例如 { x ∣ A x ⪯ b ,   C x = d } = { x ∣ ( b − A x ,   d − C x ) ∈ R + m × { 0 } } . 这把线性约束表达为一个仿射映射的原像。

凸集Boyd & Vandenberghe, Sections 2.2.4 and 2.3.2, Examples 2.4 and 2.928 / 47

单纯形

由仿射无关的 k + 1 个点 v 0 , … , v k 决定的 k 维单纯形为 conv ⁡ { v 0 , … , v k } = { ∑ i = 0 k θ i v i   |   θ ⪰ 0 ,   1 ⊤ θ = 1 } .

一维单纯形是线段,二维单纯形是实心三角形,三维单纯形是实心四面体。

单位单纯形: x ⪰ 0 ,   1 ⊤ x ≤ 1 。

概率单纯形: x ⪰ 0 ,   1 ⊤ x = 1 。

凸集Boyd & Vandenberghe, Section 2.2.4, Example 2.529 / 47

多面体的两种描述

多面体可由线性约束描述(H-表示),也可由有限个生成点和方向描述: { ∑ i = 1 m θ i v i + ∑ i = m + 1 k α i v i   |   θ ⪰ 0 ,   1 ⊤ θ = 1 ,   α ⪰ 0 } .

前一部分是 v 1 , … , v m 的凸包,后一部分是余下向量的锥包。 每个多面体都存在这种表示;它与 H-表示在建模和计算中的复杂度可能相差很大。

凸集Boyd & Vandenberghe, Section 2.2.430 / 47

半正定锥

记 S n = { X ∈ R n × n ∣ X = X ⊤ } 。半正定锥为 S + n = { X ∈ S n ∣ z ⊤ X z ≥ 0 ,   ∀ z ∈ R n } . 严格不等式 X ≻ 0 对应正定锥 S + + n 。

X , Y ⪰ 0 , α , β ≥ 0 ⇒ z ⊤ ( α X + β Y ) z ≥ 0. 故 S + n 是凸锥。对于 X = [ x y y z ] , X ⪰ 0 ⟺ x ≥ 0 ,   z ≥ 0 ,   x z ≥ y 2 .

凸集Boyd & Vandenberghe, Section 2.2.5, Example 2.631 / 47

实验|一个矩阵,决定谷底还是鞍点

可交互
f ( x ) = 1 2 x T H x , H = ( 1 b b d ) H ⪰ 0 ⟺ d ≥ b 2

正在准备交互图…

半正定为什么不保证唯一极小点?

交集保持凸性

若每个 C α 都是凸集,则任意交集仍是凸集: ⋂ α ∈ I C α 为凸集 . 事实上,若 x , y 同时属于所有 C α ,则它们的凸组合也同时属于所有 C α 。

多面体是有限个半空间和超平面的交集。半正定锥则可写为无穷个半空间的交集: S + n = ⋂ z ≠ 0 { X ∈ S n ∣ z ⊤ X z ≥ 0 } .

凸集Boyd & Vandenberghe, Section 2.3.1, Example 2.733 / 47

仿射像

设 F ( x ) = A x + b 是仿射映射。若 C 是凸集,则其像 F ( C ) = { A x + b ∣ x ∈ C } 也是凸集,因为 F ( θ x + ( 1 − θ ) y ) = θ F ( x ) + ( 1 − θ ) F ( y ) .

α C = { α x ∣ x ∈ C } , C + a = { x + a ∣ x ∈ C } 都是该结论的特例。

凸集Boyd & Vandenberghe, Section 2.3.234 / 47

仿射原像

若 D ⊆ R m 凸,则仿射原像 F − 1 ( D ) = { x ∈ R n ∣ A x + b ∈ D } 也是凸集。它在约束建模中尤为重要。

例如,范数约束 ‖ A x + b ‖ ≤ r 是范数球 { u ∣ ‖ u ‖ ≤ r } 在映射 x ↦ A x + b 下的原像,故为凸集。

凸集Boyd & Vandenberghe, Section 2.3.235 / 47

积与投影

若 C 1 , C 2 都凸,则笛卡尔积 C 1 × C 2 = { ( x 1 , x 2 ) ∣ x 1 ∈ C 1 ,   x 2 ∈ C 2 } 是凸集。

若 S ⊆ R m × R n 凸,则消去变量后的投影 proj x 1 ⁡ S = { x 1 ∣ ( x 1 , x 2 ) ∈ S  for some  x 2 } 仍是凸集。

凸集Boyd & Vandenberghe, Section 2.3.236 / 47

实验|从投影点,找到一条分离直线

可交互
x ⋆ = arg min x ∈ C ‖ x − y ‖ 2 2

正在准备交互图…

把 y 拖到集合内部后,投影和分离直线分别会发生什么?

集合和与部分和

两个集合的和(Minkowski sum)定义为 C 1 + C 2 = { x + y ∣ x ∈ C 1 ,   y ∈ C 2 } . 它是 C 1 × C 2 经 ( x , y ) ↦ x + y 的线性像, 所以凸集之和仍为凸集。

凸集Boyd & Vandenberghe, Section 2.3.238 / 47

线性矩阵不等式

设 A i , B ∈ S m ,线性矩阵不等式(linear matrix inequality, LMI) A ( x ) = x 1 A 1 + ⋯ + x n A n ⪯ B 的可行域是凸集。理由是 B − A ( x ) ∈ S + m , 即它是 PSD 锥在仿射映射 x ↦ B − A ( x ) 下的原像。

凸集Boyd & Vandenberghe, Section 2.3.2, Example 2.1039 / 47

两个仿射原像例子

仿射原像把已有凸集直接转化为新可行域。

椭球是单位球的仿射像,同时也是原像;其原像形式为 ‖ P − 1 / 2 ( x − x c ) ‖ 2 ≤ 1.

双曲锥(hyperbolic cone; P ⪰ 0 ) { x ∣ x ⊤ P x ≤ ( c ⊤ x ) 2 ,   c ⊤ x ≥ 0 } 是 SOC 在 x ↦ ( P 1 / 2 x , c ⊤ x ) 下的原像。

凸集Boyd & Vandenberghe, Section 2.3.2, Examples 2.11–2.1240 / 47

透视映射

定义在 t > 0 上的透视映射(perspective map)为 P ( z , t ) = z t , P : R n × R + + ⟶ R n . 它把最后一个坐标归一化为 1 。针孔相机给出直观解释:若像平面位于 t = − 1 ,三维点通过原点成像后的平面坐标为 − z / t = − P ( z , t ) 。

凸集Boyd & Vandenberghe, Section 2.3.3, Remark 2.141 / 47

透视保持凸性

设 x = ( x ~ , x n + 1 ) 、 y = ( y ~ , y n + 1 ) ,且最后一维都为正。 对 0 ≤ θ ≤ 1 , P ( θ x + ( 1 − θ ) y ) = μ P ( x ) + ( 1 − μ ) P ( y ) , 其中 μ = θ x n + 1 θ x n + 1 + ( 1 − θ ) y n + 1 ∈ [ 0 , 1 ] .

凸集Boyd & Vandenberghe, Section 2.3.342 / 47

线性分式映射

线性分式映射(linear-fractional map)是仿射映射与透视映射的复合: F ( x ) = A x + b c ⊤ x + d , dom ⁡ F = { x ∣ c ⊤ x + d > 0 } .

若 C 凸且 C ⊆ dom ⁡ F ,则 F ( C ) 凸; 凸集在 F 下的原像也凸。

凸集Boyd & Vandenberghe, Section 2.3.343 / 47

条件概率

固定一个 j 。令 p i j = P ( u = i , v = j ) 是联合概率,且 ∑ k = 1 n p k j > 0 。则条件分布的第 i 个分量 f i j = P ( u = i ∣ v = j ) = p i j ∑ k = 1 n p k j 给出向量映射 p ↦ ( f 1 j , … , f n j ) ,它是关于联合分布 p 的线性分式映射。

因此,若某个不确定性模型允许的联合分布集合 C 是凸集,并且其上 ∑ k p k j > 0 ,那么给定该 j 的条件概率集合也是凸集。

这个例子说明:透视和线性分式映射不是纯粹的几何技巧,它们自然出现于归一化和条件化过程。

凸集Boyd & Vandenberghe, Section 2.3.3, Example 2.1344 / 47

生产计划的可行域

每个资源约束都是半空间,非负约束也是半空间: C 1 = { ( u , v ) ∣ 2 u + v ≤ 8 } , C 2 = { ( u , v ) ∣ u + 2 v ≤ 8 } , C 3 = { ( u , v ) ∣ u ≥ 0 } , C 4 = { ( u , v ) ∣ v ≥ 0 } . 因此 C = ⋂ i = 1 4 C i 是多面体,也是凸集。目标函数不参与可行域的凸性判断。

凸集自编示例;参见 Boyd & Vandenberghe, Sections 2.2.4 and 4.3.145 / 47

本讲总结

基本对象 保凸操作
仿射集、半空间、范数球、椭球、多面体、SOC、PSD 锥 交集;仿射像与仿射原像;笛卡尔积;投影;集合和;透视及线性分式映射
建模方式 把可行域拆成基本凸集,并验证所有构造步骤属于上述保凸操作。

集合的表示方式 + 保凸操作 ⟹ 凸可行域

凸集Boyd & Vandenberghe, Sections 2.1–2.346 / 47

本讲回顾

带走的结构

  1. 凸集包含任意两点之间的整条线段;证明时必须从任意两点和任意 0 ≤ θ ≤ 1 出发。

  2. 仿射集、半空间、范数球、椭球、多面体和常用锥是建模的基本凸集。

  3. 交集、仿射像与原像、投影、集合和及笛卡尔积构成一套保凸操作。

  4. 透视和线性分式映射在相应定义域内保凸,表示方式决定凸性是否容易识别。

自测

  1. 能否把一个资源约束可行域写成半空间的交,并据此证明它是凸集?

  2. 面对一个新集合,能否选择“按定义验证”或“由基本凸集经保凸操作构造”的较短证明?

本讲目录

39 个源讲义内容单元 · 5 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义