MATH6015 / LECTURE 01A
凸集
从线段、超平面到凸锥与对偶锥
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 2
MATH6015 / CONVEX OPTIMIZATION
01
优化与凸性
生产计划
一家工厂在一个班次内生产 A、B 两类产品,产量为 两道工序的单位工时与班次容量为 每批收益分别为 与 ,因此模型为
优化问题的组成
在最小二乘模型中, 维度决定乘法是否成立,也决定梯度与约束所在的空间。
凸性带来的结构
凸函数
非凸函数
本讲内容
生产计划的约束首先定义一个可行域。本讲研究如何从集合的表示与构造判断可行域的凸性。
MATH6015 / CONVEX OPTIMIZATION
02
凸集
直线与线段
给定 ,经过两点的直线可参数化为
仿射集与仿射组合
集合 称为仿射集(affine set),若 也就是说,任意两点所在的整条直线都留在 内。
更一般地,若 则称 为 的仿射组合 (affine combination)。系数可以为负。
线性方程组的解集
若 非空,则 是仿射集: 取任意一个可行点 ,则
仿射集是“线性子空间加一个偏移量”;偏移量由 决定。
仿射包与仿射维数
集合 的仿射包(affine hull)是包含它的最小仿射集: 若 是仿射集且 ,则 。
仿射维数定义为 三个不共线点的仿射包是一个平面;一条非退化线段的仿射维数为 。
相对内部
当 落在低维仿射集内时,普通内部可能为空。相对内部在 中取邻域:
例如在 中,平面 上的实心方形普通内部为空, 但其相对内部是去掉边界后的方形。相对边界为
凸集
集合 是凸集(convex set),若
仿射集包含整条直线,因而必为凸集;凸集只要求连接两点的线段留在集合内。
凸组合与凸包
若 则 是这些点的凸组合(convex combination)。它可理解为非负权重的混合。
所有凸组合构成凸包(convex hull): 是包含 的最小凸集。
实验|两点之间的线段,是否仍在集合内?
可交互正在准备交互图…
发现一条越出集合的线段足以否定凸性;检查一条线段能否证明凸性?
平均与期望
凸性不仅控制有限个点的加权平均,也控制极限、积分和期望。
二点分布已经给出通常的凸组合:
锥与锥包
集合 为锥(cone),若 若它还满足凸性,则
称为锥组合; 所有锥组合构成 ,即包含 的最小凸锥。
基本例子
| 集合 | 凸性/仿射性 | 锥性 |
|---|---|---|
| 仿射,因此凸 | 仅 为锥 | |
| 直线 | 仿射 | 经过原点时是子空间、凸锥 |
| 线段 | 凸,通常非仿射 | 仅退化为原点时为锥 |
| 射线 | 凸,通常非仿射 | 时为凸锥 |
| 线性子空间 | 仿射,因此凸 | 凸锥 |
这些基本对象是后续构造可行域的积木。区分“仿射”“凸”“锥”时,应分别检查: 任意实系数的仿射组合、非负且和为一的凸组合、非负缩放。
超平面
给定 、, 称为超平面(hyperplane)。若 ,则
是法向量:在超平面内移动的任何向量 都满足 。常数 决定超平面距原点的偏移。
半空间
与超平面对应的闭半空间为 边界是 ,内部是开半空间 。
若 ,则 与外法向量 的夹角为直角或钝角。
半空间是凸集,因为线性不等式在凸组合下保持。
欧氏球
中心 、半径 的欧氏球为 它是凸集:若 ,则对 ,
椭球
若 ,椭球定义为 令 (此时 可逆),则同一集合也可写作
它是单位欧氏球的仿射像。若 是 的特征值,则半轴长度为 。更一般地, 允许 奇异;此时称为退化椭球。
范数球
任意范数 的球 都是凸集。二维单位球说明范数选择改变几何形状,但不改变凸性。
实验|不同范数,怎样定义“单位距离”?
可交互正在准备交互图…
同一个向量,为什么在不同范数下会有不同长度?
范数锥与二阶锥
任意范数诱导一个范数锥(norm cone) 它是凸锥。欧氏范数给出二阶锥(second-order cone, SOC):
它也称 Lorentz cone 或 quadratic cone。
实验|哪一个单位方向最能对齐给定向量?
可交互正在准备交互图…
为什么 ℓ₁ 与 ℓ∞ 互为对偶,而欧氏范数自对偶?
多面体
有限个线性等式和不等式的公共解集称为多面体(polyhedron): 它是半空间和超平面的有限交集,因而是凸集。
二维生产约束 定义一个有界多面体;有界多面体常称为 polytope。
非负正交锥
非负正交锥(nonnegative orthant)为 它同时是多面体和凸锥。分量不等式 表示每个分量均满足 。
例如 这把线性约束表达为一个仿射映射的原像。
单纯形
由仿射无关的 个点 决定的 维单纯形为
一维单纯形是线段,二维单纯形是实心三角形,三维单纯形是实心四面体。
单位单纯形:。
概率单纯形:。
多面体的两种描述
多面体可由线性约束描述(H-表示),也可由有限个生成点和方向描述:
前一部分是 的凸包,后一部分是余下向量的锥包。 每个多面体都存在这种表示;它与 H-表示在建模和计算中的复杂度可能相差很大。
半正定锥
记 。半正定锥为 严格不等式 对应正定锥 。
故 是凸锥。对于 ,
实验|一个矩阵,决定谷底还是鞍点
可交互正在准备交互图…
半正定为什么不保证唯一极小点?
交集保持凸性
若每个 都是凸集,则任意交集仍是凸集: 事实上,若 同时属于所有 ,则它们的凸组合也同时属于所有 。
多面体是有限个半空间和超平面的交集。半正定锥则可写为无穷个半空间的交集:
仿射像
设 是仿射映射。若 是凸集,则其像 也是凸集,因为
都是该结论的特例。
仿射原像
若 凸,则仿射原像 也是凸集。它在约束建模中尤为重要。
例如,范数约束 是范数球 在映射 下的原像,故为凸集。
积与投影
若 都凸,则笛卡尔积 是凸集。
若 凸,则消去变量后的投影 仍是凸集。
实验|从投影点,找到一条分离直线
可交互正在准备交互图…
把 y 拖到集合内部后,投影和分离直线分别会发生什么?
集合和与部分和
两个集合的和(Minkowski sum)定义为 它是 经 的线性像, 所以凸集之和仍为凸集。
线性矩阵不等式
设 ,线性矩阵不等式(linear matrix inequality, LMI) 的可行域是凸集。理由是 即它是 PSD 锥在仿射映射 下的原像。
两个仿射原像例子
仿射原像把已有凸集直接转化为新可行域。
椭球是单位球的仿射像,同时也是原像;其原像形式为
双曲锥(hyperbolic cone;) 是 SOC 在 下的原像。
透视映射
定义在 上的透视映射(perspective map)为 它把最后一个坐标归一化为 。针孔相机给出直观解释:若像平面位于 ,三维点通过原点成像后的平面坐标为 。
透视保持凸性
设 、,且最后一维都为正。 对 , 其中
线性分式映射
线性分式映射(linear-fractional map)是仿射映射与透视映射的复合:
若 凸且 ,则 凸; 凸集在 下的原像也凸。
条件概率
固定一个 。令 是联合概率,且 。则条件分布的第 个分量 给出向量映射 ,它是关于联合分布 的线性分式映射。
因此,若某个不确定性模型允许的联合分布集合 是凸集,并且其上 ,那么给定该 的条件概率集合也是凸集。
这个例子说明:透视和线性分式映射不是纯粹的几何技巧,它们自然出现于归一化和条件化过程。
生产计划的可行域
每个资源约束都是半空间,非负约束也是半空间: 因此 是多面体,也是凸集。目标函数不参与可行域的凸性判断。
本讲总结
| 基本对象 | 保凸操作 |
|---|---|
| 仿射集、半空间、范数球、椭球、多面体、SOC、PSD 锥 | 交集;仿射像与仿射原像;笛卡尔积;投影;集合和;透视及线性分式映射 |
| 建模方式 | 把可行域拆成基本凸集,并验证所有构造步骤属于上述保凸操作。 |
本讲回顾
带走的结构
凸集包含任意两点之间的整条线段;证明时必须从任意两点和任意 出发。
仿射集、半空间、范数球、椭球、多面体和常用锥是建模的基本凸集。
交集、仿射像与原像、投影、集合和及笛卡尔积构成一套保凸操作。
透视和线性分式映射在相应定义域内保凸,表示方式决定凸性是否容易识别。
自测
能否把一个资源约束可行域写成半空间的交,并据此证明它是凸集?
面对一个新集合,能否选择“按定义验证”或“由基本凸集经保凸操作构造”的较短证明?