MATH6015 / LECTURE 08
几何问题
投影、距离、椭球、分类与布局
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 8
本讲内容
MATH6015 / CONVEX OPTIMIZATION
01
前序知识与建模主线
前序知识
本章的统一变量
几何对象本身往往不直接作为变量,而改用 距离、角度、体积与位置关系由这些变量表达成凸约束。
从几何叙述到凸模型
判断标准
固定相对位置、把距离平方写成 affine function、或把“对所有点”改写成 support function,常能消除几何表象中的非线性;离散的先后/上下选择仍保留组合性。
本章常见凸结构
| 几何对象 | 数学表示 | 典型模型 |
|---|---|---|
| 最近点/集合间距离 | QP, SOCP | |
| 角度与距离可实现性 | SDP | |
| 椭球体积 | 或 | log-det program |
| 最深点/中心 | ball containment、barrier | LP, SDP |
| 分类边界 | affine in parameters | LP, QP, SDP |
| 位置与平面规划 | graph edges、relative order | LP, SOCP, GP |
同一几何目标可能有不同参数化;凸性取决于变量与表示,而不只取决于图形外观。
MATH6015 / CONVEX OPTIMIZATION
02
投影与分离
距离与投影
闭集 上,点 到 的距离为 任一达到最小值的 称为 projection:
存在性
有限维空间中, closed 即保证最短距离达到。
唯一性
closed convex 且 norm strictly convex 时 projection 唯一;Euclidean norm 是主要情形。
投影的几何图像
Euclidean optimality
若 closed convex,则 当且仅当 残差是 在 处的 normal vector。
教材例 8.1:单位方形边界
令 ,。虽然 不是凸集,但 projection 可以直接比较。
| norm | projections |
|---|---|
| 整个边界 |
三种距离均为 ;norm 的单位球决定“最近”的方向结构。
教材例 8.2:低秩投影
设 截断 SVD 是 spectral norm 下的 projection;Frobenius norm 下也成立。
该集合非凸;显式 projection 来自奇异值结构,而非一般凸投影理论。
凸集上的投影问题
若 则 projection 由凸问题给出:
Euclidean projection on a polyhedron: 是 strongly convex QP,feasible 时解唯一。
KKT 给出 因此 projection residual 是 active normals 的非负组合。
三个显式 Euclidean projections
Hyperplane
:
Halfspace
:若已 feasible,保持 ;否则使用上式投到边界。
Rectangle
:
Proper cone 上的投影
对 proper cone ,令 KKT 给出 Moreau decomposition:
负分量逐项截断为零。
若 ,则
projection 同时给出 primal cone component 与 orthogonal dual-cone certificate。
投影导出分离超平面
令 ,。中垂超平面 严格分离 与 。
该直接构造依赖 Euclidean geometry;一般 norm 可通过 duality 构造分离方向。
任意 norm 下的分离证书
将 引入 projection problem,dual 为 若某个 dual feasible point 的目标值为正,则对所有 , 因而定义严格分离超平面。若 projection problem 满足 Slater,positive distance 与这种 certificate 等价。
Indicator 与 support function
定义 投影可写成 ;Fenchel dual 化简为 若最优值为正,,即 位于 的 support hyperplane 之外。
应用例 1:概率向量校正
分类器给出的 raw score 为 ;需要投影到 probability simplex Euclidean projection 具有 threshold 形式 本例 ,所以
解释
归一化 会保留负概率;simplex projection 同时满足非负性、总和约束,并使 Euclidean 改动最小。
应用例 2:机器人安全位置
移动机器人计划位置 ,但可行空间由走廊、禁区的线性近似给出: 控制器每次求解
active constraints 的 multipliers 给出把计划点推回安全集的合力方向,也量化每个边界对修正量的贡献。
实验|从投影点,找到一条分离直线
可交互正在准备交互图…
把 y 拖到集合内部后,投影和分离直线分别会发生什么?
MATH6015 / CONVEX OPTIMIZATION
03
集合间距离
两个集合的距离
零距离的含义
若 ,距离为零。反向结论需要 infimum attained;例如 sets closed 且其中一个 bounded 时成立。
凸集间最近点
若 则 是 convex optimization problem。对 polyhedra
距离问题的 dual separation
引入
Polyhedra 的显式分离证书
对
Support functions 的紧凑表达
集合间距离的 dual 可写成
几何意义
应用例 3:机械臂碰撞裕量
把两个刚体在当前姿态附近近似为 polyhedra
实验|两个集合什么时候可以严格分开?
可交互正在准备交互图…
圆盘相切与相交时,严格分离结论有什么区别?
MATH6015 / CONVEX OPTIMIZATION
04
距离、角度与 Gram 矩阵
Gram matrix 统一几何量
令
Realizability 是一个 LMI
一组内积数据可由某些 vectors 实现,当且仅当
任意两种 realization 相差 orthogonal transformation(允许嵌入到更高维空间)。
角度与距离约束变成 affine constraints
已知
优化含义
限制部分 distances/angles 后,未知几何量的极值可由 SDP 求出;factorize 最优
数值实例
若
条件数与 dual basis
Singular values
Dual basis
若
体积也由 Gram matrix 决定
image ellipsoid
只考虑角度:correlation matrix
若
常见误区
逐对满足
教材例 8.3:相关系数边界
已知
Euclidean distance matrix
只关心 pairwise distances 时,可平移 configuration 令
应用例 4:传感器定位
四个 sensors 的部分 squared distances 已知,未知 entries 组成矩阵
应用例 5:修复相关矩阵
样本缺失与独立 pairwise estimation 可能给出 indefinite matrix
MATH6015 / CONVEX OPTIMIZATION
05
极值体积椭球
外接与内接椭球
Outer approximation
Löwner–John ellipsoid:覆盖
Inner approximation
位于
二者都对 affine coordinate changes 自然变换。
Löwner–John ellipsoid
用 inverse-image parameterization
覆盖有限点集
若
覆盖椭球的并集
令
外接椭球的近似保证
设
紧性
一般集合的
用 quadratic norm 近似任意 norm
令
几何上:复杂 unit ball 被一个 ellipsoid 在 dimension-dependent factor 内逼近。
算法上:可用
Maximum-volume inscribed ellipsoid
用 image parameterization
改变
接触点
若第
内接于椭球交集
若
近似效率
maximum-volume inner ellipsoid 扩大
Affine invariance
若
理由是
应用例 6:压缩不确定性集合
工程参数的
数据压缩
存储
下游鲁棒优化
对 linear constraint,ellipsoidal uncertainty 的 worst case 变为一个 norm term,通常得到 SOCP。
若 samples 只是有限观测,coverage 仅对样本集合成立;推广到真实分布仍需要统计置信保证。
实验|同一三角形,两种体积最优椭圆
可交互正在准备交互图…
为什么两椭圆在三角形特例中共心,半轴恰好相差两倍?
MATH6015 / CONVEX OPTIMIZATION
06
中心
三种中心回答不同问题
Chebyshev center
最大化最小边界距离。
MVE center
最大化可容纳 ellipsoid 的体积。
Analytic center
最大化 inequalities slacks 的乘积。
三者通常不重合;所选中心应对应应用中真正关心的“居中”概念。
Chebyshev center
点
Polyhedron 的 Chebyshev center
若
实验|在多面体里,放入最大的圆
可交互正在准备交互图…
为什么“圆完全在半空间内”能够写成一个线性不等式?
Ellipsoids 交集的 Chebyshev center
若
Maximum-volume ellipsoid center
与 Chebyshev center 的差异
Chebyshev center 只优化最短半径;MVE center 同时调整所有 principal axes,因此会利用长而窄的方向,并具有 affine invariance。
Analytic center
对
Analytic center 依赖表示
同一集合用不同 inequalities 描述,analytic center 可能改变。例如区间
仍保持的不变性
analytic center 对 coordinate 的 nonsingular affine change、每个 inequality 的 positive scaling,以及 equality constraints 的等价重参数化不变。
Linear inequalities 的 analytic center
对
LMI 的 analytic center
对 spectrahedron
当 smallest eigenvalue 接近零,
这正是 Lecture 06 中 semidefinite interior-point method 的 barrier;“中心”与 central path 直接连接。
应用例 7:制造公差中心
设计变量
决策含义
MATH6015 / CONVEX OPTIMIZATION
07
分类
分类的几何定义
给定两组 points
若
Linear discrimination
令
几何判据
两组 points 可被 affine hyperplane 严格分开,当且仅当
Maximum-margin separation
为排除任意 scaling,约束
Margin 等于 convex hull distance 的一半
maximum-margin problem 的 dual 可解释为
Support vectors
最优 convex combinations 中 positive weights 对应 closest faces;primal classifier 仅由这些靠近 slab 的 points 决定。
不可分数据:LP slack model
引入
Slack 的数值读法
对正类 score
Support vector classifier
标准 soft-margin model 为
与常见
实验|间隔宽度与违约代价怎样权衡?
可交互正在准备交互图…
为什么增大 C 不一定让所有样本都满足间隔要求?
Logistic discrimination
模型
与 margin model 的区别
SVC 直接优化 geometric margin 与 hinge-like violations;logistic model 优化 probabilistic log-loss,并输出 class probability。若 data strictly separable 且无 regularization,logistic MLE 不存在有限解。
Quadratic discrimination
令
Polynomial discrimination
degree at most
minimum separating degree 可通过整数
应用例 8:质量缺陷筛查
二维 features 为振动幅值与温升,正常样本位于中央、缺陷样本围绕外侧。linear classifier 无法分离。几何上可写成
为保持训练问题 convex,使用一般形式
MATH6015 / CONVEX OPTIMIZATION
08
布局与选址
Placement 的 graph model
节点
Linear facility location
最基本 cost 是 weighted link length:
Euclidean norm
直接距离,适合仓库运输、无线节点或能够沿直线连接的系统;模型可写为 SOCP。
Manhattan norm
教材例 8.4:一个自由点
给定
distance
Euclidean distance
mean、median 与 geometric median 对应不同 loss;不能仅凭“中心”一词互换。
Placement constraints
保持 convexity 的常见约束包括:
位于 line、box、ellipsoid 等 convex region;pairwise distance upper bounds;
relative position,例如
;linear equalities 描述 alignment。
限制 points
minimum distance constraint
Nonlinear facility costs
更一般地,若
| 行为 | 布局倾向 | |
|---|---|---|
| linear penalty | 允许少量较长 links | |
| quadratic penalty | 更均衡地压缩长 links | |
| high-order penalty | 强烈抑制 maximum link length | |
| deadzone | 短距离零成本 | 小移动不敏感 |
| quadratic-linear | 近处平方、远处线性 | 平滑且降低 outlier influence |
教材例 8.5:平方距离得到均值
只有一个 free point
与例 8.4 对比
教材例 8.6:penalty 改变布局
教材比较同一 graph 上
随着 power 增大,长 link 的 marginal cost 增长更快;free nodes 更分散,maximum length 缩短。
Path constraints
path
限制 path sum 与逐条限制 edge length 不同:前者允许在路径内部重新分配 delay budget。
Minimax delay 与 dynamic programming
在 DAG 中,令
计算结构
按 reverse topological order 计算
Minimax delay 的凸 reformulation
引入 upper bounds
建模模式
用 epigraph inequalities 取代 max recursion 的 equality,是把 dynamic programming relation 嵌入 convex optimization 的典型方法。
应用例 9:应急设施选址
居民点
效率:平均运输成本
公平性:最坏响应时间
可行域
实验|服务点应该设在重心吗?
可交互正在准备交互图…
一个需求点权重很大时,最优设施会不会直接落在该点?
应用例 10:芯片互连布局
modules 的位置
优势
大规模、平滑、可用 sparse linear algebra 快速求解,适合 global placement 初始阶段。
局限
points 没有面积,不能阻止 modules overlap;需要后续 legalization 或进入 floor-planning model。
实验|固定锚点怎样决定自由节点?
可交互正在准备交互图…
连接强度增大时,两个自由节点为什么会靠拢?
MATH6015 / CONVEX OPTIMIZATION
09
平面规划
Floor-planning variables
cell
containment constraints:
Non-overlap 是 disjunction
对任意
组合性来源
每个 inequality 本身 linear;困难来自“or”。若 relative order 未知,需 discrete variables/search。若预先指定每对 cells 的相对位置,剩余 continuous sizing/placement 可转为 convex optimization。
Relative positioning graphs
用 DAG
transitive relation 的所有 inequalities 不必显式保留;只需 DAG edges。path
每对 cells 必须在
Bounding constraints 也可稀疏化
利用 partial order,只需对 extremal cells 施加外框约束:
算法意义
用 transitive reduction 保留必要 edges,可显著减少 linear constraints;这不改变 feasible set,只改变表示规模与数值求解成本。
Convex floor-planning model
给定
spacing:
;minimum area:
;aspect ratio:
。
minimum-area constraint 是 convex,因为
Alignment、symmetry 与 similarity
这些设计规则在 relative order 固定后可用 linear equalities:
边界
若 similarity scale
containment in a polyhedron 与指定 cell 覆盖某个 point 也只需 linear inequalities。
Cell 间距离约束
center distance 可直接约束:
方向要分清
教材例 8.7:五个 cells
教材固定 Figure 8.19 的 relative-position graphs,统一要求
最优 perimeter 与 aspect ratios 会随 area allocation 改变;相同 total area 不意味着相同 geometry 或 bounding box。
Floor planning via geometric programming
所有 variables positive 时,relative-position inequality
GP 能直接处理
最小化 area
本 formulation 不便处理
alignment、additive symmetry 与一般 distance constraints 不符合 monomial/posynomial 结构。
convex 与 GP formulations 各自保留不同的设计语言,应根据所需 constraints 选择。
应用例 11:数据中心机柜布局
机柜
模型边界。 给定 relative order 后这是 convex model;若 aisle topology、rack orientation 或 pairwise order 也要选择,则需加入 mixed-integer decisions。
MATH6015 / CONVEX OPTIMIZATION
10
总结
Chapter 8 的建模链
几何问题的核心工作是选择 representation:坐标适合位置,Gram matrix 适合不变量,ellipsoid parameters 适合 containment,graph order 适合消除 disjunction。
公式索引
| 对象 | 关键公式 |
|---|---|
| Projection | |
| Set distance dual | |
| Gram geometry | |
| Euclidean distance matrix | |
| Outer ellipsoid | |
| Inner ellipsoid | |
| Chebyshev center | |
| Analytic center | |
| Floor planning | relative order converts non-overlap disjunctions into linear inequalities |
模型选择
| 已知信息 | 变量 | 首选结构 |
|---|---|---|
| point coordinates 与 convex regions | coordinates | norm/QP/SOCP |
| pairwise angles/distances | Gram or EDM | SDP |
| cover/containment geometry | ellipsoid parameters | log-det + SOCP/SDP |
| class labels | boundary parameters | LP/QP/SDP |
| network links | node coordinates | separable convex costs |
| rectangles + fixed order | positions and sizes | LP/SOCP/GP |
| rectangles + unknown order | continuous + discrete | mixed-integer/outer search |
先识别 invariant、containment 和 disjunction;它们决定能否得到 convex formulation。
本讲回顾
带走的结构
投影、分离与集合间距离把几何关系转化为凸优化问题和对偶证书。
Gram 矩阵以半正定约束编码内积、距离和角度,适合只给出成对几何信息的问题。
极值体积椭球、中心与分类模型依靠范数、log-det、SOCP 或 SDP 表示。
坐标、Gram 矩阵、椭球参数和图上的顺序变量对应不同的几何信息与约束结构。
自测
若只知道点之间的距离或夹角,应选坐标变量还是 Gram 矩阵?需要加入什么一致性约束?
能否把一个投影、集合距离或包围问题写成规范的 QP、SOCP 或 SDP 模型?