MATH6015 / LECTURE 01C
凸优化问题
从问题描述到 LP、QP、SOCP 与 GP
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 4
MATH6015 / CONVEX OPTIMIZATION
01
课程承接
前置知识与本讲问题
本讲集中回答三个问题:
怎样判断一个给定表示是否构成凸优化问题?
怎样通过等价变换得到便于分析和计算的标准形式?
LP、QP、QCQP、SOCP 与 GP 分别对应哪些结构?
凸集描述可行域,凸函数描述目标和不等式;仿射函数描述等式约束。
生产计划:第三次回访
前两讲分别确认了可行域的凸性与函数的凸性;本讲进一步辨认模型类别、标准形式及等价表示。
内容结构
分析顺序为:先确定问题的数学语义,再检查凸性与等价表示,最后按结构识别可用的标准模型。
MATH6015 / CONVEX OPTIMIZATION
02
4.1 优化问题的描述
优化问题
:optimization variable(决策变量);
:objective/cost function(目标/代价函数);
、:inequality / equality constraints。
定义域与可行性
问题的定义域是所有函数同时有定义的点:
且满足全部约束,称为 feasible point;
所有 feasible points 构成 feasible set ;
时问题 feasible,否则 infeasible。
最优值与三种状态
例如,在 上: 的最优值为 但不取到; 无下界; 的最优点为 。
最优点与约束状态
若 ,称最优值 attained;
的 feasible 称为 -suboptimal;
若 ,第 个不等式在 处 active; 若 ,则 inactive;
删除后不改变可行域的约束称 redundant。
可行性问题
当 时,优化问题退化为
此时只问约束是否一致,以及在一致时给出一个可行点。
许多优化算法的一个基本步骤就是反复求解可行性问题;拟凸优化也可化为一系列可行性检验。
标准形式
标准形式将不等式和等式的右端统一写为零:
箱约束 等价于两组不等式 最大化问题 通过最小化 处理。
等价问题
若能从一个问题的解直接恢复另一个问题的解,反之亦然,则称二者 equivalent。
常用变换包括:正比例缩放、单调函数变换、变量替换、引入 slack variables、消去或引入等式约束。
不改变解的变换
对于 , 与原问题有相同的可行域和最优点。
更一般地,只要 严格单调递增,且 就可用 代替 。
变量替换与消去等式
若 是双射, 令 ,则以 构成的 -问题与原问题等价。
特别地,若 可行,取一个特解 和 ,则 参数化全部可行点;代入后消去线性等式。
Slack 与辅助变量
不等式 等价于存在 ,使
若出现复合项 ,也可引入 将其写为 加上线性等式。这种拆分在建模和算法中很常用。
参数模型与 Oracle
MATH6015 / CONVEX OPTIMIZATION
03
4.2 凸优化问题
凸优化标准形式
这是 convex optimization problem,当且仅当
可行域是各凸函数定义域、凸下水平集和仿射超平面的交集,因而是凸集。
解集的结构
若 为凸函数,则任意 -suboptimal set 都是凸集;尤其, 是凸集。
若 严格凸,则 至多含一个点。
最大化凹函数等价于最小化其相反数,因此 concave maximization 也属于凸优化的范围。
表示方式同样重要
“凸函数在凸集上最小化”还不足以成为教材中的标准凸优化形式:约束必须以 convex inequalities 和 affine equalities 表示。
可行域本身凸,却不是标准凸形式。它等价于 后者才是凸优化问题的有效表示。
局部最优即全局最优
设 是局部最优。若有 满足 ,令 由可行域凸性, 可行;由目标凸性, 这与局部最优性矛盾。
一阶最优条件
设 为可微凸函数, 为非空凸可行域。则
由凸函数一阶下界 可立即验证充分性;必要性来自沿可行线段的方向导数。
无约束凸二次问题
对 最优性的充要条件是
| 情形 | 结论 |
|---|---|
| 无解,问题无下界 | |
| 唯一解 | |
| 奇异且 |
仅有线性等式
所有可行方向 属于 。一阶最优条件为 等价地, 并同时满足 。这已是 Lagrange multiplier 条件的基本形态。
非负正交锥
可微凸情形的一阶最优条件等价于
最后一个关系称为 complementarity:每个坐标上,变量或梯度至少有一个为零。
等价凸问题
下列操作保持 convexity:
消去 :代入 ,凸函数与仿射映射复合仍凸;
引入 :增加仿射等式,保留凸性;
对 affine inequality 引入 slack variable;
将目标改写为 epigraph form;
对联合凸函数在部分变量上最小化(partial minimization)。
Epigraph 形式
引入标量 作为目标函数的上界。一般凸问题可等价改写为线性目标最小化,附加约束为 由于 仍为凸函数,改写后的问题保持凸性。
拟凸优化
在 quasiconvex optimization 中,约束仍为凸不等式和仿射等式,但目标 仅为 quasiconvex。
最优集仍凸;严格局部最优点是全局最优,但一般局部最优点未必全局最优;
对可微 ,若 且 对所有 成立,则 最优;该条件不再是必要条件;
典型例子是 linear-fractional objective。
拟凸问题的可行性检验
若凸函数族 满足 则对于给定 ,检验 是一个 convex feasibility problem。
随着 增大,可行性单调出现;因而可以对 二分搜索,逼近最优值 。
MATH6015 / CONVEX OPTIMIZATION
04
4.3 线性规划
线性规划的三种形式
所有目标和约束函数都是仿射函数;可行域是 polyhedron。
转为 LP 标准形式
从 general form 出发,先对 引入 slack : 再将自由变量写为 得到
生产计划
设 为两类产品产量;每批收益为 ,两道工序容量均为 :
目标和全部约束均为仿射,故为 LP。最优点处两道容量约束同时 active:
实验|转动目标,最优顶点怎样切换?
可交互正在准备交互图…
什么方向会使整条边都是最优解?
网络流
令 为有向边 的流量。取关联矩阵约定 表示边 流入节点 , 表示流出; 因此 表示节点要求的净流入量。
右图以 标记单位费用和容量,并令 。例如节点 (1) 的守恒方程为 流量 满足全部守恒式和容量约束。道路、物流与通信网络具有相同的 LP 结构。
多面体的 Chebyshev 中心
对多面体 求其内接最大欧氏球的中心 与半径 。 因此 是 LP。几何距离问题由此变成线性规划。
分段线性目标
是 convex piecewise-linear function。利用 epigraph:
每个 affine piece 生成一条线性不等式;最小化最大值因而可作为 LP 求解。
线性分式规划
该 objective 是 linear-fractional function,既 quasiconvex 又 quasiconcave(quasilinear)。
例如,“每单位资源的收益/能耗”或“单位时间的产出”常导致这类比例目标。
线性分式到 LP
令 则 ,并得到等价 LP: 若 ,以 恢复原变量;若 ,它对应原问题的一条极限方向, 原问题中的可行点可以逼近相同的目标值。因此两个问题的最优值相同。
MATH6015 / CONVEX OPTIMIZATION
05
4.4 二次规划与二阶锥规划
二次规划
QP 是在 polyhedron 上最小化 convex quadratic function。取 即得到 LP。
QCQP 与模型层次
若不等式也为凸二次函数,则 称为 quadratically constrained quadratic program(QCQP)。
最小二乘与约束回归
因此 least squares 是无约束 QP;若 满列秩,解为 加入箱约束后, 成为 constrained least squares(QP),通常不再有同样简单的闭式解。
带先验的标定
若参考参数为 ,可使用
Hessian 为 故目标严格凸,并满足
实验|最优点在内部、边上还是顶点?
可交互正在准备交互图…
活动约束变化时,解路径是否一定光滑?
多面体之间的距离
若 则解 QP 最优值为零当且仅当两多面体相交。
Markowitz 投资组合
令 为各资产的投资比例, 为收益均值, 为收益协方差。
是组合收益的方差;该 QP 在保证最低平均收益与预算约束下最小化风险。
实验|最低收益要求怎样改变最小风险组合?
可交互正在准备交互图…
为什么收益要求超过所有资产均值时,非负组合会不可行?
二阶锥规划
约束 等价于 属于 second-order cone。
时退化为 LP;当 且 时, 可平方为 QCQP;SOCP 比两者都更一般。
鲁棒线性约束
系数不确定但落在椭球中: 要求 对所有允许的 成立。当且仅当 故 robust LP 可等价改写为 SOCP。
概率约束
若随机约束系数 且要求 则等价于 右侧是二阶锥约束:给定置信水平的随机线性约束可在高斯模型下转为 SOCP。
实验|系数不确定时,需要留多少余量?
可交互正在准备交互图…
欧氏球不确定性为什么产生一个二阶锥约束?
MATH6015 / CONVEX OPTIMIZATION
06
4.5 几何规划
单项式函数
在正正交锥 上, 称为 monomial function。
这里的指数可以为负数或分数;这与初等代数中“指数为非负整数”的 monomial 用法不同。
正项式函数
monomial 的有限正和 称为 posynomial。
| 函数类 | 封闭运算 |
|---|---|
| monomial | 乘法、除法 |
| posynomial | 加法、乘法、正数乘 |
| posynomial / monomial | 仍为 posynomial |
例如 是 posynomial。
几何规划的原始形式
其中 是 posynomial, 是 monomial,且隐含 。
这称为 geometric program(GP)的 posynomial form;它通常不是原变量中的凸优化问题。
GP 的等价规范化
GP 可以容纳更一般的写法: 其中 为 posynomial, 为 monomial。 最大化非零 monomial 目标,则最小化其 inverse monomial。
这些规则将工程表达式统一为 GP 的标准 posynomial form。
对数变量替换
令 若 为 monomial,则
因此 monomial 在 log variables 中变为 affine function 的指数。单项结构由乘积变为加法。
GP 的凸形式
若 为 posynomial,则 若单项式等式写成 ,则对目标和约束取对数,得到
log-sum-exp 是凸函数,等式是仿射的;这就是 GP 的 convex form。
悬臂梁设计
由 个单位长度矩形截面段组成的 cantilever beam,编号从受力端向固定端依次为 。设计变量为每段宽度 、高度 。
以总体积(重量)为目标,并限制截面尺寸、宽高比和最大应力:
挠度约束
记 和 分别为第 段右端的挠度与斜率。由固定端条件 ,从 向 递推:
每一步都是 monomial 与已有 posynomial 的和,所以 仍为 posynomial。特别地,受力端约束 是 posynomial inequality。
因此目标、尺寸约束、应力约束与挠度约束共同构成一个 GP。
实验|乘法约束如何变成直线?
可交互正在准备交互图…
取对数为何需要严格正变量?
从结构识别模型
| 类别 | 目标/约束结构 | 典型问题 |
|---|---|---|
| LP | 仿射 | 生产计划、网络流、Chebyshev 中心 |
| QP/QCQP | 凸二次 + 线性/二次约束 | 回归、距离、投资组合 |
| SOCP | 仿射 + 二范数约束 | 鲁棒设计、概率约束 |
| GP | posynomial/monomial,经 log 变换 | 尺寸设计、缩放 |
| 一般凸问题 | 凸目标与凸不等式 | 正则化、估计 |
建模时首先辨认函数与约束的结构,再选择等价变换与适合的求解方法。
实验|三个相关系数不能随意指定
可交互正在准备交互图…
相关系数各自落在 [−1,1],足以保证矩阵半正定吗?
本讲总结
凸优化问题由凸目标、凸不等式和仿射等式构成;表示方式决定这一结构是否显式可见。
标准化、变量替换、等式消去、epigraph 与 slack variables 用于建立等价模型。
LP、QP/QCQP、SOCP 与 GP 分别利用仿射、二次、范数锥和正项式结构。
模型识别之后,最优性条件、对偶理论与数值算法才能针对结构展开。
本讲回顾
带走的结构
凸优化问题要求目标与不等式函数凸、等式约束仿射;表示方式决定这一结构是否显式。
变量替换、等式消去、epigraph 和 slack variables 用来得到便于分析的等价模型。
LP、QP/QCQP、SOCP 与 GP 分别利用仿射、二次、范数锥和正项式结构。
模型分类的目的,是让最优性条件、对偶工具和数值算法利用问题的具体结构。
自测
给定一个目标与约束,能否判断它属于 LP、QP、SOCP 或 GP,并写出相应标准形式?
面对看似非凸的表示,能否尝试 epigraph、变量替换或对数变换,并说明变换前后的等价关系?