MATH6015 / LECTURE 04
对偶理论
对偶下界、最优性条件与敏感性
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · §3.3 / Chapter 5
本讲内容
MATH6015 / CONVEX OPTIMIZATION
01
共轭函数回顾
前序知识
Lectures 01A–01B
凸集、相对内部、分离定理与锥;凸函数的一阶条件、次梯度、共轭函数与 Fenchel–Young 不等式。
Lecture 01C
标准形式、等价变换,以及 LP/QP/QCQP/SOCP/GP/SDP 的变量、目标与约束结构。
线性代数
需区分 range、nullspace、正定与半正定,并核对乘子的维度。
本讲的切入点
把约束乘到目标中,再对原变量取下确界;共轭函数使这一消元过程可以计算。
线性扰动与共轭
给定 ,线性扰动后的最优值为
共轭函数
是关于 的仿射函数族的逐点上确界,因此始终凸。
对偶解释
| 原变量或资源数量 | |
| 线性价格或扰动 | |
| 给定价格下的最大净收益 |
定义中的 允许最优点不被取得;有效域稍后成为 dual constraint。
几何解释与 Fenchel–Young
固定斜率 ,将直线向上移动至接触 : 等价地, 若 为闭凸函数,等号成立当且仅当 可微情形化为 ;共轭把斜率与接触点互换。
实验|把斜率当作变量,构造共轭函数
可交互正在准备交互图…
为什么最优接触点满足 f′(x)=y?指数函数的共轭定义域是什么?
共轭如何生成对偶约束
| 原函数 | 共轭及其有效域 |
|---|---|
| , | |
| on |
is the probability simplex.
对等式约束问题 Lagrangian 关于 的下确界为 的有效域直接给出 必须满足的约束。
资源价格与乘子
企业使用资源 取得收入 ;给定价格 时,最大利润为
共轭视角
描述生产技术, 是资源成本;最优资源量在边际收入与资源价格平衡处取得。
对偶视角
约束的 Lagrange multiplier 具有同样的单位资源价格含义;§5.6 将证明它给出最优值对资源上限的局部敏感度。
因此,共轭函数不是新的计算支线,而是“消去原变量并保留价格信息”的语言。
食谱问题
每天选择燕麦坚果碗与酸奶蛋白杯的份数 ,在满足最低营养需求的同时使总开销最小。
| 食品(每份) | 单价 | 蛋白质 | 膳食纤维 |
|---|---|---|---|
| 燕麦坚果碗 | 6 | 2 | 4 |
| 酸奶蛋白杯 | 8 | 5 | 1 |
| 每日最低需求 | – | 10 | 8 |
最低成本食谱
令 ,则 即 ,其中 的列对应食品,行对应营养素。
补品问题
药店为蛋白质与膳食纤维补品设定单位价格 ,销售恰好满足每日需求的补品组合。
药店的定价问题
替代补品的总价不得高于相应食品的价格: 即 。
变量的经济含义
是第 种营养素的单位价格,而不是补品数量; 是用补品复制第 种食品所含营养素的总价。
食谱与补品的对偶关系
食谱:食品份数
补品:营养单价
对任意可行 ,非负性和两侧约束给出 补品收益始终不超过食谱成本;本例的两组可行解达到同一个值,因此 分别为两侧最优解。
MATH6015 / CONVEX OPTIMIZATION
02
Lagrange 对偶函数
Lagrangian
对一般问题 定义
对应不等式,dual feasibility 要求 。
对应等式,可取任意实数。每一项必须与 具有相同量纲。
Lagrange 对偶函数
固定乘子,对原变量求下确界:
对每个固定 , 是乘子的仿射函数。因此 是仿射函数族的逐点下确界,故 该结论不要求 primal 为凸问题。
有效域
若 对 无下界,则 。有限性条件经常形成 dual problem 中的等式、范数球或 PSD 约束。
最优值的下界
若 primal feasible 且 ,则 因此 再对所有 primal feasible 取下确界,得到
方向检查
本课程采用 minimization primal,因此 dual function 提供下界。若 primal 写成 maximization,界的方向需相应调整。
约束的线性近似
原问题可写为无约束 extended-value 形式 其中 当 ,否则为 ; 当 。
对 ,线性函数满足
以这些线性下估计替代 hard indicator,便得到 Lagrangian。由于始终从下方近似,所得最优值仍是下界。
乘子改变下界
固定 : 对 取最低点得到 。
优化 的目标,是使这个下界尽可能接近 。
线性方程的最小范数解
教材问题为 Lagrangian 与驻点为 代入 得
维度
,故 ,。 是关于 的凹二次函数。
标准形式 LP
对 引入 : 线性函数在 上有有限下确界,当且仅当其系数为零。因此 令 并消去 ,得到熟悉的约束 。
非凸划分问题的下界
教材的 two-way partitioning problem 为 其 feasible set 含 个符号向量。Lagrangian 为 故
关键事实
非凸 primal 的 dual 仍是 convex SDP,并给出可计算的全局下界。取 即得 。
共轭函数给出 dual function
考虑线性约束问题 有效域由 确定。共轭函数把“对 求下确界”变成函数查表与仿射映射。
三个共轭对偶例子
| Primal | 所用共轭 | dual function 或有限性条件 |
|---|---|---|
| | 范数的共轭是 dual-unit-ball indicator | 若 |
| Entropy maximization | 为仿射项减去指数和;可消去概率归一化乘子 | |
| Minimum-volume ellipsoid | ,目标含其 log-det |
三个例子分别产生范数球、指数和 PSD 有效域,说明 dual constraints 来自共轭函数的定义域。
应用例 3:生产计划
工厂生产两种产品, 为产品 的产量,单位利润分别为 。两种资源的容量为 ,每单位产品的资源消耗由两条约束的系数给出。
Primal
交点 ,最优利润为 。
Dual
,dual value 同为 。
两类资源在最优点均耗尽; 将在 §5.6 中解释为资源容量的边际价格。
MATH6015 / CONVEX OPTIMIZATION
03
对偶问题与强对偶
Lagrange 对偶问题
每个 dual-feasible 都给出下界。选择最大的下界得到
dual objective 凹,约束 凸,所以 dual problem 总是 convex optimization problem。
记 primal 与 dual 最优值为 。dual optimum 是否取得,与最优值是否有限是两个不同问题。
隐含约束
的区域不提供有效下界。实际书写 dual 时通常把 的条件显式列为约束。
LP 的显式 dual constraints
标准形式 primal
等价 dual 为
不等式形式 primal
一种符号约定下的 dual 为
显式形式必须与所用不等式方向和乘子符号一致。
Weak duality
对所有优化问题成立,不要求 convexity 或 constraint qualification。
| 已知情况 | weak duality 的结论 | 可作出的判断 |
|---|---|---|
| 必有 | dual infeasible | |
| 必有 | primal infeasible | |
| primal、dual 均 feasible | 两侧界住最优值 |
弱对偶通常不能反向使用。例如 dual infeasible 不必然意味着 primal unbounded。
Duality gap
对 primal feasible 和 dual feasible ,
Strong duality 指 ;它不自动保证 primal 或 dual optimum 被取得。
实验|每一个乘子,给出一个下界
可交互正在准备交互图…
非最优乘子能给出有效下界吗?什么时候间隙为零?
Slater 条件
对凸问题 若存在 满足 则 且当 时 dual optimum 被取得。
Refined Slater condition
仿射不等式无需严格满足。若前 个 仿射,只要求 对 成立,对其余凸不等式严格成立。
Slater 是充分条件,不是强对偶的必要条件。
教材中的强对偶例子
| 问题 | dual 的结构 | strong duality 条件或结论 |
|---|---|---|
| 线性方程最小范数 | 无约束凹二次 maximization | feasible 时 Slater;不可行时 (dual unbounded above) |
| LP | 另一形式的 LP | primal 或 dual feasible 时成立;两边均 infeasible 是例外 |
| 凸 QCQP | 二次不等式严格可行 | |
| Entropy maximization | 指数和或 log-sum-exp | 存在 满足 affine constraints |
| Covering ellipsoid | log-det maximization | 可取足够小的 ,Slater 总成立 |
判断强对偶时,应分别检查 convexity、domain 的相对内部和严格可行性。
QCQP 的 dual
定义 若 、 且 ,则 严格可行的 quadratic constraints 保证 strong duality。
非凸 trust-region problem
当 时,
特殊结论
尽管 objective 非凸,单个 quadratic inequality 且满足 Slater 时仍有 zero duality gap。这是 S-lemma 的重要表现。
Mixed-strategy matrix game
玩家 1 选择分布 ,玩家 2 选择 ,期望支付为 。 其中 是概率单纯形。
若玩家 1 先公布策略: 玩家 1 控制最坏支付。
若玩家 2 先公布策略: 玩家 2 控制最坏收入。
将第一个问题写成 LP 后,其 dual 正是第二个问题。LP strong duality 给出
应用例 4:最大流
有向边 的容量为 。最大流问题选择流量 ,把尽可能多的流从源点 送到汇点 。
边上的标记为“流量 / 容量 ”。
可行流
每条边满足容量限制 中间节点满足流量守恒:流入量等于流出量。
本例的守恒关系
源点净流出量为
图中标注给出一个值为 的可行流;还需要一个上界来证明它是最大流。
应用例 4:最小割
割把节点分为 与 ,其中 、。所有 – 流都必须从 离开。
红色边从 指向 ,其容量计入该割。
割容量只计算从 指向 的边: 最小割问题在所有允许的 中最小化 。
本例
取 ,跨割边为 与 ,所以
任意可行流都满足 。上一页给出 ,本页给出容量为 的割,因此两者分别为最大流与最小割:
MATH6015 / CONVEX OPTIMIZATION
04
几何与鞍点解释
Set of values
将所有约束值与目标值放在同一个集合中: 若以 表示该点,则 而 dual function 为 因此每个有限的 都对应 的一个非竖直支撑超平面。
支撑线与 strong duality
可交互定义 epigraph variation 图中 为曲线以上区域。
若在 存在法向量 的支撑面,则 即 strong duality。
在两种情形中都取 ,比较支撑线在 的截距。
Slater 定理的几何证明
设 凸集 与 不相交,因此存在分离超平面
由 向正的 方向封闭,得到 、。
若 ,除以 即得到某个 dual feasible ,且 。
Slater 点位于 inequality-value 空间的严格负侧,排除 的竖直分离面。
因此支撑面可规范化为法向量 ,dual optimum 被取得。
Multicriterion interpretation
无等式约束时,将各约束函数与 objective 组成 多目标 scalarization 选择非负权重 并最小化 把最后一个权重规范化为 后,,所得标量目标正是
解释
给出第 个 criterion 相对于原 objective 的交换率;支撑超平面的法向量同时解释 scalarization 与 Lagrange multipliers。
Max-min inequality
暂不含等式约束。对固定 , 故 一般 max-min inequality 为 strong duality 表示对 Lagrangian 可以交换 与 而不改变值。
Saddle point
若 满足 则它是 Lagrangian 的 saddle point。
固定 :
固定 :
等价关系
primal optimum、dual optimum 和 zero duality gap 共同成立,当且仅当相应点形成 saddle point。
连续零和博弈
玩家 1 选择 并希望减小 ;玩家 2 选择 并希望增大 。
玩家 1 先行动时,玩家 2 观察 后施加最不利价格:
玩家 2 先行动时,玩家 1 观察价格后调整决策:
duality gap 衡量后行动者因观察对方选择所获得的优势。存在 saddle point 时,行动顺序不再影响最终支付。
价格与税的解释
是企业成本, 是资源或法规限制。若允许按价格 买卖第 个约束的余量,总成本为 企业在给定价格下选择最有利的运营方式,所得成本为 。
weak duality:即使监管者选择最不利价格,允许买卖约束余量后的最优成本仍不超过硬约束成本。
strong duality:存在一组 shadow prices,使企业从放松硬约束中得不到额外优势。
MATH6015 / CONVEX OPTIMIZATION
05
最优性条件
Primal-dual certificate
若 primal feasible, dual feasible,则 因此
停止准则
若
绝对与相对精度
绝对 gap 适用于目标值的自然尺度已知的情形。相对精度需要避免除以接近零的量。
若
若
算法含义
Interior-point methods 同时维护 primal 和 dual 变量,以 gap 作为有数学保证的终止条件;Lecture 06 将使用这一结构。
Complementary slackness
若 primal 与 dual optimum 均被取得且
正乘子
严格余量
它不能单独推出最优性,还需 primal feasibility、dual feasibility 与 stationarity。
KKT 条件
对可微问题,Karush–Kuhn–Tucker conditions 为
primal feasibility dual feasibility complementary slackness stationarity
KKT 的必要性与充分性
| 问题类型与假设 | KKT 的作用 |
|---|---|
| 一般可微问题,且已知 strong duality、primal/dual optimum 均取得 | 任一最优 primal-dual pair 必须满足 KKT |
| 可微凸问题 | 任一满足 KKT 的点必为 primal/dual optimal,并且 gap 为零 |
| 可微凸问题且满足 Slater | KKT 对 primal optimality 是必要且充分条件;存在最优乘子 |
对非凸问题,KKT 通常只提供局部候选点;不能仅凭 stationarity 断言全局最优。
Equality-constrained QP
Water-filling
设
KKT 给出
实验|有限功率应该分给哪些通道?
可交互正在准备交互图…
为什么劣质通道可能完全不获得功率?
弹簧与接触力
势能最小化给出平衡位置。不可穿透约束的 multipliers 是接触力。
complementary slackness 表示只有接触发生时,接触力才可能非零;stationarity 正是两个物体的合力为零。
能量模型与不可穿透约束
实验|互补松弛可以解释为接触力
可交互正在准备交互图…
为什么没有接触时力为零,而有接触力时位置间隙必须为零?
从 dual 恢复 primal
设 strong duality 成立且已知 dual optimum
若
primal feasible,它就是 primal optimum;若
不 feasible,则 primal optimal value 没有被取得。
Entropy recovery
对教材 entropy problem,解完 dual 后可直接恢复
可分问题的 dual decomposition
给定一个标量价格
再用一维 root finding 或 bisection 调整
这是大规模资源分配和分布式优化中的基本分解结构。
应用例 5:EV 充电
采用约束
协调器通过一维搜索更新
应用例 6:最优传输
Primal transport plan
Dual potentials
取
应用例 7:Soft-margin SVM
给定训练样本
MATH6015 / CONVEX OPTIMIZATION
06
敏感性与等价变形
Perturbed problem
将约束右端扰动为
Value function
若原问题为凸问题,则
全局敏感性界
假设原问题 strong duality 成立且 dual optimum 被取得。对任意扰动,
证明只需对扰动问题的任一 feasible
非对称性
该式给出 perturbed value 的下界。它能保证收紧高价格约束会显著增加成本,却不能单独保证放松约束会带来同等幅度的改善。
Value function 的支撑线
乘子给出凸 value function 在原点的支撑超平面。
若
应用例 8:资源容量的边际价值
回到生产计划,在两个容量右端加入扰动:
单位解释
实验|约束放宽一点,能改善多少?
可交互正在准备交互图…
为什么乘子为零时,小幅放宽约束不再降低最优值?
应用例 9:碳排放约束
若排放约束松弛,则
仅由
等价问题可以有不同 dual
Lagrange dual 依赖问题的表示方式,而不只依赖 feasible set 和 objective 的最优点。
引入新变量和 equality constraints;
用严格递增函数变换 objective;
将显式约束并入 extended-value objective 的定义域。
这些变形保持 primal 等价,却会改变 Lagrangian 中可以单独求下确界的结构,因而改变 dual variables、dual constraints 和 dual objective。
建模含义
一种好的 reformulation 不仅要保持 convexity,还应产生易于计算、分解或解释的 dual。
引入变量与 equality constraint
原问题
教材例 5.5–5.6
Unconstrained geometric program
Norm approximation
一个产生 entropy objective,另一个产生 dual-norm ball。
一般复合约束
考虑
变换 objective
同一 norm approximation problem 可写成
第一个 dual 有 hard norm-ball constraint;第二个 dual 无该约束,但 objective 含平方罚项。
Implicit constraints
教材 box-constrained LP 为
比较
若保留 box 为显式 constraints,dual 含两组非负 multipliers。两种 dual 形式不同但等价。
应用例 10:TV 信号恢复
MATH6015 / CONVEX OPTIMIZATION
07
Alternatives 与不可行证书
Feasibility as optimization
系统
Weak alternatives
以下两个系统至多一个 feasible:
Strict system
Strong alternatives
若
对 nonstrict system 还需要 primal optimum attainment 等额外条件。
Farkas lemma
下列两个系统恰有一个 feasible:
几何含义
若
应用例 11:不可行排班
令
这三个乘子构成不依赖求解过程的 infeasibility certificate。
椭球交集
设
Arbitrage-free price bounds
初始价格为
解释
若新增资产的场景收益为
MATH6015 / CONVEX OPTIMIZATION
08
Generalized inequalities
锥序与 dual cone
proper cone
| | ||
|---|---|---|
| componentwise order | ||
| second-order cone | 自对偶 | |
| positive-semidefinite order | 自对偶 |
dual multiplier 必须属于
Generalized Lagrangian
对
Generalized Slater condition
若
SOCP 中严格可行意味着每个 cone constraint 位于 cone interior:
SDP 中严格可行意味着
SDP dual
教材 SDP 为
Cone program dual
Generalized KKT conditions
在 strong duality 和 differentiability 下,optimal pair 满足
SDP complementary slackness
对 Example 5.11,若
两个 range 正交:
Generalized sensitivity
将 cone constraints 扰动为
Generalized alternatives
系统
LMI feasibility
应用例 12:稳健线性约束
系数含椭球不确定性
应用例 13:控制系统 LMI
连续时间系统
Primal certificate:一个
Dual certificate:PSD multiplier 组合出无法为负定的矩阵方向,证明所选模型或结构 infeasible。
MATH6015 / CONVEX OPTIMIZATION
09
总结
对偶理论的结构
同一组 multipliers 同时承担下界、价格、敏感性、最优性条件和不可行证书等角色。
本讲公式索引
| 对象 | 公式 |
|---|---|
| Conjugate | |
| Dual function | |
| Weak duality | |
| Strong duality | |
| Complementary slackness | |
| Sensitivity | |
| Cone duality | |
与后续课程的连接
Lecture 05
Equality-constrained minimization 将求解
Lecture 06
Interior-point methods 将 complementary slackness
本讲回顾
带走的结构
Lagrange 对偶函数通过对原变量取下确界给出原问题最优值的下界,弱对偶始终成立。
在适当的约束资格条件下,强对偶成立,KKT 条件刻画最优解。
乘子同时表示下界、影子价格与局部敏感性,也可构造不可行证书。
广义不等式把标量非负约束推广到锥序,并保留对偶与 KKT 的统一结构。
自测
给定一个简单约束问题,能否写出 Lagrangian、对偶函数与对偶问题,并检查弱对偶方向?
能否用原始可行性、对偶可行性、互补松弛和驻点条件验证一个候选解?