MATH6015 / LECTURE 05
等式约束最小化
可行方向、Newton 方法与 KKT 系统
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 10
本讲内容
MATH6015 / CONVEX OPTIMIZATION
01
前序知识与问题结构
与前面课程的连接
本讲不重新证明凸性与无约束 Newton 法,而是把这些结论扩展到仿射可行集。
线性等式约束的角色
等式约束通常表达必须精确成立的守恒关系或动态关系:
质量、能量与资金平衡;
网络节点的流量守恒;
状态空间模型中的动态方程;
矩阵变量的迹、矩等精确条件。
统一写成 满行秩表示约束独立; 表示可行集仍有 个自由方向。
维度与两个残差
设 ,,。本讲反复使用
原始残差(primal residual)
它衡量线性等式没有满足多少。
对偶残差(dual residual)
它衡量梯度是否落在约束法向空间中。
应用例 1:微电网功率平衡
三个设备的功率设定为 ,必须满足总需求 :
取 、、。KKT 条件为 从而 边际代价 在最优点全部等于 。
; 是系统平衡的边际代价。
从无约束 Newton 法到 KKT 方程
Lecture 03:无约束问题
Newton 法线性化一个 维驻点方程。
本讲:等式约束问题
Newton 法线性化 维 KKT 方程。
MATH6015 / CONVEX OPTIMIZATION
02
基本问题与三种求解视角
等式约束凸优化
基本问题
其中 凸且二阶连续可微, 为开集, 且 。
假设最优解存在,并记
KKT 最优性条件
对于凸可微目标和仿射等式, 最优当且仅当存在 使
几何解释
,因此梯度与所有可行方向 正交。
方程解释
这是 个方程,未知量为 与 。非线性只来自 。
思考:若删除一条与其他行线性相关的等式,可行集是否改变?乘子是否仍唯一?
KKT 条件的几何分解
在任意可行点,空间分解为 最优点处,梯度的切向分量必须为零: 法向分量由乘子表示:
等式约束凸二次问题
问题
其中 。
KKT 条件是线性的:
KKT 系统
系数矩阵对称但通常不正定;后续 Newton 步每次都要解同一类鞍点线性系统。
应用例 2:二维二次问题
考虑
KKT 系统为 解得
实验|带等式约束的最短距离
可交互正在准备交互图…
约束右端 b 微小变化时,最优目标值怎样变化?
KKT 矩阵何时可逆
假设
非奇异; ; 且 时, ;若
,则 。
含义
目标函数可以在法向方向没有曲率,但不能在任何非零可行方向上同时没有曲率。
重要特例
若
KKT 系统不可解意味着什么
若 KKT 系统奇异且不可解,则一般可能是原问题不可行,或目标在可行方向上无界。 在
消去等式约束
先找一个特解
原问题等价于无约束问题
由消元解恢复乘子
若
令
计算上的提醒
消元减少变量数,但显式构造
教材例 10.1:资源分配
约化目标为
最优性解释
消元矩阵并不唯一
若
选择
实验|沿可行直线,把二维问题化成一维
可交互正在准备交互图…
降维后的 Hessian 为什么是 NᵀHN?
通过对偶问题求解
等式约束问题的对偶函数为
为什么可以这样做
若原问题最优解存在,仿射等式问题满足 Slater 条件,强对偶成立且对偶最优值可达到。
何时有吸引力
若
实验|每一个乘子,给出一个下界
可交互正在准备交互图…
非最优乘子能给出有效下界吗?什么时候间隙为零?
教材例 10.2:等式约束解析中心
原问题为
恢复原始解
对偶可行性给出
应用例 3:两变量解析中心
取
对偶函数为
三种求解视角
| 直接 KKT / Newton | 消去等式 | 求解对偶 | |
|---|---|---|---|
| 变量规模 | |||
| 核心对象 | 对称不定 KKT 矩阵 | ||
| 结构保持 | 通常最好 | 可能产生稠密 | 可能形成稠密对偶 Hessian |
| 初始化 | 可行或不可行版本均可 | 需要 | 需要对偶定义域内点 |
| 适用情形 | 稀疏、块状大问题 | 小规模或易构造零空间基 | |
选择方法时同时比较变量维度、初始化难度和线性代数结构,而不只比较公式长度。
MATH6015 / CONVEX OPTIMIZATION
03
可行初始点 Newton 法
约束 Newton 步的定义
设当前点
曲率
可行方向
因为
Newton 步的 KKT 系统
记
第一行
第二行
KKT 矩阵必须非奇异,Newton 步才唯一。
线性化最优性条件
KKT 条件为
使用
Newton decrement
定义
局部步长
模型最优性差距
一阶预测下降
因此
可行下降方向
若
于是对所有
仿射不变性
令
比较两个坐标系中的 KKT 系统可得
Algorithm 10.1:可行初始点 Newton 法
给定
所有迭代点保持可行,并且在未停止时目标值下降。
应用例 4:二次问题一步到达最优点
回到
解
应用例 5:解析中心的一次 Newton 更新
对
取整步后
实验|同一个解析中心:从可行点、不可行点或对偶出发
可交互正在准备交互图…
一次全 Newton 步如何消除等式残差?对偶 Newton 恢复的 x 在迭代中一定可行吗?
Newton 法与消元完全一致
设
两个坐标系中的 decrement 相同
由
收敛分析的假设
令
闭; ,并且Hessian 满足 Lipschitz 条件
。
这些条件把 Chapter 9 的强凸性、Hessian 上界与 Lipschitz 曲率推广到 KKT 系统。
有约束时的“强凸性”
KKT 矩阵是对称不定矩阵。其逆有界意味着所有正、负特征值都远离零。 这替代无约束分析中的
若
收敛结论
Newton 法在等式约束问题上的迭代,与在约化问题
阻尼阶段
回溯线搜索保证函数值持续下降,并在有限步后进入整步区域。
二次阶段
靠近
自协调目标
若
结论依赖可行初始点;下一节把“寻找可行点”也纳入 Newton 迭代。
MATH6015 / CONVEX OPTIMIZATION
04
不可行初始点 Newton 法
为什么允许不可行初始点
可行初始点 Newton 法要求
可行初始点方法
先寻找交集
不可行初始点方法
只要求
该方法直接把 KKT 条件视为一个非线性方程组。
不可行点处的 Newton 步
当前
与可行版本相同
左侧 KKT 矩阵完全相同,因此可以复用分解方法和稀疏结构。
新增修正
右侧第二块为原始残差。当
原始–对偶残差映射
把
Newton 步中的两个对偶量
原始–对偶形式为
实际含义
计算原始 Newton 步与新的乘子并不需要旧乘子;旧乘子只在写成“对偶增量”时出现。
目标值不一定下降
在不可行点,Newton 方向一般不是
不能使用的指标
仅监控
正确的进度指标
监控联合残差
算法目标已经从“每步降低
残差范数沿 Newton 方向下降
由
整步立即恢复可行性
由 Newton 方程第二行,
对阻尼步
多步后的原始残差
若第
一旦某次
Algorithm 10.2:不可行初始点 Newton 法
给定
终止条件要求原始可行且联合残差足够小。
应用例 6:从不可行点一步修正
仍考虑
由于目标是二次函数,整步同时得到
一次完成两件事
原始残差从
实验|从不可行点出发,也能走向 KKT 解
可交互正在准备交互图…
为什么阻尼步可能仍不满足等式?何时会落到可行直线上?
解析中心的初始化
对
不可行初始点方案
直接取任意正向量,例如
对偶初始化也可同样处理
把
这种方法简化初始化,但不能可靠地证明严格可行点不存在。
不可行初始点与 Phase I
| 不可行初始点 Newton 法 | Phase I 可行性方法 | |
|---|---|---|
| 初始要求 | 一个容易构造的辅助问题起点 | |
| 主要输出 | KKT 点或残差停在正值 | 严格可行点,或明确的不可行判定 |
| 优势 | 与主求解器共享 KKT 系统 | 对不存在严格可行点可给出判定 |
| 局限 | 不可行时可能缓慢停滞 | 需要额外的辅助优化问题 |
| 适合 | 定义域简单且已知交集非空 | 定义域复杂或可行性未知 |
Chapter 11 的内点法将系统讨论 Phase I;本讲只说明两种初始化策略的区别。
收敛分析的假设
定义残差次水平集
为闭集; ; 在 上满足 Lipschitz 条件,常数为 。
与可行版本的差别
第二、三项仍是 KKT 矩阵逆有界与 Hessian Lipschitz;第一项改为残差次水平集闭,不要求目标函数次水平集闭。
残差的基本上界
记
线性项
二次余项
该不等式同时解释阻尼阶段的固定下降与整步阶段的二次收敛。
两个收敛阶段
阻尼阶段
若
整步与二次阶段
若
首次整步同时使原始点可行;此后进入可行 Newton 法的快速收敛区域。
最大熵问题为何更适合残差分析
考虑
但
结论的范围
这说明不可行初始点法满足教材给出的收敛假设;并不意味着可行 Newton 法一定失败,只是相应证明不再直接适用。
凸–凹博弈
玩家 1 选择
若
与 KKT 的联系
这仍是求非线性残差
凸–凹博弈的 Newton 法
定义
强凸–强凹
若在残差次水平集上存在
应用例 7:一维凸–凹博弈
考虑
解得
教材数值例:可行实例
教材对
观察到的阶段
第 8 次迭代接受整步;
原始残差此后接近零并保持;
约第 9 次迭代后,对偶残差显示二次收敛。
教材数值例:不可行实例
若
残差下降后停在正值;
步长始终小于 1,并逐渐趋近于 0;
算法本身不能给出可靠的不可行证书。
教材数值例:高维凸–凹博弈
教材考虑
从
建模意义
障碍项保证两个玩家的选择留在单位球内部;双线性项产生双方耦合。
MATH6015 / CONVEX OPTIMIZATION
05
KKT 系统与计算实现
计算 Newton 步的三条路线
矩阵结构
问题维度
比较
标准 KKT 线性系统
本节统一讨论
可行初始点 Newton 法
不可行初始点 Newton 法
凸–凹博弈也产生同类鞍点系统,其中右下对角块可为负半定。
思考:为什么不能直接用 Cholesky?左上块半正定,但整个 KKT 矩阵是不定矩阵。
路线一:直接分解完整 KKT 系统
KKT 矩阵对称但通常不正定,可用带主元选取的
稠密计算量
若不利用结构,因矩阵阶数为
小规模问题:实现直接、数值稳健;
稀疏问题:稀疏
可避免大量零元计算;多个右端项:一次分解可以重复回代。
路线二:块消元与 Schur 补
先假设
关键变化
原来的
对
做正定分解;求解
阶正定系统 ;回代得到
。
几何含义
思考:若
Algorithm 10.3:用块消元解 KKT 系统
输入
求
与 ;构造
;解
解
若分解
结构决定每一步的代价
| 分解与回代 | 块消元的主导计算量 | |
|---|---|---|
| 稠密正定 | | |
| 对角 | 无需分解, | |
| 带宽 | | |
| 块对角、稀疏、对角 | 对各块或稀疏图分解 | 取决于块大小、秩与 fill-in |
适合 Schur 补
适合完整 KKT 分解
当 Hessian 奇异时
块消元公式需要
等价判据
KKT 矩阵非奇异,当且仅当存在
原系统等价于
教材例 10.3:解析中心的对角 Hessian
完整 KKT 分解
忽略结构时约为
块消元
教材比较:解析中心的三种 Newton 法
教材取
| 方法 | 初始化 | 进入二次阶段 |
|---|---|---|
| 原始可行 | | 约 12–15 次 |
| 对偶 | 约 6 次 | |
| 不可行初始点 | 仅 | 约 10–20 次 |
三者每一步最终都需解与
应用例 8:最优网络流
连通有向图上,弧流量
关联矩阵每列至多有两个非零元
;目标可分,故
; 的非零模式就是节点邻接图。
后果
若网络稀疏,Schur 补也稀疏;Newton 步的代价可随弧数近似线性增长。
数值例 9:三条弧上的最优流
使用上一页的三节点网络,节点 3 的方程由守恒自动确定:
约束给出
解释
较拥挤的第 2 条弧成本系数更大;最优解在守恒约束下平衡边际成本。
应用例 10:有限时域最优控制
把变量按时间排列:
最优控制:Schur 补为何是块三对角
动力学只把
稠密通用分解
块三对角分解
数值例 11:两步标量控制
系统与代价为
消去状态:
应用例 12:线性矩阵不等式的解析中心
直接向量化
利用矩阵结构
当
LMI 解析中心:从对偶变量求 Newton 步
对偶问题可写成
构造梯度/Hessian 并解
达到最优后恢复原始变量:
意义
避免把对称矩阵粗暴地当成
LMI 解析中心:原始矩阵形式的块消元
在线性化 KKT 条件中消去
正定性
约束独立时,
计算量
主要代价同样为
思考:原始法与对偶法计算量相近时,应比较哪一侧更容易找到严格可行初始点。
数值例 13:一个 LMI 解析中心
约束使
教材例 10.4:等式约束下的最短折线
折线节点为
每一项只依赖相邻两个高度,故 Hessian 为三对角矩阵。
块消元代价
数值例 14:一处自由节点的最短折线
固定端点与中间节点:
由对称性或
如何选择求解路线
实践中还要看数值条件
显式形成
本章的统一视角
建模层
算法层
可行起点:只在线性流形内移动;
不可行起点:同时压低原始与对偶残差;
两者局部都具有二次收敛。
计算层
每一步都归结为同一个鞍点线性系统:
Lecture 06:内点法
内点法在每一次中心化迭代中仍要求解此类 KKT 系统;本章的残差、线搜索与结构化求解会直接复用。
本讲回顾
等式约束最小化
KKT 条件给出方程,Newton 法求解方程,结构化线性代数决定效率。