MATH6015 / LECTURE 06
内点法
障碍函数、中心路径与原始–对偶方法
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 11
本讲内容
MATH6015 / CONVEX OPTIMIZATION
01
问题、假设与前序知识
与前面课程的连接
不等式约束凸优化
标准形式
其中
最优解
存在, 。存在严格可行点:
且 。严格可行性给出 Slater 条件与强对偶。
KKT 条件
严格可行性保证存在
原始可行
约束满足,
对偶可行与驻点
乘子非负,Lagrangian 对
互补松弛
每个约束满足
从 Newton 法到内点法
每一层都复用前一讲的核心计算:Hessian、Newton decrement、回溯线搜索与 KKT 消元。
可直接处理的问题
| 问题类型 | 模型 | 内点法所需结构 |
|---|---|---|
| LP | | 线性目标与仿射不等式 |
| QP/QCQP | 二次目标,凸二次不等式 | 梯度与 Hessian 可显式计算 |
| 凸形式 GP | log-sum-exp 目标与约束 | 光滑凸复合函数 |
| 熵优化 | | 定义域 |
非光滑目标需要先改写
应用例 1:峰值负荷控制
某工厂用
原始目标
MATH6015 / CONVEX OPTIMIZATION
02
对数障碍与中心路径
从示性函数到对数障碍
不等式
对数障碍函数
定义
符号与导数
靠近任一边界
实验|靠近边界时,曲率怎样增大?
可交互正在准备交互图…
障碍为何把极小点留在严格内部?
一个可手算的中心路径
考虑
| 目标误差 | ||
|---|---|---|
| 1 | 1 | 1 |
| 5 | 0.2 | 0.2 |
| 20 | 0.05 | 0.05 |
中心路径
对每个
例 11.1:不等式形式 LP
对于
梯度与 Hessian
令
中心性条件
每个约束贡献一个秩一项
二维 LP 的中心路径
考虑
实验|中心路径如何接近线性规划的解?
可交互正在准备交互图…
为什么 t 越大,中心点越接近边界?3/t 在这里衡量什么?
中心点给出对偶可行点
由中心性条件定义
Lagrangian 在 取极小
每个互补乘积相同
对偶间隙为
中心点与相应对偶点的对偶间隙满足
这个界无需知道
中心路径是扰动后的 KKT 系统
小
:每个约束保持明显松弛。大
:活跃约束的松弛趋近零,乘子承担相应边界压力。
实验|中心路径连接原变量与对偶变量
可交互正在准备交互图…
μ→0 时,是 x 还是 λ 走向零?
力场解释
暂不考虑等式约束。第
数值例 2:二维 LP 的中心点
对前述 LP 数值求解中心化问题,得到
此问题有
数值检查
应用例 3:概率分配与熵
考虑
加入正性障碍后,
MATH6015 / CONVEX OPTIMIZATION
03
障碍法
为何不直接取很大的
若希望误差不超过
障碍法的关键不是单次求解,而是沿中心路径进行一系列热启动 Newton 求解。
障碍法
Algorithm 11.1
给定严格可行
中心化:从当前
出发,求解 得到 。更新:
。停止:若
,返回当前原始解和对偶证书。增大参数:
,重复。
一次中心化称为一次外层迭代。
中心化内部执行的 Newton 步称为内层迭代。
除首次中心化外,每次都由上一中心点热启动。
外层与内层迭代
小
中心化的 Newton 方程
在当前严格可行点
保持等式可行
保持严格不等式
回溯线搜索首先缩短
中心化精度与对偶证书
理论叙述常把中心化看作精确求得
适度精度已足够
中心路径只是通往原问题解的工具。近似中心化仍会产生收敛的外层序列。
高精度代价通常不大
进入二次收敛区后,再增加若干 Newton 步即可显著降低中心化误差。
若中心化不精确,直接使用
参数 的取舍
接近 1
相邻中心点距离小;
每次中心化 Newton 步少;
外层迭代次数多。
较大
单次对偶间隙下降快;
热启动离新中心点较远;
每次中心化 Newton 步多。
初始参数
已有原始—对偶可行点
若初始对偶间隙为
只有原始点
可选择
实验|解析中心不一定是最大内切圆圆心
可交互正在准备交互图…
同一集合的冗余不等式会不会改变解析中心?
以不可行起点求中心点
若
该变体放宽了等式可行起点要求,但仍需知道一个处于所有不等式定义域内部的点。
外层迭代次数
初始中心化后再完成
例
含义
外层次数仅按精度倒数的对数增长。总成本还取决于每次中心化需要多少 Newton 步。
Newton 步与扰动 KKT
从扰动 KKT 中消去
结论
障碍法可以解释为:先消去乘子
教材例:小规模 LP
教材考虑
台阶横段表示中心化 Newton 步;竖段表示
教材例:几何规划
凸形式 GP:
对应障碍
观察
对偶间隙随累计 Newton 步近似线性收敛;
在较宽范围内对总步数影响不大;LP 与 GP 呈现相似的外层行为。
教材例:问题规模与 Newton 步数
教材生成标准形式 LP
变量规模扩大
计算成本的真正来源
迭代次数增长缓慢,但每次 Newton 步需要解更大的线性系统。因此必须同时分析矩阵结构与分解成本。
数值例 4:中心路径的热启动
仍考虑二维 LP,依次取
| 起点 | Newton 步 | 最终目标 | |
|---|---|---|---|
| 0.5 | 5 | ||
| 2 | 上一中心点 | 7 | |
| 10 | 上一中心点 | 10 | |
| 50 | 上一中心点 | 8 |
观察
迭代点始终严格可行;
对偶间隙上界按
缩小;继续增大
主要改善靠近边界方向的精度。
数值步数取决于停止容差与回溯参数;表中的重点是热启动链,而非某个固定步数。
实验|同一个 LP:中心路径、障碍法与原始–对偶方法
可交互正在准备交互图…
障碍法的外层参数更新为什么带来阶段变化?互补量很小时,是否还需要检查对偶可行性?
MATH6015 / CONVEX OPTIMIZATION
04
可行性与 Phase I
为何需要 Phase I
障碍法要求一个严格可行起点:
Phase I 的计算结果本身也有解释:它量化约束系统距离严格可行或不可行边界有多远。
基本 Phase I 问题
给定
容易构造严格可行起点
保持
的含义
对固定
Phase I 最优值的三种情况
记辅助问题最优值为
| 情况 | 结论 | 可用的停止方式 |
|---|---|---|
| 原约束严格可行 | 一旦找到可行 | |
| 原约束不可行 | 一旦得到正的对偶下界,即可用对偶点给出不可行证书。 | |
| 边界情形 | 若最小值达到,约束可行但不严格可行;若不达到,约束不可行。数值上只能给出容差结论。 |
若算法只能确定
数值例 5:可行性由 判定
考虑两组只有常数不同的约束:
最小化违反量之和
另一种 Phase I 形式是
最大违反量
违反量之和
当系统不可行时,后者有助于识别一个尽可能大的可行约束子集。
例 11.4:两种 Phase I 的结果
教材对一个不可行系统
图为教材结论的示意重绘。两种目标都确认不可行,但第二种更清楚地定位了冲突约束。
实验|还没优化,先判断有没有可行点
可交互正在准备交互图…
s*<0、s*=0 与 s*>0,分别说明原问题什么性质?
Phase I 与 Phase II 中心路径的连接
加入一个目标上界
不可行起点 Newton 的 Phase I 变体
把原问题等价写成
可用任意
位于共同定义域内,并选 。起点不满足
,但残差下降后最终会出现完整 Newton 步。此后
且 严格可行,算法与标准障碍法相同。
局限
若原问题不可行,残差只会停在正值附近,难以给出可靠不可行停止准则。
接近可行性边界时更困难
教材考虑参数化系统
基本 Phase I
远离
不可行起点法
对明显严格可行的问题可能更快;当
MATH6015 / CONVEX OPTIMIZATION
05
自协调复杂度
复杂度分析的假设
§11.5 用 Lecture 03 的自协调 Newton 理论回答:增大
两个假设
对所有
,函数 是闭的自协调函数。原问题的次水平集有界。
第二个假设保证中心化问题可解,并使相应 Hessian 正定。
LP、QP、QCQP 满足该框架。
障碍法在更一般问题上仍可能表现很好,但以下最坏复杂度界未必适用。
熵问题的自协调改写
原问题
作用
函数
GP 的自协调改写
对每个单项式
每次中心化的 Newton 步数
闭且严格凸的自协调函数
接近 :单次中心化容易。 增大:单次中心化的理论上界近似线性增长。界虽然保守,却证明中心化难度不会随
发散。
总 Newton 步数
把外层次数与每次中心化上界相乘:
关于精度
固定
关于
理论界用于说明可解性与维数依赖,不用于预测实际的几十次 Newton 步。
理论上的 复杂度
取
理论参数与实践参数
可行性问题的复杂度
令
难度参数
Phase I 与 Phase II 的总复杂度
组合分析使用带两个冗余约束的 Phase I:
Phase I
Phase II
总 Newton 步数由
复杂度结论的适用范围
理论给出的保证
每次中心化步数有与
无关的统一上界;精度代价按
增长;恰当理论参数下得到
量级。
数值实践中的现象
最坏界远高于实际步数;
Newton 步数常随规模增长很慢;
单步线性代数往往决定总时间。
自协调改写是否在具体实现中更快,需要结合模型结构判断;其确定优势是能够获得严格复杂度证书。
MATH6015 / CONVEX OPTIMIZATION
06
广义不等式与锥规划
广义不等式问题
考虑
KKT 条件
标量不等式是
广义对数函数
proper cone
| 锥 | 广义对数 | degree |
|---|---|---|
| 二阶锥 | ||
后续复杂度分析还需验证相应障碍
三类锥的几何
逐分量非负
二阶锥截面,坐标等比例
广义障碍在锥边界处发散,并使用锥的对偶结构生成对偶变量。
广义障碍与中心路径
令
与标量情形的对应
广义中心点的对偶间隙
定义
例 11.8:SOCP 障碍
SOCP
严格内部
Newton 线搜索必须维持
应用例 6:应急设施选址
为三个地点
这是含三个二阶锥约束的 SOCP。障碍为
实验|系数不确定时,需要留多少余量?
可交互正在准备交互图…
欧氏球不确定性为什么产生一个二阶锥约束?
例 11.9:SDP 障碍
考虑
梯度
对偶点与间隙
这里 degree 等于矩阵阶数
数值例 7:二维半正定设计
考虑
对称性给出
广义障碍法与 Phase I
普通障碍法中的
最优值为负:得到严格锥可行点。
最优值为正:对偶点给出广义不等式系统的不可行证书。
最优值接近零:问题接近严格可行性的边界。
教材数值例:SOCP 与 SDP
§11.6.3 对随机严格原始—对偶可行的 SOCP 与 SDP 使用障碍法。
小规模 SOCP
每次中心化所需 Newton 步近似恒定;
时总步数约几十次。
小规模与系列 SDP
小例中
三类问题 LP、SOCP、SDP 的外层曲线相似;差别主要体现在单步线性代数。
广义不等式的复杂度
若
统一结论
普通不等式的复杂度理论保持不变,只需将约束数
SOCP 每个锥贡献
对偶锥上的广义对数
令
| 锥 | 对偶广义对数 |
|---|---|
| 二阶锥 | 原 |
| 半正定锥 | |
该不等式是证明广义中心化上界 (11.48) 的关键。
MATH6015 / CONVEX OPTIMIZATION
07
原始—对偶内点法
障碍法与原始—对偶方法
障碍法
外层更新
,内层求中心点;每个内层点保持原始可行;
中心化结束时构造对偶点;
适合解释中心路径与复杂度。
原始—对偶方法
只有一个迭代循环;
同时更新
;中间点可以原始或对偶不可行;
高精度时通常更快。
三个 KKT 残差
令
原始—对偶搜索方向
对固定
若
方向同时依赖当前原始变量与乘子。边界松弛和乘子共同决定曲率与尺度。
实际实现通常先消去
与障碍法 Newton 方向的比较
消去
方向何时一致
当
代理对偶间隙
中间迭代点未必原始、对偶可行,无法直接计算真正对偶间隙。定义
若
与当前点对应的中心参数是
终止判断
需要同时检查
原始—对偶内点算法
Algorithm 11.2
给定
计算
,取解线性系统 (11.54),得到
。通过回溯线搜索选择步长
,更新
当
原始—对偶线搜索
先保证乘子正:
再反复令
最后继续回溯,直到
数值例 8:两变量标准 LP 的中心对
考虑
实验|让可行性、驻点和互补间隙一起收敛
可交互正在准备交互图…
为什么只看目标值下降不足以判定内点迭代成功?
教材例:小规模 LP 与 GP
教材用与 §11.3.2 相同的 LP、GP 数据测试原始—对偶方法:
两类问题都在约二十余次迭代内把残差和间隙降至很小。
教材例:LP 规模增长
对
迭代数从约
比较
虽然从不可行点起步、终止精度更高,原始—对偶方法的迭代数仍与障碍法处于同一数量级。
MATH6015 / CONVEX OPTIMIZATION
08
实现
KKT 线性系统决定单步成本
障碍法中心化 Newton 方程统一写成
实现目标
避免形成和分解一个无结构的稠密
原始—对偶 Newton 方程具有相同的 KKT 骨架,以下结构同样适用。
稀疏与对角加低秩
稀疏问题
若每个
可分目标和少量线性约束
若
几条稠密约束通常只产生少量稠密行列,仍可在稀疏分解中专门处理。
标准形式 LP 的消元
对
数值例 9:标准 LP 的一次消元
取
逼近转化为 LP
内点步是加权最小二乘
方程 (11.61) 正是加权最小二乘的正规方程:
若
是稀疏矩阵、卷积算子或快速变换,结构可以在每次加权最小二乘中复用。 拟合的成本可理解为“少量权重变化的最小二乘求解”。
应用例 10:稳健传感器标定
五次标定观测为
应用例 10:内点步中的权重
对当前
梯度分量
消元后的量
解释
接近某一侧约束边界的 residual 会产生较大的对角权重;因此每个 interior-point step 都是由当前 slack 自适应加权的一维 least-squares normal equation。
SDP 的 Newton 系统
对
稠密情形的主要量级
形成和求解系统的量级由
应用例 11:协方差上界设计
设两个传感器的误差耦合矩阵为
令
由于
网络速率优化
固定每条流的路径,令
网络结构决定 Hessian 稀疏性
也可用矩阵求逆引理转为
应在
数值例 12:三条流、两条链路
取
选择原始系统还是 Schur 补
| 结构 | 优先考虑 | 原因 |
|---|---|---|
| | 消去 | |
| | 原始 KKT 系统 | 避免形成稠密 |
| 带状/块对角 Hessian | 结构化直接分解 | 保持局部耦合,减少填充 |
| 网络或图模型 | 比较流系统与链路系统 | 选择维数更小、图更稀疏的一侧 |
| SDP 共同块结构 | 按块形成逆与 Hessian | 矩阵运算可并行,避免大稠密块 |
线性方程的数学等价形式很多;数值实现应根据维数、稀疏模式和条件数选择。
第 11 章的结构
中心路径与证书
对数障碍把不等式变为光滑目标;
中心点同时生成对偶可行点;
或 给出可验证误差界。
初始化与复杂度
Phase I 找严格可行点或证实不可行。自协调性给出每次中心化的统一界和
锥与原始—对偶方法
普通障碍扩展到正交锥、二阶锥与半正定锥。原始—对偶方法同时更新原始变量与乘子,通常更适合高精度计算。
实现
实际时间主要花在线性系统。LP 消元、
Lecture 07:统计估计
最大似然、maximum entropy、协方差估计与实验设计将产生 log-sum-exp、entropy、log-det 及 conic models;本讲的 primal–dual certificates 与 KKT 求解器为这些模型提供计算基础。
本讲回顾
带走的结构
对数障碍把不等式约束变为光滑目标;中心路径随
增大逼近最优解。中心点同时给出对偶可行点和可验证误差界,典型对偶间隙为
。Phase I 处理严格可行起点,自协调性控制 Newton 中心化步数和最坏复杂度。
原始—对偶方法求解扰动 KKT 方程;稀疏性、Schur 补和锥结构决定单步成本。
自测
给定约束数
与精度 ,应把 增大到什么量级才能得到所需间隙?面对一个 KKT 系统,能否根据维度和稀疏结构判断应直接求解还是形成 Schur 补?