MATH6015 / LECTURE S2
对偶算法与原始–对偶分裂
对偶上升、乘子法、ADMM 与 PDHG
Jingwei Liang · MATH6015 最优化方法
Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting
约束与分裂
两块等式约束模型
若两个变量块各自易处理,可通过乘子协调等式约束。资源分配和分布式共识属于这类模型。
线性复合模型
若 的近端映射可计算,可保留 的算子形式。引入 后,也可使用两块等式约束模型。
ADMM 分解增广子问题。PDHG 直接交替更新鞍点问题中的原变量和对偶变量。
沿用 Lecture 04 的记号 表示对偶函数。本讲用 表示第二个原始目标项。
对偶函数与乘子
从第五章的等式约束模型出发。设 、, ,且 为正常闭凸函数(proper closed convex function)。
原问题的下界
对每个可行点 ,有 。因此 寻找最紧的对偶下界。等式乘子可取任意符号。
资源价格
若最优值 在 处可微且乘子最优解存在,则 固定当前价格时,各原变量按局部目标响应。等式残差用来调节价格。
鞍点与最优性
若 为 的鞍点,则 对本讲的仿射等式约束,这等价于
可行性
位于约束空间 。在资源平衡模型中,它表示资源的净缺口或超额。
驻点条件
把乘子反馈给原变量,位于 。若 可微,对偶残差为 。
前序应用
Lecture 02 的最小二乘与 TV 正则化提供原变量子问题。Lecture 04 的生产资源定价和 TV 信号恢复提供对偶解释。
MATH6015 / CONVEX OPTIMIZATION
01
对偶上升
等式约束与对偶梯度
考虑 Lagrangian 与 dual function 为 若 ,则对任意 , 因此 ,其中 表示 凹函数的上微分集合(superdifferential)。若 强凸,则极小点唯一, Danskin 定理进一步给出 因此,对偶梯度就是当前原始解的等式约束残差。
对偶上升法
对凹对偶函数 做梯度上升,得到
正残差提高相应约束的价格,负残差降低价格。
光滑性与步长
若
光滑对偶函数
可使用固定步长,也可用回溯搜索(backtracking)估计局部曲率。
非光滑对偶函数
若所用上梯度有界,可取
可分结构
考虑耦合约束下的可分目标
资源分配、电力调度与网络拥塞控制都具有这种“局部响应、全局定价”结构。
贯穿数值例
两类生产单元共同满足产量要求:
解析最优解
这个例子可同时观察对偶目标的变化、原始不可行性与罚参数的作用。
对偶上升的闭式迭代
取
| 0 | 0.000 | 3.000 | 0.000 |
| 1 | 1.200 | 1.500 | 2.700 |
| 2 | 1.800 | 0.750 | 3.375 |
| 3 | 2.100 | 0.375 | 3.544 |
| 4 | 2.250 | 0.188 | 3.586 |
步长与乘子振荡
二次例的乘子误差满足
设
:乘子从下方收敛。 :误差变号,幅度逐步缩小。 :误差变号,幅度持续增大。
实验|对偶上升的步长与振荡
可交互正在准备交互图…
依次输入
对偶目标与原始可行性
对偶上升保证关注
对偶量
原始量
若原始极小点不唯一,迭代点还可能在多个极小点之间切换。对原始迭代点取平均常能改善可行性,但会改变输出的解释。
对偶上升的计算边界
适合的结构
primal minimization 有闭式解或可并行求解
dual function 光滑,或可接受递减步长
通信成本高于局部计算成本
主要困难
dual curvature 可能很差
primal minimizer 可能不唯一
每次 primal minimization 可能仍然昂贵
primal feasibility 可能长期振荡
增广 Lagrangian 在 primal subproblem 中加入残差曲率,并把 dual update 变成 proximal step。
MATH6015 / CONVEX OPTIMIZATION
02
增广拉格朗日与乘子法
二次罚函数
先忽略乘子,仅使用罚参数
可行性
令
数值条件
增大
增广拉格朗日函数
将乘子和二次 penalty 放在同一个函数中:
线性项保留约束价格和 KKT multiplier 的解释
二次项为 primal subproblem 增加约束方向上的曲率
multiplier update 累积 residual,因此固定有限
也能达到精确可行性
增广对偶函数
令
这是
乘子法
乘子法(method of multipliers)交替执行一次联合原始最小化和一次乘子更新:
当
数值例的乘子迭代
对问题 (E) 取
罚函数法与乘子法
在问题 (E) 上,固定
对偶 proximal point 解释
假设
内层求解与 的选择
实际计算通常只近似求解
较小
primal subproblem 的条件数通常较好,但 multiplier correction 较弱,约束残差下降较慢。
较大
约束方向受到更强惩罚,但 primal linear system 可能更病态,inner solve 的成本上升。
停止 inner solve 时需要让误差随外层迭代充分减小。常用监控量包括
联合最小化带来的耦合
对两块变量问题
交替方向乘子法依次最小化两个变量块,使这种结构重新可计算。
MATH6015 / CONVEX OPTIMIZATION
03
近端映射
近端映射
对正常闭凸函数
光滑函数
指示函数
若
软阈值
取
数值例
实验|非光滑正则项可以精确处理
可交互正在准备交互图…
阈值区间为什么恰好把小坐标映射到零?
二次函数的近端步
取
一般最小二乘
ADMM 的 Lasso 例子使用同类方程。矩阵的稀疏性和分解复用决定每步的成本。
去噪数据项
当
Moreau 恒等式
设
软阈值与截断
取
MATH6015 / CONVEX OPTIMIZATION
04
交替方向乘子法
两块可分结构
考虑
乘子法
联合求解
ADMM
依次更新
ADMM 更新
更新顺序形成 Gauss–Seidel splitting。交换两个变量块会得到不同的有限步轨迹。
缩放形式
令 scaled dual variable
二次例的 ADMM
沿用
取
原始残差与对偶残差
定义
原始残差
对偶残差
常用停止条件为
停止阈值
设约束维数为
量纲
还需同时报告目标值或 primal–dual gap。残差较小只说明迭代点接近 KKT feasibility 与 stationarity。
罚参数与乘子重标定
松弛与多块变量
Over-relaxation
在
多块直接循环
将两块 ADMM 直接扩展为三个或更多顺序最小化步骤,可能失去收敛性。常用处理包括 变量分组、proximal regularization 或有理论保证的多块变体。
若子问题使用迭代法,应把内层误差纳入收敛分析或设置可求和的误差序列。
基本收敛结论
考虑两块 convex ADMM。假设
基本结论不要求目标值逐步单调。
与 本身的收敛需要额外条件。非渐近速率取决于所选 residual 或 gap,以及目标函数的强凸性、光滑性和矩阵秩条件。
Lasso 的变量分裂
Lasso 的一次迭代
标量问题
第二步给出
计算分工
光滑数据项进入线性系统,非光滑正则项进入 soft-thresholding。
实验|Lasso 的 ADMM 迭代
可交互正在准备交互图…
保持
Consensus ADMM
多个节点共同估计一个参数:
三节点共识例
令
共识最优解为
取
| 1 | -0.500 | 1.333 | 3.200 | 1.344 | 3.700 |
| 2 | 1.094 | 1.785 | 3.098 | 1.992 | 2.003 |
| 3 | 1.867 | 2.070 | 3.006 | 2.315 | 1.139 |
表中红色行表示当前轮次。 共识变量向
实验|三节点共识 ADMM
可交互正在准备交互图…
修改第三个节点的目标
ADMM 的计算边界
结构适配
两个变量块的 prox 或线性子问题容易计算。
约束适合写成
。分解后可复用矩阵分解或并行局部求解。
主要成本
一个子问题可能仍需大型线性系统。
与变量缩放会显著影响有限步表现。高精度阶段常出现残差缓慢衰减。
比较不同实现时,应同时报告迭代次数、矩阵乘法、线性系统求解次数与运行时间。
MATH6015 / CONVEX OPTIMIZATION
05
原始--对偶分裂
复合目标的鞍点形式
考虑
鞍点最优性条件
Primal variable
Dual variable
这两个 inclusion 构成一个单调算子零点问题,PDHG 对两个算子执行交替 proximal steps。
PDHG / Chambolle–Pock
初始化
步长与基本收敛
若鞍点存在,取
遍历收敛界
平均点满足
与 proximal gradient 的计算差异
设
矩阵自由实现
只需实现
可计算条件
算法效率取决于
同一二次例的 PDHG
将约束写成
实验|同一二次例的四种算法
可交互正在准备交互图…
选择「可行性残差」和「KKT 残差」比较同一步的表现。提高
TV 去噪的鞍点模型
将 Lecture 02 的 TV 目标整体乘以
TV 去噪的 PDHG 更新
对偶近端步是到
每步计算
一次差分
TV 去噪的一次迭代
取
由于
实验|逐步查看 TV 去噪
可交互正在准备交互图…
从
预条件与加速
Diagonal step sizes
用正定对角矩阵
Strong convexity
若
变步长时应记录实际的算子调用和 stopping certificate,避免仅以迭代次数判断加速效果。
PDHG 的停止量
由两个 proximal optimality conditions 直接得到
可用的证书
primal–dual gap 有限时直接使用 gap
restricted gap
KKT / fixed-point residual
应用相关的 feasibility 与目标误差
报告方式
同时报告
PDHG 的适用结构
常见模型
实现关注点
正确实现
并做 adjoint test估计算子范数
或计算其上界选择与量纲相容的 primal / dual scaling
使用有限的 gap 或 KKT residual
当某个 proximal map 需要内层迭代时,应评估总算子调用与内层误差。
MATH6015 / CONVEX OPTIMIZATION
06
数值比较
比较指标
等式约束二次问题
一维 TV 去噪
计数口径
算子调用只统计算法更新。原始—对偶间隙的诊断计算另行执行。运行时间报告 setup 和更新循环,便于区分线性系统预处理与迭代成本。
标量问题的 KKT 残差与可行性
对偶上升取
残差曲线的解释
对偶函数为
乘子法
增广项使原变量靠近可行集。每一步联合求解
ADMM
目标值在不可行点处可能低于
TV 模型的原始—对偶证书
对
ADMM 使用
PDHG 的 dual proximal step 和 dual FISTA 的投影步都直接保持
Dual FISTA 对
TV 去噪结果
实验使用
ADMM、PDHG 与 dual FISTA 收敛到同一 TV 解。终态曲线几乎重合,图中只叠加两种代表结果。
TV 间隙与算子调用
每次更新各调用
ADMM 还需解一个固定三对角线性系统。脚本在 setup 中完成一次 Thomas 分解, 更新时间包含每步的前代与回代。Dual FISTA 加速的是 dual objective,最后迭代点的 原始—对偶间隙不必单调。
实验复现与比较边界
可复现设置
Python 标准库生成数据,无外部数值包依赖;
所有初值、参数和随机种子写入脚本;
CSV 保存每次迭代的 KKT 残差或原始—对偶间隙;
更新时间取 9 次运行的中位数,setup 单独报告。
600 次更新的本机时间(ms)
| 方法 | setup | 更新 | 间隙 |
|---|---|---|---|
| ADMM | 0.016 | 27.73 | |
| PDHG | 0.001 | 23.53 | |
| FISTA-dual | 0.001 | 19.75 |
三种方法均执行 1200 次
复现命令与输出
python3 dual-methods-data/generate_dual_methods_data.py
脚本生成 scalar_convergence.csv、tv_convergence.csv、 tv_signal.csv 和 tv_summary.csv。前两者分别保存 KKT 残差与 原始—对偶间隙,后两者保存终态信号和计时摘要。
MATH6015 / CONVEX OPTIMIZATION
07
算法比较
子问题与计算结构
| 方法 | 每步主要计算 | 值得利用的问题结构 |
|---|---|---|
| 对偶上升 | 普通 Lagrangian 最小化,更新乘子 | 约束线性耦合且各原变量可分。若对偶函数光滑,可按光滑常数选步长。 |
| 乘子法 | 联合增广子问题,更新乘子 | 二次罚项有助于压低残差。可借助结构高效求解增广子问题。 |
| ADMM | 两个增广子问题,更新乘子 | 分块后至少一个子问题能闭式计算,或各块可以复用预分解。 |
| PDHG | 两次近端步和 | 近端映射简单,且线性算子可快速应用。 |
信号恢复中的选择
若
原始量与对偶量
等式约束模型
可行性残差和驻点残差分别对应两类 KKT 条件。若迭代点尚未满足等式,原目标值可以低于
ADMM 中,
复合模型
对偶可行的
扫参时应同时给出终止精度和每步的主要计算。预分解、通信、矩阵乘法常占据不同的成本比例。
对偶性把算法中的残差、停止条件与数值实验使用的误差证书联系起来。
MATH6015 / CONVEX OPTIMIZATION
08
补充推导与参考
对偶函数的光滑常数
若
二次目标的精确常数
对于 Hessian 为
Douglas–Rachford 分裂
两块问题的对偶最小化形式为
ADMM 的对偶解释
在标准凸分裂的条件下,可把两块 ADMM 通过变量变换写成对偶上的 DRS。 上式中的中间变量
PDHG 的预条件近端点形式
定义鞍点算子
步长与度量
参考文献
S. Boyd and L. Vandenberghe. Convex Optimization. Cambridge University Press, 2004. Chapter 5.
S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers. Foundations and Trends in Machine Learning, 3(1), 2011.
A. Chambolle and T. Pock. A First-Order Primal-Dual Algorithm for Convex Problems with Applications to Imaging. Journal of Mathematical Imaging and Vision, 40, 120–145, 2011.
R. T. Rockafellar. Augmented Lagrangians and Applications of the Proximal Point Algorithm in Convex Programming. Mathematics of Operations Research, 1(2), 97–116, 1976.
J. Eckstein and D. P. Bertsekas. On the Douglas–Rachford Splitting Method and the Proximal Point Algorithm for Maximal Monotone Operators. Mathematical Programming, 55, 293–318, 1992.
A. Beck and M. Teboulle. A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems. SIAM Journal on Imaging Sciences, 2(1), 183–202, 2009.
C. Chen, B. He, Y. Ye, and X. Yuan. The Direct Extension of ADMM for Multi-Block Convex Minimization Problems Is Not Necessarily Convergent. Mathematical Programming, 155, 57–79, 2016.