MATH6015 / 对偶算法与原始–对偶分裂

MATH6015 / LECTURE S2

对偶算法与原始–对偶分裂

对偶上升、乘子法、ADMM 与 PDHG

Jingwei Liang · MATH6015 最优化方法
Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting

Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting1 / 79

约束与分裂

两块等式约束模型

min x , z f ( x ) + h ( z ) s.t. A x + B z = c . 若两个变量块各自易处理,可通过乘子协调等式约束。资源分配和分布式共识属于这类模型。

线性复合模型

min x   f ( x ) + h ( K x ) . 若 f , h 的近端映射可计算,可保留 K , K ⊤ 的算子形式。引入 z = K x 后,也可使用两块等式约束模型。

ADMM 分解增广子问题。PDHG 直接交替更新鞍点问题中的原变量和对偶变量。

沿用 Lecture 04 的记号 g 表示对偶函数。本讲用 h 表示第二个原始目标项。

导览Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting2 / 79

对偶函数与乘子

从第五章的等式约束模型出发。设 A ∈ R p × n 、 x ∈ R n , b , ν ∈ R p ,且 f 为正常闭凸函数(proper closed convex function)。 L ( x , ν ) = f ( x ) + ⟨ ν , A x − b ⟩ , g ( ν ) = inf x L ( x , ν ) = − f ∗ ( − A ⊤ ν ) − ⟨ ν , b ⟩ .

原问题的下界

对每个可行点 x ,有 g ( ν ) ≤ f ( x ) 。因此 sup ν g ( ν ) 寻找最紧的对偶下界。等式乘子可取任意符号。

资源价格

若最优值 p ( b ) 在 b 处可微且乘子最优解存在,则 ∇ p ( b ) = − ν ⋆ . 固定当前价格时,各原变量按局部目标响应。等式残差用来调节价格。

导览Boyd & Vandenberghe, Chapter 5, §§5.1–5.2, 5.63 / 79

鞍点与最优性

若 ( x ⋆ , ν ⋆ ) 为 L 的鞍点,则 L ( x ⋆ , ν ) ≤ L ( x ⋆ , ν ⋆ ) ≤ L ( x , ν ⋆ ) 对所有  x , ν . 对本讲的仿射等式约束,这等价于 A x ⋆ = b , 0 ∈ ∂ f ( x ⋆ ) + A ⊤ ν ⋆ .

可行性

r p r i = A x − b 位于约束空间 R p 。在资源平衡模型中,它表示资源的净缺口或超额。

驻点条件

A ⊤ ν 把乘子反馈给原变量,位于 R n 。若 f 可微,对偶残差为 r d u a l = ∇ f ( x ) + A ⊤ ν 。

前序应用

Lecture 02 的最小二乘与 TV 正则化提供原变量子问题。Lecture 04 的生产资源定价和 TV 信号恢复提供对偶解释。

导览Boyd & Vandenberghe, §§5.4.2, 5.5.34 / 79

MATH6015 / CONVEX OPTIMIZATION

01

对偶上升

MATH6015 · Lecture S25 / 79

等式约束与对偶梯度

考虑 min x   f ( x ) subject to A x = b . Lagrangian 与 dual function 为 L ( x , ν ) = f ( x ) + ν ⊤ ( A x − b ) , g ( ν ) = inf x L ( x , ν ) . 若 x ( ν ) ∈ arg ⁡ min x L ( x , ν ) ,则对任意 ν ~ , g ( ν ~ ) ≤ L ( x ( ν ) , ν ~ ) = g ( ν ) + ⟨ A x ( ν ) − b , ν ~ − ν ⟩ . 因此 A x ( ν ) − b ∈ ∂ + g ( ν ) ,其中 ∂ + 表示 凹函数的上微分集合(superdifferential)。若 f 强凸,则极小点唯一, Danskin 定理进一步给出 ∇ g ( ν ) = A x ( ν ) − b . 因此,对偶梯度就是当前原始解的等式约束残差。

对偶上升Boyd et al. (2011) · §2.1, dual ascent6 / 79

对偶上升法

对凹对偶函数 g 做梯度上升,得到 ( DA ) x ( k + 1 ) ∈ arg ⁡ min x ( f ( x ) + ( ν ( k ) ) ⊤ ( A x − b ) ) , r p r i ( k + 1 ) = A x ( k + 1 ) − b , ν ( k + 1 ) = ν ( k ) + t ( k ) r p r i ( k + 1 ) .

正残差提高相应约束的价格,负残差降低价格。

对偶上升Boyd et al. (2011) · §2.1, equations (2.2)–(2.3)7 / 79

光滑性与步长

若 f 为 m f -强凸函数,则 x ( ν ) 唯一,且 ∇ g ( ν ) = A x ( ν ) − b 是 Lipschitz 连续映射。一个常用上界为 M g ≤ ‖ A ‖ 2 2 m f . 在对偶最优解存在且 M g > 0 时,固定步长 0 < t < 2 M g 对应光滑凹最大化的梯度上升收敛范围。

光滑对偶函数

可使用固定步长,也可用回溯搜索(backtracking)估计局部曲率。

非光滑对偶函数

若所用上梯度有界,可取 t ( k ) > 0 且 ∑ k t ( k ) = ∞ ,   ∑ k ( t ( k ) ) 2 < ∞ ,使历史最佳对偶值趋于最优值。

对偶上升Boyd et al. (2011), §2.1;步长条件见标准梯度与次梯度法8 / 79

可分结构

考虑耦合约束下的可分目标 min x 1 , … , x N   ∑ i = 1 N f i ( x i ) subject to ∑ i = 1 N A i x i = b . 固定 ν ( k ) 后,primal update 分解为 N 个独立问题 x i ( k + 1 ) ∈ arg ⁡ min x i ( f i ( x i ) + ( ν ( k ) ) ⊤ A i x i ) .

资源分配、电力调度与网络拥塞控制都具有这种“局部响应、全局定价”结构。

对偶上升Boyd et al. (2011) · §2.2, dual decomposition9 / 79

贯穿数值例

两类生产单元共同满足产量要求: ( E ) min x , z 1 2 ( x − 3 ) 2 + 2 ( z − 2 ) 2 subject to x + z = 2. 乘子记为 ν 。固定 ν 后,两个 primal variables 独立更新: x ( ν ) = 3 − ν , z ( ν ) = 2 − ν 4 . 因此 g ( ν ) = 3 ν − 5 8 ν 2 , g ′ ( ν ) = x ( ν ) + z ( ν ) − 2 = 3 − 5 4 ν .

解析最优解

ν ⋆ = 2.4 , ( x ⋆ , z ⋆ ) = ( 0.6 , 1.4 ) , p ⋆ = g ( ν ⋆ ) = 3.6 .

这个例子可同时观察对偶目标的变化、原始不可行性与罚参数的作用。

对偶上升自编二次资源分配例10 / 79

对偶上升的闭式迭代

取 t = 0.4 和 ν ( 0 ) = 0 。对偶上升满足 ν ( k + 1 ) = ν ( k ) + 0.4 ( 3 − 5 4 ν ( k ) ) = 1 2 ν ( k ) + 1.2 . 因此 ν ( k ) − ν ⋆ = 2 − k ( ν ( 0 ) − ν ⋆ ) .

k ν ( k ) r p r i ( k + 1 ) g ( ν ( k ) )
0 0.000 3.000 0.000
1 1.200 1.500 2.700
2 1.800 0.750 3.375
3 2.100 0.375 3.544
4 2.250 0.188 3.586
对偶上升自编数值例;所有数值由闭式迭代计算11 / 79

步长与乘子振荡

二次例的乘子误差满足 ν ( k ) − ν ⋆ = ( 1 − 5 4 t ) k ( ν ( 0 ) − ν ⋆ ) .

设 ν ( 0 ) = 0 ,稳定范围是 0 < t < 1.6 。

  • t = 0.4 :乘子从下方收敛。

  • t = 1.4 :误差变号,幅度逐步缩小。

  • t = 1.7 :误差变号,幅度持续增大。

t = 0.8 可在一步内求出本例的最优乘子,下一次原变量更新随即得到可行最优解。

对偶上升自编数值例,图例为步长 t 12 / 79

实验|对偶上升的步长与振荡

可交互
ν ( k + 1 ) − ν ⋆ = ( 1 − 5 4 t ) ( ν ( k ) − ν ⋆ ) , ν ⋆ = 2.4

正在准备交互图…

依次输入 t = 0.4 , 0.8 , 1.4 , 1.6 , 1.7 ,比较乘子误差的符号和幅度。

对偶上升补充讲义 · 二次资源分配例 (E)13 / 79

对偶目标与原始可行性

对偶上升保证关注 g ( ν ( k ) ) ,而每步 primal point 一般仍不可行: ( x ( k + 1 ) , z ( k + 1 ) ) = ( 3 − ν ( k ) ,   2 − 1 4 ν ( k ) ) .

对偶量

g ( ν ( k ) ) ≤ p ⋆ 为原问题提供逐步改善的下界。

原始量

r p r i ( k + 1 ) = x ( k + 1 ) + z ( k + 1 ) − 2 刻画可行性。不可行点的 objective value 不能直接作为 p ⋆ 的上界。

若原始极小点不唯一,迭代点还可能在多个极小点之间切换。对原始迭代点取平均常能改善可行性,但会改变输出的解释。

对偶上升Boyd et al. (2011) · §§2.1–2.214 / 79

对偶上升的计算边界

适合的结构

  • primal minimization 有闭式解或可并行求解

  • dual function 光滑,或可接受递减步长

  • 通信成本高于局部计算成本

主要困难

  • dual curvature 可能很差

  • primal minimizer 可能不唯一

  • 每次 primal minimization 可能仍然昂贵

  • primal feasibility 可能长期振荡

增广 Lagrangian 在 primal subproblem 中加入残差曲率,并把 dual update 变成 proximal step。

对偶上升Boyd et al. (2011) · §§2.2–2.315 / 79

MATH6015 / CONVEX OPTIMIZATION

02

增广拉格朗日与乘子法

MATH6015 · Lecture S216 / 79

二次罚函数

先忽略乘子,仅使用罚参数 ρ > 0 : min x f ( x ) + ρ 2 ‖ A x − b ‖ 2 2 . 有限 ρ 通常只得到近似可行点。对数值例 (E),penalty solution 为 x ρ = 12 + 3 ρ 4 + 5 ρ , z ρ = 8 + 7 ρ 4 + 5 ρ , r p r i ( ρ ) = 12 4 + 5 ρ .

可行性

令 ρ → ∞ 才能把 r p r i ( ρ ) 压到零。

数值条件

增大 ρ 会放大 A ⊤ A 在 primal Hessian 中的影响,线性系统可能更难求解。

增广拉格朗日与乘子法Boyd et al. (2011), §2.3;自编二次例17 / 79

增广拉格朗日函数

将乘子和二次 penalty 放在同一个函数中: L ρ ( x , ν ) = f ( x ) + ν ⊤ ( A x − b ) + ρ 2 ‖ A x − b ‖ 2 2 . 完成平方后可写成 L ρ ( x , ν ) = f ( x ) + ρ 2 ‖ A x − b + ν ρ ‖ 2 2 − 1 2 ρ ‖ ν ‖ 2 2 .

  • 线性项保留约束价格和 KKT multiplier 的解释

  • 二次项为 primal subproblem 增加约束方向上的曲率

  • multiplier update 累积 residual,因此固定有限 ρ 也能达到精确可行性

增广拉格朗日与乘子法Boyd et al. (2011) · §2.3, augmented Lagrangian18 / 79

增广对偶函数

令 g ρ ( ν ) = inf x L ρ ( x , ν ) 。在增广子问题取得极小值时, g ρ ( ν ) = max ν ~ { g ( ν ~ ) − 1 2 ρ ‖ ν ~ − ν ‖ 2 2 } .

这是 − g 的 Moreau 包络取负。只要 g 正常,包络形式给出的 g ρ 可微,且 ∇ g ρ 的 Lipschitz 常数至多为 1 / ρ 。 ∇ g ρ ( ν ) = A x ρ ( ν ) − b , x ρ ( ν ) ∈ arg ⁡ min x L ρ ( x , ν ) . 对右图的二次例, ρ = 1 将对偶曲率绝对值从 5 / 4 降为 5 / 9 ,最优乘子仍为 2.4 。

增广拉格朗日与乘子法Rockafellar (1976);曲线由二次资源分配例解析计算19 / 79

乘子法

乘子法(method of multipliers)交替执行一次联合原始最小化和一次乘子更新: ( MM ) x ( k + 1 ) ∈ arg ⁡ min x L ρ ( x , ν ( k ) ) , r p r i ( k + 1 ) = A x ( k + 1 ) − b , ν ( k + 1 ) = ν ( k ) + ρ r p r i ( k + 1 ) .

当 f 闭凸、鞍点存在且子问题精确求解时,任意固定 ρ > 0 均可用于收敛分析。 实现中也可按原始残差与内层问题的条件数调整 ρ 。

增广拉格朗日与乘子法Boyd et al. (2011) · §2.3, equations (2.7)–(2.8)20 / 79

数值例的乘子迭代

对问题 (E) 取 ρ = 1 。联合原始更新是二元线性系统 [ 2 1 1 5 ] [ x ( k + 1 ) z ( k + 1 ) ] = [ 5 − ν ( k ) 10 − ν ( k ) ] . 解得 x ( k + 1 ) = 5 3 − 4 9 ν ( k ) , z ( k + 1 ) = 5 3 − 1 9 ν ( k ) , 以及 r p r i ( k + 1 ) = 4 3 − 5 9 ν ( k ) , ν ( k + 1 ) = 4 9 ν ( k ) + 4 3 . 因此 ν ( k ) − ν ⋆ = ( 4 9 ) k ( ν ( 0 ) − ν ⋆ ) . 该 contraction factor 小于本例 t = 0.4 的 dual ascent factor 1 / 2 。

增广拉格朗日与乘子法自编数值例; ρ = 1 的闭式计算21 / 79

罚函数法与乘子法

在问题 (E) 上,固定 ρ = 1 的纯罚函数解为 ( x ρ , z ρ ) = ( 5 3 , 5 3 ) , r p r i ( 1 ) = 4 3 . 乘子法使用同一个 ρ ,但 multiplier 持续补偿 residual: k 0 1 2 3 4 ν ( k ) 0 1.333 1.926 2.189 2.306 | r p r i ( k + 1 ) | 1.333 0.593 0.263 0.117 0.052

增广拉格朗日与乘子法自编数值例;表中 residual 由闭式递推计算22 / 79

对偶 proximal point 解释

假设 f 闭凸,并精确求解增广 Lagrangian 子问题。记 r p r i ( k + 1 ) = A x ( k + 1 ) − b ,则原始最优性条件给出 0 ∈ ∂ f ( x ( k + 1 ) ) + A ⊤ ν ( k ) + ρ A ⊤ r p r i ( k + 1 ) = ∂ f ( x ( k + 1 ) ) + A ⊤ ν ( k + 1 ) . 因此 x ( k + 1 ) 也极小化 L ( x , ν ( k + 1 ) ) ,从而 ν ( k + 1 ) − ν ( k ) ρ = r p r i ( k + 1 ) ∈ ∂ + g ( ν ( k + 1 ) ) . 这正是下列凹最大化问题的一阶最优性条件: ( PPA-D ) ν ( k + 1 ) = arg ⁡ max ν { g ( ν ) − 1 2 ρ ‖ ν − ν ( k ) ‖ 2 2 } . 乘子法因此是对偶问题上的隐式 proximal point step,对不利曲率通常更稳定。

增广拉格朗日与乘子法Rockafellar (1976), augmented Lagrangians and the proximal point algorithm23 / 79

内层求解与 ρ 的选择

实际计算通常只近似求解 min x L ρ ( k ) ( x , ν ( k ) ) .

较小 ρ

primal subproblem 的条件数通常较好,但 multiplier correction 较弱,约束残差下降较慢。

较大 ρ

约束方向受到更强惩罚,但 primal linear system 可能更病态,inner solve 的成本上升。

停止 inner solve 时需要让误差随外层迭代充分减小。常用监控量包括 ‖ A x ( k + 1 ) − b ‖ 2 , dist ⁡ ( 0 , ∂ x L ρ ( k ) ( x ( k + 1 ) , ν ( k ) ) ) .

增广拉格朗日与乘子法Rockafellar (1976), inexact multiplier method24 / 79

联合最小化带来的耦合

对两块变量问题 min x , z   f ( x ) + h ( z ) subject to A x + B z = c , 增广项为 ρ 2 ‖ A x + B z − c ‖ 2 2 . 即使 f ( x ) + h ( z ) 可分,这个二次项也把 x 与 z 耦合起来。乘子法需要联合求解 ( x ( k + 1 ) , z ( k + 1 ) ) ∈ arg ⁡ min x , z L ρ ( x , z , ν ( k ) ) .

交替方向乘子法依次最小化两个变量块,使这种结构重新可计算。

增广拉格朗日与乘子法Boyd et al. (2011) · §3, transition from method of multipliers to ADMM25 / 79

MATH6015 / CONVEX OPTIMIZATION

03

近端映射

MATH6015 · Lecture S226 / 79

近端映射

对正常闭凸函数 f 和 τ > 0 ,近端映射(proximal operator)定义为 prox τ f ( v ) = arg ⁡ min x { f ( x ) + 1 2 τ ‖ x − v ‖ 2 2 } . 二次项使目标强凸,所以子问题有唯一解。记其为 x ^ ,则 v − x ^ τ ∈ ∂ f ( x ^ ) .

光滑函数

x ^ = v − τ ∇ f ( x ^ ) 。梯度在新点计算,对应隐式梯度步。

指示函数

若 C 为非空闭凸集,令示性函数 I C 在 C 内取 0 ,在 C 外取 + ∞ ,则 prox τ I C ( v ) = P C ( v ) 。

近端映射Boyd et al. (2011) · §4.127 / 79

软阈值

取 f ( x ) = λ | x | 。最优性条件为 v − x ∈ τ λ ∂ | x | . S τ λ ( v ) = prox τ f ( v ) = { v + τ λ , v < − τ λ , 0 , | v | ≤ τ λ , v − τ λ , v > τ λ . 当 x = 0 时, ∂ | x | = [ − 1 , 1 ] ,所以整个区间 [ − τ λ , τ λ ] 都映射到 0 。向量的 ℓ 1 近端步逐分量计算。

数值例

S 0.5 ( ( 1.5 , − 0.3 , − 2.0 ) ⊤ ) = ( 1 , 0 , − 1.5 ) ⊤ 。

近端映射Boyd et al. (2011) · §4.4, equation (4.2)28 / 79

实验|非光滑正则项可以精确处理

可交互
prox λ | ⋅ | ⁡ ( z ) = arg min x ⁡ { 1 2 ( x − z ) 2 + λ | x | } = sign ⁡ ( z ) max { | z | − λ , 0 }

正在准备交互图…

阈值区间为什么恰好把小坐标映射到零?

二次函数的近端步

取 f ( x ) = 1 2 ‖ A x − b ‖ 2 2 。把二次近端项一并求导,得到 ( I + τ A ⊤ A ) x ^ = v + τ A ⊤ b . 对每个 τ > 0 ,系数矩阵都正定。若 τ 固定,可将同一分解用于多次线性求解。

一般最小二乘

ADMM 的 Lasso 例子使用同类方程。矩阵的稀疏性和分解复用决定每步的成本。

去噪数据项

当 A = I 时, prox τ f ( v ) = v + τ b 1 + τ . 该步只需把当前输入和观测作加权平均。

近端映射Boyd et al. (2011) · §§4.2, 6.430 / 79

Moreau 恒等式

设 h 正常闭凸, σ > 0 。共轭函数的近端映射可用 h 的近端映射计算 prox σ h ∗ ( y ) = y − σ prox ( 1 / σ ) h ( y / σ ) . 令 z = prox ( 1 / σ ) h ( y / σ ) 。近端最优性给出 y − σ z ∈ ∂ h ( z ) ,共轭次梯度关系给出 z ∈ ∂ h ∗ ( y − σ z ) 。这正是 y − σ z = prox σ h ∗ ( y ) 的最优性条件。

软阈值与截断

取 h ( z ) = λ ‖ z ‖ 1 ,则 h ∗ = I [ − λ , λ ] m 。逐分量有 prox ( 1 / σ ) h ( y / σ ) = σ − 1 S λ ( y ) , prox σ h ∗ ( y ) = y − S λ ( y ) = P [ − λ , λ ] m ( y ) .

近端映射Moreau 恒等式;共轭次梯度关系见 Lecture 0431 / 79

MATH6015 / CONVEX OPTIMIZATION

04

交替方向乘子法

MATH6015 · Lecture S232 / 79

两块可分结构

考虑 minimize x , z f ( x ) + h ( z ) subject   to A x + B z = c . 设 A ∈ R p × n 、 B ∈ R p × m 和 c , ν ∈ R p 。增广 Lagrangian 为 L ρ ( x , z , ν ) = f ( x ) + h ( z ) + ⟨ ν , A x + B z − c ⟩ + ρ 2 ‖ A x + B z − c ‖ 2 2 .

乘子法

联合求解 ( x ( k + 1 ) , z ( k + 1 ) ) ∈ arg ⁡ min x , z L ρ ( x , z , ν ( k ) ) . 二次项通常把两个变量块耦合。

ADMM

依次更新 x 与 z ,随后更新乘子。每个子问题可保留 f 或 h 的专门算法。

交替方向乘子法Boyd et al. (2011) · §3.133 / 79

ADMM 更新

x ( k + 1 ) ∈ arg ⁡ min x   L ρ ( x , z ( k ) , ν ( k ) ) , z ( k + 1 ) ∈ arg ⁡ min z   L ρ ( x ( k + 1 ) , z , ν ( k ) ) , ν ( k + 1 ) = ν ( k ) + ρ ( A x ( k + 1 ) + B z ( k + 1 ) − c ) .

更新顺序形成 Gauss–Seidel splitting。交换两个变量块会得到不同的有限步轨迹。

交替方向乘子法Boyd et al. (2011) · §3.1, equations (3.2)–(3.4)34 / 79

缩放形式

令 scaled dual variable u ( k ) = 1 ρ ν ( k ) . 设 r p r i = A x + B z − c 。利用配方 ⟨ ν , r p r i ⟩ + ρ 2 ‖ r p r i ‖ 2 2 = ρ 2 ‖ r p r i + u ‖ 2 2 − ρ 2 ‖ u ‖ 2 2 , ADMM 可写为 x ( k + 1 ) ∈ arg ⁡ min x   f ( x ) + ρ 2 ‖ A x + B z ( k ) − c + u ( k ) ‖ 2 2 , z ( k + 1 ) ∈ arg ⁡ min z   h ( z ) + ρ 2 ‖ A x ( k + 1 ) + B z − c + u ( k ) ‖ 2 2 , u ( k + 1 ) = u ( k ) + A x ( k + 1 ) + B z ( k + 1 ) − c . Scaled form 便于实现,也直接显示了乘子对约束残差的累计。

交替方向乘子法Boyd et al. (2011) · §3.1.135 / 79

二次例的 ADMM

沿用 min x , z 1 2 ( x − 3 ) 2 + 2 ( z − 2 ) 2 s.t. x + z = 2. 最优解为 ( x ⋆ , z ⋆ , ν ⋆ ) = ( 0.6 , 1.4 , 2.4 ) 。Scaled ADMM 更新为 x ( k + 1 ) = 3 + ρ ( 2 − z ( k ) − u ( k ) ) 1 + ρ , z ( k + 1 ) = 8 + ρ ( 2 − x ( k + 1 ) − u ( k ) ) 4 + ρ , u ( k + 1 ) = u ( k ) + x ( k + 1 ) + z ( k + 1 ) − 2.

取 ρ = 1 ,   z ( 0 ) = u ( 0 ) = 0 ,则 ( x ( 1 ) , z ( 1 ) , u ( 1 ) ) = ( 2.5 , 1.5 , 2.0 ) , ( x ( 2 ) , z ( 2 ) , u ( 2 ) ) = ( 0.75 , 1.45 , 2.20 ) .

r p r i ( 1 ) = 2.0 , r p r i ( 2 ) = 0.20 . 交替更新可暂时增大某个目标分量,约束残差则逐步驱动两个变量块协调。

交替方向乘子法自编二次例;算法参见 Boyd et al. (2011), §3.136 / 79

原始残差与对偶残差

定义 r p r i ( k + 1 ) = A x ( k + 1 ) + B z ( k + 1 ) − c , r d u a l ( k + 1 ) = ρ A ⊤ B ( z ( k + 1 ) − z ( k ) ) .

原始残差

r p r i ( k + 1 ) 衡量 equality constraint 的违反程度,也正是 scaled multiplier 的增量。

对偶残差

r d u a l ( k + 1 ) 来自 x -stationarity。它衡量相邻两次 z 更新对该条件造成的偏差。

常用停止条件为 ‖ r p r i ( k + 1 ) ‖ 2 ≤ ε p r i , ‖ r d u a l ( k + 1 ) ‖ 2 ≤ ε d u a l .

交替方向乘子法Boyd et al. (2011) · §3.3.137 / 79

停止阈值

设约束维数为 p ,变量 x ∈ R n 。绝对与相对容差可以组合为 ε p r i = p ε a b s + ε r e l max { ‖ A x ( k ) ‖ 2 , ‖ B z ( k ) ‖ 2 , ‖ c ‖ 2 } , ε d u a l = n ε a b s + ε r e l ‖ A ⊤ ν ( k ) ‖ 2 .

量纲

ε r e l 无量纲。若两种残差的量纲或尺度不同,可分别指定各自的绝对容差。

还需同时报告目标值或 primal–dual gap。残差较小只说明迭代点接近 KKT feasibility 与 stationarity。

交替方向乘子法Boyd et al. (2011) · §3.3.138 / 79

罚参数与乘子重标定

ρ 改变了两个残差的相对尺度,也改变每个子问题的条件数。 ρ ↑ ⟹ 更强地压低 primal residual,子问题中的二次项更重。 用 ρ ( k ) 完成本轮更新并计算残差后,可以用残差平衡规则选择下一轮参数: ρ ( k + 1 ) = { τ ρ ( k ) , ‖ r p r i ( k + 1 ) ‖ 2 > μ ‖ r d u a l ( k + 1 ) ‖ 2 , ρ ( k ) / τ , ‖ r d u a l ( k + 1 ) ‖ 2 > μ ‖ r p r i ( k + 1 ) ‖ 2 , ρ ( k ) , 其余情形 , 其中 μ > 1 , τ > 1 是实现参数。重标定 u ( k + 1 ) = ν ( k + 1 ) / ρ ( k + 1 ) 时,应保持未缩放乘子不变: u ( k + 1 ) ← ρ ( k ) ρ ( k + 1 ) u ( k + 1 ) . 该规则是实用启发式,需要结合变量缩放和子问题求解成本评估。

交替方向乘子法Boyd et al. (2011) · §3.4.139 / 79

松弛与多块变量

Over-relaxation

在 z -步和 u -步中用 a ^ ( k + 1 ) = α A x ( k + 1 ) − ( 1 − α ) ( B z ( k ) − c ) 替代 A x ( k + 1 ) 。常用范围为 1 < α < 2 。

多块直接循环

将两块 ADMM 直接扩展为三个或更多顺序最小化步骤,可能失去收敛性。常用处理包括 变量分组、proximal regularization 或有理论保证的多块变体。

若子问题使用迭代法,应把内层误差纳入收敛分析或设置可求和的误差序列。

交替方向乘子法Boyd et al. (2011), §3.4.3;Chen et al., Math. Program. 155 (2016)40 / 79

基本收敛结论

考虑两块 convex ADMM。假设 f ,   h   closed, proper, convex , 未增广 Lagrangian 存在 saddle point,并且每个子问题可以求解。 则 r p r i ( k ) → 0 , f ( x ( k ) ) + h ( z ( k ) ) → p ⋆ , ν ( k ) → ν ⋆ .

  • 基本结论不要求目标值逐步单调。

  • x ( k ) 与 z ( k ) 本身的收敛需要额外条件。

  • 非渐近速率取决于所选 residual 或 gap,以及目标函数的强凸性、光滑性和矩阵秩条件。

交替方向乘子法Boyd et al. (2011) · §3.2;Eckstein & Bertsekas (1992)41 / 79

Lasso 的变量分裂

minimize x 1 2 ‖ A x − b ‖ 2 2 + λ ‖ x ‖ 1 引入 x = z : min x , z 1 2 ‖ A x − b ‖ 2 2 + λ ‖ z ‖ 1 s.t. x − z = 0 . Scaled ADMM 为 x ( k + 1 ) = ( A ⊤ A + ρ I ) − 1 ( A ⊤ b + ρ ( z ( k ) − u ( k ) ) ) , z ( k + 1 ) = S λ / ρ ( x ( k + 1 ) + u ( k ) ) , u ( k + 1 ) = u ( k ) + x ( k + 1 ) − z ( k + 1 ) . 固定 ρ 时可复用 A ⊤ A + ρ I 的分解。大规模情形也可使用矩阵恒等式或迭代线性求解器。

交替方向乘子法Boyd et al. (2011) · §6.442 / 79

Lasso 的一次迭代

标量问题 min x 1 2 ( 2 x − 3 ) 2 + | x | 的最优解为 x ⋆ = 1.25 。取 ρ = 1 ,   z ( 0 ) = u ( 0 ) = 0 。 x ( 1 ) = 2 ⋅ 3 + z ( 0 ) − u ( 0 ) 2 2 + 1 = 1.2 , z ( 1 ) = S 1 ( x ( 1 ) + u ( 0 ) ) = 0.2 , u ( 1 ) = u ( 0 ) + x ( 1 ) − z ( 1 ) = 1.

第二步给出 x ( 2 ) = 1.04 , z ( 2 ) = 1.04 , u ( 2 ) = 1. 此时 primal residual 已为零,后续迭代继续修正 stationarity 和目标值。

计算分工

光滑数据项进入线性系统,非光滑正则项进入 soft-thresholding。

交替方向乘子法自编标量例;Lasso splitting 参见 Boyd et al. (2011), §6.443 / 79

实验|Lasso 的 ADMM 迭代

可交互
min x   1 2 ( 2 x − 3 ) 2 + λ | x | , x ⋆ = 1 4 ( 6 − λ ) +

正在准备交互图…

保持 λ = ρ = 1 ,查看第 2 步的可行性残差。继续迭代时, z ( k ) 还会怎样变化?

交替方向乘子法补充讲义 · 标量 Lasso 例44 / 79

Consensus ADMM

多个节点共同估计一个参数: min x 1 , … , x N , z ∑ i = 1 N f i ( x i ) s.t. x i = z . Scaled ADMM 可并行执行 x i ( k + 1 ) ∈ arg ⁡ min x i f i ( x i ) + ρ 2 ‖ x i − z ( k ) + u i ( k ) ‖ 2 2 , z ( k + 1 ) = 1 N ∑ i = 1 N ( x i ( k + 1 ) + u i ( k ) ) , u i ( k + 1 ) = u i ( k ) + x i ( k + 1 ) − z ( k + 1 ) .

交替方向乘子法Boyd et al. (2011) · §7.145 / 79

三节点共识例

令 f i ( x ) = a i 2 ( x − b i ) 2 , a = ( 1 , 2 , 4 ) , b = ( − 1 , 2 , 4 ) .

共识最优解为 z ⋆ = ∑ i a i b i ∑ i a i = 19 7 ≈ 2.714 .

取 ρ = 1 ,   z ( 0 ) = u i ( 0 ) = 0 ,局部更新为 x i ( 1 ) = a i b i + ρ ( z ( 0 ) − u i ( 0 ) ) a i + ρ .

k x 1 ( k ) x 2 ( k ) x 3 ( k ) z ( k ) max i x i ( k ) − min i x i ( k )
1 -0.500 1.333 3.200 1.344 3.700
2 1.094 1.785 3.098 1.992 2.003
3 1.867 2.070 3.006 2.315 1.139

表中红色行表示当前轮次。 共识变量向 z ⋆ = 2.714 移动,局部估计的跨度同时缩小;乘子记录各节点相对于共识值的累积偏差。

交替方向乘子法自编三节点例;consensus ADMM 参见 Boyd et al. (2011), §7.146 / 79

实验|三节点共识 ADMM

可交互
min z   ∑ i = 1 3 a i 2 ( z − b i ) 2 , z ⋆ = ∑ i a i b i ∑ i a i

正在准备交互图…

修改第三个节点的目标 b 3 ,观察共识值 z ⋆ 与三个局部估计如何变化。

交替方向乘子法补充讲义 · 三节点加权共识例47 / 79

ADMM 的计算边界

结构适配

  • 两个变量块的 prox 或线性子问题容易计算。

  • 约束适合写成 A x + B z = c 。

  • 分解后可复用矩阵分解或并行局部求解。

主要成本

  • 一个子问题可能仍需大型线性系统。

  • ρ 与变量缩放会显著影响有限步表现。

  • 高精度阶段常出现残差缓慢衰减。

比较不同实现时,应同时报告迭代次数、矩阵乘法、线性系统求解次数与运行时间。

交替方向乘子法Boyd et al. (2011) · §§3, 4.248 / 79

MATH6015 / CONVEX OPTIMIZATION

05

原始--对偶分裂

MATH6015 · Lecture S249 / 79

复合目标的鞍点形式

考虑 minimize x f ( x ) + h ( K x ) , 其中 f , h 为正常闭凸函数, K 为线性算子,其算子范数记为 ‖ K ‖ 2 = sup ‖ x ‖ 2 = 1 ‖ K x ‖ 2 。 利用 h ( K x ) = sup y { ⟨ K x , y ⟩ − h ∗ ( y ) } , 得到 min x sup y L ( x , y ) = f ( x ) + ⟨ K x , y ⟩ − h ∗ ( y ) . 当 supremum 取得且问题存在 saddle point 时,可写成 min x max y L ( x , y ) 。

原始--对偶分裂Chambolle & Pock (2011) · §2, problem (2)50 / 79

鞍点最优性条件

( x ⋆ , y ⋆ ) 为 saddle point 当且仅当 0 ∈ ∂ f ( x ⋆ ) + K ⊤ y ⋆ , 0 ∈ ∂ h ∗ ( y ⋆ ) − K x ⋆ . 等价地, − K ⊤ y ⋆ ∈ ∂ f ( x ⋆ ) , K x ⋆ ∈ ∂ h ∗ ( y ⋆ ) .

Primal variable

x -更新处理 f 与来自对偶变量的线性反馈 K ⊤ y 。

Dual variable

y -更新处理 h ∗ 与当前变换量 K x 。

这两个 inclusion 构成一个单调算子零点问题,PDHG 对两个算子执行交替 proximal steps。

原始--对偶分裂Chambolle & Pock (2011) · §251 / 79

PDHG / Chambolle–Pock

初始化 x ( 0 ) , y ( 0 ) ,并令 x ~ ( 0 ) = x ( 0 ) 。基本算法为 y ( k + 1 ) = prox σ h ∗ ( y ( k ) + σ K x ~ ( k ) ) , x ( k + 1 ) = prox τ f ( x ( k ) − τ K ⊤ y ( k + 1 ) ) , x ~ ( k + 1 ) = x ( k + 1 ) + θ ( x ( k + 1 ) − x ( k ) ) .

原始--对偶分裂Chambolle & Pock (2011) · Algorithm 152 / 79

步长与基本收敛

若鞍点存在,取 θ = 1 且 τ σ ‖ K ‖ 2 2 < 1 ,则 PDHG 迭代收敛到一个鞍点。考虑迭代平均 x ¯ ( N ) = 1 N ∑ k = 1 N x ( k ) , y ¯ ( N ) = 1 N ∑ k = 1 N y ( k ) 取有界测试集 X , Y ,使 X × Y 包含一个鞍点。定义受限原始–对偶间隙和初始距离常数 G X , Y ( x , y ) = sup y ′ ∈ Y L ( x , y ′ ) − inf x ′ ∈ X L ( x ′ , y ) , C X , Y = sup x ∈ X , y ∈ Y { ‖ x − x ( 0 ) ‖ 2 2 2 τ + ‖ y − y ( 0 ) ‖ 2 2 2 σ } .

遍历收敛界

平均点满足 G X , Y ( x ¯ ( N ) , y ¯ ( N ) ) ≤ C X , Y N . 该界衡量指定测试集上的鞍点不等式违反程度。

原始--对偶分裂Chambolle & Pock (2011) · Theorem 153 / 79

与 proximal gradient 的计算差异

设 f 可微且 ∇ f 为 Lipschitz continuous。用 h 表示一阶方法专题中记作 g 的复合项。对 f ( x ) + h ( K x ) , proximal gradient 需要计算 prox τ ( h ∘ K ) ( v ) , 该映射对一般 K 较难。PDHG 的每次迭代使用 K x ~ , K ⊤ y , prox τ f , prox σ h ∗ .

矩阵自由实现

只需实现 K 与 K ⊤ 的算子调用,适用于差分、卷积、采样和成像算子。

可计算条件

算法效率取决于 f 与 h ∗ 的 proximal maps 是否简单,以及 ‖ K ‖ 2 能否估计。

原始--对偶分裂Chambolle & Pock (2011), §2;复合形式的计算解释54 / 79

同一二次例的 PDHG

将约束写成 K ( x , z ) = x + z , h ( s ) = I { 2 } ( s ) , h ∗ ( ν ) = 2 ν . 在此例中,将 PDHG 的对偶变量记为等式乘子 ν 。于是 min x , z max ν 1 2 ( x − 3 ) 2 + 2 ( z − 2 ) 2 + ν ( x + z − 2 ) . 取 τ = 0.25 , σ = 0.5 , θ = 1 ,则 τ σ ‖ K ‖ 2 2 = 0.25 < 1 。从零点开始, ν ( 1 ) = ν ( 0 ) + σ ( x ( 0 ) + z ( 0 ) − 2 ) = − 1 , x ( 1 ) = prox τ ( ⋅ − 3 ) 2 / 2 ( − τ ν ( 1 ) ) = 0.8 , z ( 1 ) = prox 2 τ ( ⋅ − 2 ) 2 ( − τ ν ( 1 ) ) = 1.125 . 对偶变量先记录负的可行性残差,随后通过 K ⊤ ν 同时修正两个原变量。

原始--对偶分裂自编二次例;PDHG 更新参见 Chambolle & Pock (2011)55 / 79

实验|同一二次例的四种算法

可交互
min x + z = 2   1 2 ( x − 3 ) 2 + 2 ( z − 2 ) 2 R KKT = ‖ ( x + z − 2 ,   x − 3 + ν ,   4 ( z − 2 ) + ν ) ‖ 2

正在准备交互图…

选择「可行性残差」和「KKT 残差」比较同一步的表现。提高 ρ 时,两条曲线怎样变化?

原始--对偶分裂补充讲义 · 二次资源分配例 (E)56 / 79

TV 去噪的鞍点模型

将 Lecture 02 的 TV 目标整体乘以 1 / 2 ,改记观测 b = x c o r 、 重建 x = x ^ 、权重 λ = δ / 2 。 一阶差分 D ∈ R ( n − 1 ) × n 满足 ( D x ) i = x i + 1 − x i 。 f ( x ) = 1 2 ‖ x − b ‖ 2 2 , h ( z ) = λ ‖ z ‖ 1 , λ > 0. 沿用 Lecture 04,离散对偶通量 y 对应分裂约束 D x − z = 0 的乘子。 令 C λ = [ − λ , λ ] n − 1 ,由 h ∗ = I C λ 得鞍点形式 min x max y ∈ C λ 1 2 ‖ x − b ‖ 2 2 + ⟨ D x , y ⟩ . 对 x 取极小值得到对偶问题 max y ∈ C λ g ( y ) 。 g ( y ) = b ⊤ D ⊤ y − 1 2 ‖ D ⊤ y ‖ 2 2 , x ⋆ = b − D ⊤ y ⋆ .

原始--对偶分裂Lecture 02 TV model;Lecture 04 dual derivation;Chambolle & Pock (2011)57 / 79

TV 去噪的 PDHG 更新

对偶近端步是到 C λ 的逐分量投影: y ( k + 1 ) = P C λ ( y ( k ) + σ D x ~ ( k ) ) , [ P C λ ( v ) ] i = clip ⁡ ( v i , − λ , λ ) . Primal prox 有闭式解: x ( k + 1 ) = x ( k ) − τ D ⊤ y ( k + 1 ) + τ b 1 + τ . x ~ ( k + 1 ) = 2 x ( k + 1 ) − x ( k ) ( θ = 1 ) .

每步计算

一次差分 D x ~ ,一次转置差分 D ⊤ y ,一个盒投影和一个仿射组合。

原始--对偶分裂Chambolle & Pock (2011) · Algorithm 1;TV specialization58 / 79

TV 去噪的一次迭代

取 b = ( 0 , 2 , 0 ) ⊤ , λ = 0.5 , τ = 0.25 , σ = 0.5 , x ( 0 ) = x ~ ( 0 ) = b , y ( 0 ) = 0 . 一阶差分满足 D b = ( 2 , − 2 ) ⊤ .

y ( 1 ) = clip ⁡ ( 0.5 D b , − 0.5 , 0.5 ) = ( 0.5 , − 0.5 ) ⊤ .

由于 D ⊤ y ( 1 ) = ( − 0.5 , 1 , − 0.5 ) ⊤ , 得到 x ( 1 ) = b − τ 1 + τ D ⊤ y ( 1 ) = ( 0.1 , 1.8 , 0.1 ) ⊤ . 峰值下降,相邻位置上升。该变化正是 TV 对局部跳变的修正。

原始--对偶分裂自编三点信号例;PDHG-TV specialization59 / 79

实验|逐步查看 TV 去噪

可交互
f 0 ( x ) = 1 2 ‖ x − b ‖ 2 2 + λ ‖ D x ‖ 1 , b = ( 0 , 2 , 0 ) ⊤

正在准备交互图…

从 k = 0 单步前进,观察对偶投影和相邻样本的更新。调大 λ 时,峰值会怎样变化?

原始--对偶分裂补充讲义 · 三点信号的 PDHG 例60 / 79

预条件与加速

Diagonal step sizes

用正定对角矩阵 T , Σ 代替标量 τ , σ : ‖ Σ 1 / 2 K T 1 / 2 ‖ 2 < 1. 行列尺度差异较大时,这种预条件可显著改善有限步表现。

Strong convexity

若 f 为 m f -强凸函数,可取 θ ( k ) = ( 1 + 2 m f τ ( k ) ) − 1 / 2 , τ ( k + 1 ) = θ ( k ) τ ( k ) , σ ( k + 1 ) = σ ( k ) / θ ( k ) . 相应变体可使强凸原变量的距离平方满足 ‖ x ( N ) − x ⋆ ‖ 2 2 = O ( 1 / N 2 ) 。

变步长时应记录实际的算子调用和 stopping certificate,避免仅以迭代次数判断加速效果。

原始--对偶分裂Chambolle & Pock (2011) · §5;diagonal preconditioning extensions61 / 79

PDHG 的停止量

由两个 proximal optimality conditions 直接得到 r x ( k + 1 ) = x ( k ) − x ( k + 1 ) τ ∈ ∂ f ( x ( k + 1 ) ) + K ⊤ y ( k + 1 ) , r y ( k + 1 ) = y ( k ) − y ( k + 1 ) σ + K ( x ~ ( k ) − x ( k + 1 ) ) ∈ ∂ h ∗ ( y ( k + 1 ) ) − K x ( k + 1 ) . 分别用 ‖ r x ( k + 1 ) ‖ 2 和 ‖ r y ( k + 1 ) ‖ 2 衡量两条鞍点最优性条件的偏差。

可用的证书

  • primal–dual gap 有限时直接使用 gap

  • restricted gap

  • KKT / fixed-point residual

  • 应用相关的 feasibility 与目标误差

报告方式

同时报告 K , K ⊤ 调用次数与运行时间。不同步长或预条件会改变一次迭代的成本。

原始--对偶分裂Chambolle & Pock (2011) · §2, convergence diagnostics62 / 79

PDHG 的适用结构

常见模型

f ( x ) + h ( K x ) 其中 K 是大型稀疏算子, prox f 与 prox h ∗ 可快速计算。 TV、成像逆问题、网络流和 saddle formulations 常具有该结构。

实现关注点

  • 正确实现 K ⊤ 并做 adjoint test

  • 估计算子范数 ‖ K ‖ 2 或计算其上界

  • 选择与量纲相容的 primal / dual scaling

  • 使用有限的 gap 或 KKT residual

当某个 proximal map 需要内层迭代时,应评估总算子调用与内层误差。

原始--对偶分裂Chambolle & Pock (2011) · §§2, 663 / 79

MATH6015 / CONVEX OPTIMIZATION

06

数值比较

MATH6015 · Lecture S264 / 79

比较指标

等式约束二次问题

min x , z   1 2 ( x − 3 ) 2 + 2 ( z − 2 ) 2 s.t. x + z = 2. 精确解为 ( x ⋆ , z ⋆ , ν ⋆ ) = ( 0.6 , 1.4 , 2.4 ) . 比较 dual ascent、乘子法和 ADMM 的 KKT 残差。

一维 TV 去噪

min x   1 2 ‖ x − b ‖ 2 2 + λ ‖ D x ‖ 1 . 记原目标为 f 0 、对偶函数为 g 。比较 ADMM、PDHG 和 dual FISTA 的间隙 f 0 ( x ( k ) ) − g ( y ( k ) ) . 每次迭代都使用一次 D 和一次 D ⊤ 。

计数口径

算子调用只统计算法更新。原始—对偶间隙的诊断计算另行执行。运行时间报告 setup 和更新循环,便于区分线性系统预处理与迭代成本。

数值比较自编实验;脚本与 CSV 位于 dual-methods-data/65 / 79

标量问题的 KKT 残差与可行性

对偶上升取 t = 0.4 ,乘子法与 ADMM 取 ρ = 1 。均取 ν ( 0 ) = 0 ,ADMM 另取 z ( 0 ) = 0 。 R K K T 2 = r p r i 2 + ‖ r d u a l ‖ 2 2 = ( x + z − 2 ) 2 + ( x − 3 + ν ) 2 + ( 4 ( z − 2 ) + ν ) 2 .

数值比较自编解析例;三种更新均使用精确子问题解66 / 79

残差曲线的解释

对偶函数为 g ( ν ) = 3 ν − 5 8 ν 2 , g ′ ( ν ) = 3 − 5 4 ν . 因此 dual ascent 的乘子误差满足 ν ( k + 1 ) − ν ⋆ = ( 1 − 5 4 t ) ( ν ( k ) − ν ⋆ ) . 在本例中, t = 0.4 给出收缩因子 0.5 。

乘子法

增广项使原变量靠近可行集。每一步联合求解 ( x , z ) ,随后更新 ν 。

ADMM

x 和 z 依次更新。早期 KKT 残差受分块滞后影响,后期仍呈线性下降。

目标值在不可行点处可能低于 p ⋆ ,因此主图使用 KKT 残差,而未把 f ( x ( k ) , z ( k ) ) − p ⋆ 当作误差证书。

数值比较自编解析例67 / 79

TV 模型的原始—对偶证书

对 f 0 ( x ) = 1 2 ‖ x − b ‖ 2 2 + λ ‖ D x ‖ 1 , Fenchel 对偶为 g ( y ) = − 1 2 ‖ D ⊤ y ‖ 2 2 + ⟨ D ⊤ y , b ⟩ , y ∈ C λ . 任何 primal point x 和 dual-feasible y 都满足 f 0 ( x ) − g ( y ) ≥ 0.

ADMM 使用 z = D x 。将该约束的乘子 ν = ρ u 投影到 C λ , 得到用于证书的 y = P C λ ( ν ) 。

PDHG 的 dual proximal step 和 dual FISTA 的投影步都直接保持 ‖ y ( k ) ‖ ∞ ≤ λ 。

Dual FISTA 对 ψ ( y ) = 1 2 ‖ D ⊤ y − b ‖ 2 2 使用 ∇ ψ ( y ) = D ( D ⊤ y − b ) , y + = P C λ ( y ~ − 1 4 ∇ ψ ( y ~ ) ) , 由 ‖ D ‖ 2 ≤ 2 可取步长 1 / 4 ,再对对偶变量作标准 FISTA 外推。

数值比较Chambolle–Pock (2011);Beck & Teboulle (2009);自编离散 TV 实验68 / 79

TV 去噪结果

实验使用 n = 160 、 λ = 0.55 和固定随机种子 6015。下图展示 600 次更新后的结果。

ADMM、PDHG 与 dual FISTA 收敛到同一 TV 解。终态曲线几乎重合,图中只叠加两种代表结果。

数值比较自编实验;fixed seed 601569 / 79

TV 间隙与算子调用

每次更新各调用 D 和 D ⊤ 一次,横轴计总调用次数。ADMM 取 ρ = 1 。 PDHG 取 τ = σ = 0.49 、 θ = 1 ,由 ‖ D ‖ 2 ≤ 2 可验证步长条件。

ADMM 还需解一个固定三对角线性系统。脚本在 setup 中完成一次 Thomas 分解, 更新时间包含每步的前代与回代。Dual FISTA 加速的是 dual objective,最后迭代点的 原始—对偶间隙不必单调。

数值比较自编实验;证书诊断的额外算子调用未计入横轴70 / 79

实验复现与比较边界

可复现设置

  • Python 标准库生成数据,无外部数值包依赖;

  • 所有初值、参数和随机种子写入脚本;

  • CSV 保存每次迭代的 KKT 残差或原始—对偶间隙;

  • 更新时间取 9 次运行的中位数,setup 单独报告。

600 次更新的本机时间(ms)

方法 setup 更新 间隙
ADMM 0.016 27.73 < 10 − 13
PDHG 0.001 23.53 3.1 × 10 − 9
FISTA-dual 0.001 19.75 4.3 × 10 − 6

三种方法均执行 1200 次 D , D ⊤ 调用。ADMM 的更新时间还包含三对角求解。 运行时间依赖机器与实现,收敛判断以间隙为准。

复现命令与输出

python3 dual-methods-data/generate_dual_methods_data.py

脚本生成 scalar_convergence.csv、tv_convergence.csv、 tv_signal.csv 和 tv_summary.csv。前两者分别保存 KKT 残差与 原始—对偶间隙,后两者保存终态信号和计时摘要。

数值比较本讲配套脚本与 CSV71 / 79

MATH6015 / CONVEX OPTIMIZATION

07

算法比较

MATH6015 · Lecture S272 / 79

子问题与计算结构

方法 每步主要计算 值得利用的问题结构
对偶上升 普通 Lagrangian 最小化,更新乘子 约束线性耦合且各原变量可分。若对偶函数光滑,可按光滑常数选步长。
乘子法 联合增广子问题,更新乘子 二次罚项有助于压低残差。可借助结构高效求解增广子问题。
ADMM 两个增广子问题,更新乘子 分块后至少一个子问题能闭式计算,或各块可以复用预分解。
PDHG 两次近端步和 K , K ⊤ 乘法 近端映射简单,且线性算子可快速应用。

信号恢复中的选择

若 D 是一维差分,ADMM 的线性系统可用三对角分解。若把 D 换成只能快速乘向量的算子,PDHG 一步仍只需要算子乘法和近端映射。

算法比较Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting73 / 79

原始量与对偶量

等式约束模型

可行性残差和驻点残差分别对应两类 KKT 条件。若迭代点尚未满足等式,原目标值可以低于 p ⋆ 。

ADMM 中, x 步用 z ( k ) ,乘子步用 z ( k + 1 ) 。对偶残差记录这次更新给 x 的驻点条件带来的偏差。

复合模型

对偶可行的 y 给出下界。若原目标和对偶目标均有限,则两者之差是原目标误差的上界。

扫参时应同时给出终止精度和每步的主要计算。预分解、通信、矩阵乘法常占据不同的成本比例。

对偶性把算法中的残差、停止条件与数值实验使用的误差证书联系起来。

算法比较Lecture 04 补充讲义 · Dual Methods and Primal-Dual Splitting74 / 79

MATH6015 / CONVEX OPTIMIZATION

08

补充推导与参考

MATH6015 · Lecture S275 / 79

对偶函数的光滑常数

若 f 为 m f -强凸的正常闭凸函数,则 ∇ f ∗ 存在且为 1 / m f -Lipschitz。 x ( ν ) = ∇ f ∗ ( − A ⊤ ν ) , ∇ g ( ν ) = A ∇ f ∗ ( − A ⊤ ν ) − b . 两次使用 ‖ A ‖ 2 = ‖ A ⊤ ‖ 2 ,得到 ‖ ∇ g ( ν ) − ∇ g ( ν ~ ) ‖ 2 ≤ ‖ A ‖ 2 2 m f ‖ ν − ν ~ ‖ 2 .

二次目标的精确常数

对于 Hessian 为 H ≻ 0 的二次函数,有 − ∇ 2 g = A H − 1 A ⊤ 。它的最大特征值给出精确的光滑常数。

补充推导与参考共轭的光滑性与强凸性;对偶上升参见 Boyd et al. (2011), §2.176 / 79

Douglas–Rachford 分裂

两块问题的对偶最小化形式为 min ν   f ∗ ( − A ⊤ ν ) + ⟨ c , ν ⟩ ⏟ a ( ν ) + h ∗ ( − B ⊤ ν ) ⏟ b ( ν ) . Douglas–Rachford 分裂(DRS)用两个可分的近端映射求解和函数。记 J a = prox ρ a 、 J b = prox ρ b ,一种更新顺序为 v ( k + 1 ) = v ( k ) + J a ( 2 J b v ( k ) − v ( k ) ) − J b v ( k ) .

ADMM 的对偶解释

在标准凸分裂的条件下,可把两块 ADMM 通过变量变换写成对偶上的 DRS。 上式中的中间变量 v 由乘子和块变量组合而成。DRS 的顺序和对偶符号应与原问题分块约定一致。

补充推导与参考Eckstein & Bertsekas (1992);Boyd et al. (2011), §3.577 / 79

PDHG 的预条件近端点形式

定义鞍点算子 T ( x , y ) = [ ∂ f ( x ) + K ⊤ y ∂ h ∗ ( y ) − K x ] , P = [ τ − 1 I − K ⊤ − K σ − 1 I ] . 采用对偶先更新的顺序和 θ = 1 ,记 w ( k ) = ( x ( k ) , y ( k + 1 ) ) 。将两个近端最优性条件放在一起,可得 0 ∈ T ( w ( k + 1 ) ) + P ( w ( k + 1 ) − w ( k ) ) .

步长与度量

τ σ ‖ K ‖ 2 2 < 1 使 P ≻ 0 。对任一鞍点 w ⋆ ,由 T 的单调性可得 ‖ w ( k + 1 ) − w ⋆ ‖ P 2 + ‖ w ( k + 1 ) − w ( k ) ‖ P 2 ≤ ‖ w ( k ) − w ⋆ ‖ P 2 , ‖ w ‖ P 2 = w ⊤ P w .

补充推导与参考Chambolle & Pock (2011) · Algorithm 1, θ = 1 ;等价的预条件最优性写法78 / 79

参考文献

  1. S. Boyd and L. Vandenberghe. Convex Optimization. Cambridge University Press, 2004. Chapter 5.

  2. S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers. Foundations and Trends in Machine Learning, 3(1), 2011.

  3. A. Chambolle and T. Pock. A First-Order Primal-Dual Algorithm for Convex Problems with Applications to Imaging. Journal of Mathematical Imaging and Vision, 40, 120–145, 2011.

  4. R. T. Rockafellar. Augmented Lagrangians and Applications of the Proximal Point Algorithm in Convex Programming. Mathematics of Operations Research, 1(2), 97–116, 1976.

  1. J. Eckstein and D. P. Bertsekas. On the Douglas–Rachford Splitting Method and the Proximal Point Algorithm for Maximal Monotone Operators. Mathematical Programming, 55, 293–318, 1992.

  2. A. Beck and M. Teboulle. A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems. SIAM Journal on Imaging Sciences, 2(1), 183–202, 2009.

  3. C. Chen, B. He, Y. Ye, and X. Yuan. The Direct Extension of ADMM for Multi-Block Convex Minimization Problems Is Not Necessarily Convergent. Mathematical Programming, 155, 57–79, 2016.

本讲目录

64 个源讲义内容单元 · 6 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义