MATH6015 / 逼近与拟合

MATH6015 / LECTURE 02

逼近与拟合

损失函数、最小范数与正则化

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 6

Boyd & Vandenberghe · Chapter 61 / 70

本讲的三类问题

导览Boyd & Vandenberghe, Chapter 6, Sections 6.1–6.32 / 70

MATH6015 / CONVEX OPTIMIZATION

01

范数逼近

MATH6015 · Lecture 023 / 70

范数逼近

基本问题(norm approximation)

minimize x ∈ R n ‖ A x − b ‖ , A ∈ R m × n , b ∈ R m .

令 r = A x − b ∈ R m 为残差(residual)。目标是在给定范数下,使模型输出 A x 尽可能接近数据 b 。

  • 该问题是凸优化问题,且总有最优解。

  • 最优值为零当且仅当 b ∈ range ⁡ ( A ) 。

范数逼近Boyd & Vandenberghe, Section 6.1.14 / 70

线性组合与回归

将 A 的列写为 a 1 , … , a n ,则 A x = x 1 a 1 + ⋯ + x n a n . 范数逼近是在 A 的列向量张成的空间中,寻找最接近 b 的线性组合。

在回归(regression)语言中:

  • a j 称为回归变量(regressor);

  • 最优的 A x 称为 b 关于这些 regressors 的 regression;

  • r i 是第 i 个 individual residual。

范数逼近Boyd & Vandenberghe, Section 6.1.15 / 70

实验|同一条等式,ℓ₁ 和 ℓ₂ 怎样选解?

可交互
min x ‖ x ‖ 1 s.t.  x 1 + a x 2 = b min x ‖ x ‖ 2 s.t.  x 1 + a x 2 = b

正在准备交互图…

两个测量系数绝对值相等时,ℓ₁ 解为什么可能不唯一?

四种解释

范数逼近Boyd & Vandenberghe, Section 6.1.17 / 70

到值域的投影

设 R = range ⁡ ( A ) ⊆ R m 。令 u = A x ,原问题等价于 minimize u ‖ u − b ‖ subject to u ∈ R .

因此最优模型输出是 b 在 R 上的范数投影。若采用 ℓ 2 范数,残差与子空间正交;其他范数下投影的几何性质会改变。

范数逼近Boyd & Vandenberghe, Section 6.1.18 / 70

加权残差

加权范数逼近(weighted norm approximation)

minimize x ‖ W ( A x − b ) ‖ , W ∈ R m × m .

当 W = diag ⁡ ( w 1 , … , w m ) 时,通常取 w i > 0 ,并有 ‖ W r ‖ 2 2 = ∑ i = 1 m w i 2 r i 2 . 较大的 w i 表示第 i 个残差更重要,或该测量更可信。计算上可直接令 A ~ = W A , b ~ = W b , 将其转化为普通范数逼近。

范数逼近Boyd & Vandenberghe, Section 6.1.19 / 70

最小二乘

当使用欧氏范数时,平方不改变极小点: minimize x f ( x ) = ‖ A x − b ‖ 2 2 = x ⊤ A ⊤ A x − 2 b ⊤ A x + b ⊤ b .

∇ f ( x ) = 2 A ⊤ ( A x − b ) .

一阶最优性条件给出正规方程(normal equations) A ⊤ A x = A ⊤ b . 若 A 满列秩,则 x ⋆ = ( A ⊤ A ) − 1 A ⊤ b .

范数逼近Boyd & Vandenberghe, Section 6.1.110 / 70

最大残差与绝对残差

Chebyshev / minimax approximation

min   ‖ A x − b ‖ ∞ = min   max i | r i | . 等价的线性规划为 min x , t t s.t. − t 1 ⪯ A x − b ⪯ t 1 .

Sum of absolute residuals

min   ‖ A x − b ‖ 1 = min ∑ i | r i | . 等价的线性规划为 min x , t 1 ⊤ t s.t. − t ⪯ A x − b ⪯ t .

ℓ ∞ 控制最坏误差; ℓ 1 对大离群残差的惩罚较温和。

范数逼近Boyd & Vandenberghe, Section 6.1.111 / 70

范数如何改变拟合

同一残差向量 r = ( r 1 , … , r m ) 在不同范数下被不同方式聚合: ‖ r ‖ 1 = ∑ i | r i | , ‖ r ‖ 2 2 = ∑ i r i 2 , ‖ r ‖ ∞ = max i | r i | .

  • ℓ 2 :大残差以平方方式放大;

  • ℓ 1 :逐项线性累加,常用于 robust estimation;

  • ℓ ∞ :直接压低最大绝对残差。

范数逼近Boyd & Vandenberghe, Section 6.1.112 / 70

实验|把最大残差压到最小

可交互
min a , b , t t s.t. − t ≤ a u i + b − y i ≤ t , i = 1 , … , n

正在准备交互图…

最优解处为什么常出现多个同样大的正负残差?

罚函数逼近

对于 1 ≤ p < ∞ , ℓ p 目标可等价地写为 ∑ i = 1 m | r i | p . 更一般地,给每个残差配置一个凸的罚函数(penalty function) ϕ : ( 6.2 ) minimize x , r ∑ i = 1 m ϕ ( r i ) subject to r = A x − b .

ϕ 为凸函数即可保证问题为凸;常见但非必要的附加性质是对称、非负且 ϕ ( 0 ) = 0 。

范数逼近Boyd & Vandenberghe, Section 6.1.214 / 70

常见罚函数

  • ϕ ( u ) = | u | p :给出 ℓ p 范数逼近; p = 2 为最小二乘, p = 1 为绝对残差之和。

  • deadzone-linear(宽度 a > 0 ): ϕ ( u ) = { 0 , | u | ≤ a , | u | − a , | u | > a .

  • log barrier(上界 a > 0 ): ϕ ( u ) = { − a 2 log ⁡ ( 1 − ( u / a ) 2 ) , | u | < a , + ∞ , | u | ≥ a .

范数逼近Boyd & Vandenberghe, Section 6.1.2, Example 6.115 / 70

同一组数据,四种目标

教材固定同一组随机生成的数据 A ∈ R 100 × 30 , b ∈ R 100 , 分别求解 min x   ∑ i = 1 100 ϕ ( ( A x − b ) i ) . 矩阵与观测保持不变,只有 ϕ 改变。因此,最优残差分布的差异可以直接归因于罚函数的形状。

范数逼近Boyd & Vandenberghe, Section 6.1.2, numerical example preceding Figure 6.216 / 70

罚函数的形状

正比例缩放 ϕ 不改变极小点,但形状改变不同幅度残差之间的相对权重:

  • 小 | u | 处 ϕ 很小:没有强动力把小残差继续压低;

  • 大 | u | 处增长很快:大残差代价高;

  • ϕ 在某个区间外为 + ∞ :相应残差不可接受。

这解释了为何不同罚函数得到不同的残差分布(amplitude distribution)。

范数逼近Boyd & Vandenberghe, Section 6.1.217 / 70

四种残差分布

同一组 A ∈ R 100 × 30 、 b ∈ R 100 下,罚函数改变了最优残差的 amplitude distribution。

这些图概括 Figure 6.2 的结构特征;柱高为定性重绘,参数与约束区间取自教材数值例。

范数逼近Boyd & Vandenberghe, Section 6.1.2, Figure 6.2(定性重绘)18 / 70

离群点

在线性测量 y i = a i ⊤ x + v i 中,离群点(outlier)对应异常大的 | v i | 。理想上希望降低其影响。

考虑截断二次罚函数 ( 6.3 ) ϕ tr ( u ) = { u 2 , | u | ≤ M , M 2 , | u | > M . 它会忽略超过阈值的残差,但不是凸函数,因此相应优化问题一般成为困难的组合优化问题。

范数逼近Boyd & Vandenberghe, Section 6.1.219 / 70

Huber 罚函数

ϕ hub ( u ) = { u 2 , | u | ≤ M , M ( 2 | u | − M ) , | u | > M .

Huber penalty 在中心区域与最小二乘一致,在尾部改为线性增长:

  • 小误差保留二次拟合的敏感性;

  • 大误差不再以平方速度主导目标;

  • ϕ hub 凸且可微,得到 robust least-squares approximation。

范数逼近Boyd & Vandenberghe, Section 6.1.2, Equation (6.4)20 / 70

稳健回归

教材的数值例包含 42 个点,其中 40 个点接近同一直线,另有两个明显离群点。拟合 f ( t ) = α + β t 时比较 min α , β ∑ i ( y i − α − β t i ) 2 与 Huber 拟合 min α , β ∑ i ϕ hub ( y i − α − β t i ) , M = 1.

| r | 0.5 2 10
r 2 0.25 4 100
ϕ h u b ( r ) 0.25 3 19

大残差的代价由二次增长改为线性增长,因此两个离群点不再以平方代价拉偏拟合直线。

范数逼近Boyd & Vandenberghe, Section 6.1.2, Example 6.2 and Figure 6.5(定性重绘)21 / 70

实验|一个异常点,能把拟合直线拉多远?

可交互
min a , b ∈ R ∑ i = 1 n ρ ( a t i + b − y i )

正在准备交互图…

异常点不断增大时,哪条直线最敏感?Huber 阈值控制了什么?

ℓ 1 与零残差

ℓ 1 罚函数 ϕ ( u ) = | u | 在零点附近的相对权重高于二次罚函数。因此, ℓ 1 范数逼近常使许多残差恰为零或非常小: min x ‖ A x − b ‖ 1 ⟹ a i ⊤ x = b i 对许多  i  成立 .

这也是 ℓ 1 估计常被称为 robust estimation 的一个侧面:少数大残差可以由疑似异常观测承担。

范数逼近Boyd & Vandenberghe, Section 6.1.223 / 70

带约束的范数逼近

一般形式

minimize x ‖ A x − b ‖ subject to x ∈ C , 其中 C 为凸集时,整个问题仍为凸优化问题。

约束的作用取决于语境:

逼近

排除不可接受的 A x ,或要求近似结果满足额外结构。

估计

将参数 x 或测量误差的先验知识写成可行域。

几何

将点 b 投影到比线性子空间更一般的集合,例如锥或多面体。

范数逼近Boyd & Vandenberghe, Section 6.1.324 / 70

非负约束与区间约束

非负变量(nonnegative variables)

min   ‖ A x − b ‖ s.t. x ⪰ 0 . 适用于功率、强度、速率等本身非负的量。几何上,这是将 b 投影到 A 的列向量生成的锥上。

变量界(variable bounds)

min   ‖ A x − b ‖ s.t. ℓ ⪯ x ⪯ u . 在估计中, ℓ , u 表示已知的物理范围;几何上, b 被投影到一个 box 经 A 映射后的集合上。

范数逼近Boyd & Vandenberghe, Section 6.1.325 / 70

实验|名义、平均与最坏情形会选同一个解吗?

可交互
名义: min x ‖ A 0 x − b ‖ 2 2 随机: min x ‖ A 0 x − b ‖ 2 2 + 2 σ 2 ‖ x ‖ 2 2 最坏: min x ‖ A 0 x − b ‖ 2 + ρ ‖ x ‖ 2

正在准备交互图…

随机方差与最坏扰动半径是同一个假设吗?

概率单纯形

当 x 表示比例或相对频率时,约束为 x ⪰ 0 , 1 ⊤ x = 1. 于是 A x = x 1 a 1 + ⋯ + x n a n 是 A 的列向量的凸组合。因此,此问题是在 conv ⁡ { a 1 , … , a n } 中逼近 b 。

范数逼近Boyd & Vandenberghe, Section 6.1.327 / 70

范数球约束

局部可信的参数范围

min   ‖ A x − b ‖ s.t. ‖ x − x 0 ‖ ≤ d .

  • x 0 可看作先验估计, d 表示允许偏离的最大幅度;

  • 也可视作信赖域(trust region):若 A x 只是非线性模型 f ( x ) 在 x 0 附近的线性近似,则只在该球内信任它;

  • 这一思路会在正则化中再次出现。

范数逼近Boyd & Vandenberghe, Section 6.1.328 / 70

本节结构

范数逼近Boyd & Vandenberghe, Sections 6.1.1–6.1.329 / 70

MATH6015 / CONVEX OPTIMIZATION

02

最小范数问题

MATH6015 · Lecture 0230 / 70

最小范数问题

最小范数问题(least-norm problem)

minimize x ∈ R n ‖ x ‖ subject to A x = b .

  • 只有当 b ∈ range ⁡ ( A ) 时可行。

  • 这是凸优化问题;只要方程可行,最优解就存在。

  • 不失一般性可假设 A 满行秩;当 m < n 时,方程少于未知量,通常有许多可行解。

  • 在全部满足 A x = b 的解中,选择按给定范数最小的一个。

最小范数问题Boyd & Vandenberghe, Section 6.2, equation (6.5)31 / 70

欠定方程的选择原则

控制与设计解释(control / design)

x 是设计变量或控制输入, A x = b 是必须满足的规格。
最小范数解以最小的输入幅度实现这些规格。

估计解释(estimation)

A x = b 是 m < n 个无噪声测量;它们不足以唯一确定参数 x 。
若先验认为“小参数比大参数更可信”,便选择范数最小的可行参数。

最小范数问题Boyd & Vandenberghe, Section 6.232 / 70

几何解释

可行集 F = { x ∈ R n ∣ A x = b } 是一个仿射集。最小范数问题是在 F 内寻找离原点最近的点: x ⋆ ∈ argmin x ∈ F ⁡ ‖ x − 0 ‖ .

当范数为 ℓ 2 范数时, x ⋆ 是原点到 F 的正交投影;投影方向与仿射集平行方向正交。

最小范数问题Boyd & Vandenberghe, Section 6.2, geometric interpretation33 / 70

消去等式约束

设 x 0 是 A x = b 的任一特解, Z 的列构成 null ⁡ ( A ) 的一组基。则全部可行解恰好为 x = x 0 + Z u , u ∈ R k .

因此原问题等价于 minimize u ∈ R k ‖ x 0 + Z u ‖ .

  • Z u 在零空间内移动,不改变 A x : A Z u = 0 。

  • “带等式约束的最小范数”化为“无约束的范数逼近”。

最小范数问题Boyd & Vandenberghe, Section 6.2, reformulation as norm approximation34 / 70

最小范数与范数逼近

Norm approximation

minimize x ⁡   ‖ A x − b ‖ . 给定目标 b ,在 range ⁡ ( A ) 中寻找最接近它的输出。
残差在输出空间 R m 中度量。

Least-norm problem

minimize x ⁡   ‖ x ‖ subject to  A x = b . 在精确满足目标的输入中选择最小者。
范数在变量空间 R n 中度量。

最小范数问题Boyd & Vandenberghe, Sections 6.1 and 6.235 / 70

最小二范数解

假设 A ∈ R m × n 满行秩且 m < n 。对 minimize x ⁡   ‖ x ‖ 2 2 subject to A x = b 引入乘子 ν ∈ R m 。

2 x ⋆ + A ⊤ ν ⋆ = 0 , A x ⋆ = b .

满行秩保证 A A ⊤ ≻ 0 ,因而下式可逆。 x ⋆ = − 1 2 A ⊤ ν ⋆ , − 1 2 A A ⊤ ν ⋆ = b .   x ⋆ = A ⊤ ( A A ⊤ ) − 1 b   .

最小范数问题Boyd & Vandenberghe, Section 6.2, least-squares solution of linear equations36 / 70

最小罚函数问题

以可分离的 penalty function ϕ 替换范数: minimize x ϕ ( x 1 ) + ⋯ + ϕ ( x n ) subject to A x = b .

  • 假设 ϕ convex、nonnegative,且 ϕ ( 0 ) = 0 。

  • ϕ ( x i ) 表示对第 i 个系数幅度的代价;目标函数累计所有代价。

  • 与 §6.1 的 penalty approximation 结构相同,只是被惩罚的对象从 residual r i 换为 coefficient x i 。

最小范数问题Boyd & Vandenberghe, Section 6.2, equation (6.6)37 / 70

ℓ 1 范数与稀疏解

minimize x ⁡   ‖ x ‖ 1 subject to A x = b . 当 A ∈ R m × n 满行秩且 m < n 时,least ℓ 1 -norm problem 倾向于给出许多分量为零的解(sparse solution)。

  • ℓ 1 单位球的角点位于坐标轴上。

  • 仿射可行集首次接触某个缩放后的 ℓ 1 球时,接触点常落在角点或低维面上。

最小范数问题Boyd & Vandenberghe, Section 6.2, sparse solutions via least ℓ 1 -norm38 / 70

稀疏支持集的枚举

若预先指定一个支持集 S ⊆ { 1 , … , n } , | S | = m ,并令其余分量为零,则 A S x S = b . 若 A S 可逆,就得到一个至多含 m 个非零分量的可行解。

  • 这说明“稀疏可行解”并不罕见。

  • 若要在这类至多含 m 个非零分量的候选中寻找范数最小者,最坏需比较 ( n m ) 个大小为 m 的支持集。

  • least ℓ 1 -norm 提供一个凸优化 heuristic:以一次可解的凸问题寻找稀疏且小的解。

最小范数问题Boyd & Vandenberghe, Section 6.2, sparse solutions via least ℓ 1 -norm39 / 70

两类逼近问题

最小范数问题的两个典型结果

Euclidean norm x ⋆ = A ⊤ ( A A ⊤ ) − 1 b ( A  满行秩 ) .

ℓ 1 norm

凸建模可作为寻找 sparse solution 的有效 heuristic。

最小范数问题Boyd & Vandenberghe, Section 6.240 / 70

MATH6015 / CONVEX OPTIMIZATION

03

正则化逼近

MATH6015 · Lecture 0241 / 70

两个目标

minimize x ( ‖ A x − b ‖ ,   ‖ x ‖ ) with respect to  R + 2 . 第一个目标衡量拟合误差(residual norm),第二个目标衡量解的大小。

两个范数可以不同: ‖ A x − b ‖   定义在  R m , ‖ x ‖   定义在  R n .

正则化逼近Boyd & Vandenberghe, Section 6.3.142 / 70

Pareto 曲线的端点

小范数端

x = 0 ⟹ ( ‖ A x − b ‖ , ‖ x ‖ ) = ( ‖ b ‖ , 0 ) .

小残差端

令 C = argmin x   ‖ A x − b ‖ . 在 C 中选择最小范数点。若两项均为 ℓ 2 范数, 该点唯一,为 A † b 。

正则化逼近Boyd & Vandenberghe, Section 6.3.143 / 70

标量化

将两项目标合成一个目标: ( 6.8 ) minimize x ‖ A x − b ‖ + γ ‖ x ‖ , γ > 0 .

常用的平方 ℓ 2 形式为 ( 6.9 ) minimize x ‖ A x − b ‖ 2 2 + δ ‖ x ‖ 2 2 , δ > 0 .

参数的作用

γ 或 δ 增大时,模型更偏好较小的 x ,允许较大的拟合误差。

正则化逼近Boyd & Vandenberghe, Section 6.3.244 / 70

正则化的解释

同一个数学项 γ ‖ x ‖ 可以来自统计先验、设计代价或局部模型的适用范围; 选择它之前需要说明其物理含义。

正则化逼近Boyd & Vandenberghe, Section 6.3.245 / 70

Tikhonov 正则化

( 6.10 ) minimize x ‖ A x − b ‖ 2 2 + δ ‖ x ‖ 2 2 = x ⊤ ( A ⊤ A + δ I ) x − 2 b ⊤ A x + b ⊤ b . 一阶条件给出 ( A ⊤ A + δ I ) x = A ⊤ b , x δ = ( A ⊤ A + δ I ) − 1 A ⊤ b .

关键性质

对任意 δ > 0 , A ⊤ A + δ I ≻ 0 。 因此不要求 A 满列秩,也不要求 m 与 n 之间有特定关系。

正则化逼近Boyd & Vandenberghe, Section 6.3.246 / 70

病态系统中的折中

设 A 在某个方向上的增益很小。为了使 A x 匹配 b , 最小二乘解可能在该方向取很大的系数。 min x   ‖ A x − b ‖ 2 2 ⇝ 小残差 但相应的 ‖ x ‖ 2 可能很大。 Tikhonov 正则化不再强迫精确匹配,而是限制该放大效应。

正则化逼近Boyd & Vandenberghe, Section 6.3.2;病态情形的定性示意47 / 70

实验|稳定性与拟合误差,如何权衡?

可交互
min x ∈ R 2 ‖ A x − b ‖ 2 2 + λ ‖ x ‖ 2 2 x λ = ( A T A + λ I ) − 1 A T b

正在准备交互图…

λ 增大为何压缩解的范数?压缩后的解一定更接近真值吗?

二阶差分平滑

若 x i 表示区间 [ 0 , 1 ] 上的采样值,则 ( Δ x ) i = n 2 ( x i + 1 − 2 x i + x i − 1 ) , i = 2 , … , n − 1 , 近似二阶导数。 Δ x 小意味着曲率小。 minimize x ‖ A x − b ‖ 2 2 + δ ‖ Δ x ‖ 2 2 + η ‖ x ‖ 2 2 .

矩阵 Δ 是带状的;投影时只展示局部结构: Δ   ∝   [ 1 − 2 1 1 − 2 1 ⋱ ⋱ ⋱ ] .

正则化逼近Boyd & Vandenberghe, Section 6.3.249 / 70

最优输入设计

线性动态系统的输入 u ( 0 ) , … , u ( N ) 与输出满足卷积关系 y ( t ) = ∑ τ = 0 t h ( τ ) u ( t − τ ) , t = 0 , … , N . 其中 h 是 impulse response(卷积核)。目标是选择输入信号,使输出尽量跟踪 y d e s 。

正则化逼近Boyd & Vandenberghe, Example 6.350 / 70

三个性能指标

跟踪误差

J t r a c k = 1 N + 1 ∑ t = 0 N ( y ( t ) − y d e s ( t ) ) 2 .

输入幅度

J m a g = 1 N + 1 ∑ t = 0 N u ( t ) 2 .

输入变化

J d e r = 1 N ∑ t = 0 N − 1 ( u ( t + 1 ) − u ( t ) ) 2 .

minimize u J t r a c k + δ J d e r + η J m a g , δ , η ≥ 0 .

正则化逼近Boyd & Vandenberghe, Example 6.351 / 70

输入设计的数值设置

教材采用 N = 200 。对 t = 0 , … , 200 ,系统的 impulse response 为 h ( t ) = 1 9 ( 0.9 ) t ( 1 − 0.4 cos ⁡ ( 2 t ) ) .

三个解使用同一系统和同一目标轨迹,因此可以直接观察 η 与 δ 分别对幅度和变化速度的作用。

正则化逼近Boyd & Vandenberghe, Example 6.3 and Figure 6.6(定性重绘)52 / 70

正则化改变输入

输入 u ( t )

输出 y ( t )

左侧行标依次给出 ( δ , η ) 。增大 η 降低输入幅度;再增大 δ 抑制快速变化,而输出跟踪只进一步损失少量精度。

正则化逼近Boyd & Vandenberghe, Example 6.3 and Figure 6.6(定性重绘)53 / 70

ℓ 1 正则化

( 6.11 ) minimize x ‖ A x − b ‖ 2 + γ ‖ x ‖ 1 . 该问题在保持拟合能力的同时,倾向于使许多 x i 恰为零。

与 6.2 的联系

min   ‖ x ‖ 1 s.t. A x = b 是在精确拟合条件下选择稀疏解;式 (6.11) 允许带噪的近似拟合。

正则化逼近Boyd & Vandenberghe, Section 6.3.254 / 70

回归变量选择

从 n 个候选 regressors 中选择 k < n 个: minimize x ‖ A x − b ‖ 2 subject   to card ⁡ ( x ) ≤ k . 这是组合问题:固定一个 sparsity pattern 后可解最小二乘, 若枚举恰好含 k 个变量的模式,候选数为 ( n k ) = n ! k ! ( n − k ) ! . 约束 card ⁡ ( x ) ≤ k 的全部支持集共有 ∑ j = 0 k ( n j ) 种。

正则化逼近Boyd & Vandenberghe, Example 6.455 / 70

20 个候选变量

教材数值例取 A ∈ R 10 × 20 , x ∈ R 20 , b ∈ R 10 .

若逐一枚举恰有 k 个非零元素的 support,最小二乘问题的数量为 ( 20 k ) .

k 1 2 3 5 10
( 20 k ) 20 190 1140 15504 184756

这说明精确 Pareto 曲线只适合小规模实例。

教材实例中,heuristic 在 card ⁡ ( x ) = 1 时恰好命中全局最优点;对其他稀疏度没有这一保证。

正则化逼近Boyd & Vandenberghe, Example 6.4 and Figure 6.756 / 70

稀疏度与残差

对 A ∈ R 10 × 20 ,精确枚举给出全局 Pareto 曲线; 改变 γ 的 ℓ 1 正则则给出可计算的近似曲线。

实线不是对组合问题最优值的普遍保证,而是用于选择候选 sparsity pattern 的 heuristic。图中 k = 1 的两点重合。

正则化逼近Boyd & Vandenberghe, Example 6.4 and Figure 6.7(定性重绘)57 / 70

实验|ℓ₁ 正则化怎样把坐标压到零?

可交互
min x 1 2 ( x − c ) T H ( x − c ) + λ ‖ x ‖ 1 H = ( 1 ρ ρ 1 ) , | ρ | < 1

正在准备交互图…

相关特征出现时,简单地逐坐标软阈值为何不再给出完整解?

带噪信号

一维信号的观测模型为 x c o r = x + v . x 通常平滑或分段平滑; v 是未知的、快速变化的噪声。 目标是从 x c o r 恢复 x ,这一过程称为 reconstruction、de-noising 或 smoothing。

正则化逼近Boyd & Vandenberghe, Section 6.3.359 / 70

重建的双目标模型

( 6.12 ) minimize x ^ ( ‖ x ^ − x c o r ‖ 2 ,   ϕ ( x ^ ) ) , ϕ   convex .

  • ‖ x ^ − x c o r ‖ 2 :保持与观测一致;

  • ϕ ( x ^ ) :度量粗糙程度(roughness)。

二者通常无法同时达到最小,因此仍是 Pareto trade-off。

正则化逼近Boyd & Vandenberghe, Section 6.3.360 / 70

二次平滑

令 D ∈ R ( n − 1 ) × n 为一阶差分矩阵: D x ^ = [ x ^ 2 − x ^ 1 x ^ 3 − x ^ 2 ⋮ x ^ n − x ^ n − 1 ] , ϕ q u a d ( x ^ ) = ‖ D x ^ ‖ 2 2 . minimize x ^ ‖ x ^ − x c o r ‖ 2 2 + δ ‖ D x ^ ‖ 2 2 . 其解为 x ^ = ( I + δ D ⊤ D ) − 1 x c o r .

正则化逼近Boyd & Vandenberghe, Section 6.3.361 / 70

二次平滑:一个数值实例

原信号与受污染观测

绿色:平滑信号;红色:快速变化的噪声。

最优 trade-off 曲线

左端为 x ^ = x c o r ;右端为 x ^ = 0 。

正则化逼近Boyd & Vandenberghe, Section 6.3.3, Figures 6.8–6.9(定性重绘)62 / 70

二次平滑:三个折中解

过度平滑

‖ x ^ − x c o r ‖ 2 = 8
拟合代价大,细节被抹平

折中

‖ x ^ − x c o r ‖ 2 = 3
与原信号最接近

平滑不足

‖ x ^ − x c o r ‖ 2 = 1
仍保留较多噪声

灰色虚线为生成该实例时的原信号;其中间解对应 Figure 6.9 的 knee 附近。

正则化逼近Boyd & Vandenberghe, Section 6.3.3, Figure 6.10(定性重绘)63 / 70

实验|惩罚曲率,会得到怎样的曲线?

可交互
min x 1 2 ‖ x − y ‖ 2 2 + λ 2 ‖ D 2 x ‖ 2 2 x ∗ = ( I + λ D 2 T D 2 ) − 1 y

正在准备交互图…

惩罚趋大时,为什么估计更接近直线,而不一定趋近零?

总变差

总变差(total variation)使用同一个一阶差分矩阵 D ,但改用 ℓ 1 范数: ϕ t v ( x ^ ) = ∑ i = 1 n − 1 | x ^ i + 1 − x ^ i | = ‖ D x ^ ‖ 1 . minimize x ^ ‖ x ^ − x c o r ‖ 2 2 + δ ‖ D x ^ ‖ 1 . 对于偶尔出现的大跳变,线性而非二次的惩罚通常更合适。

正则化逼近Boyd & Vandenberghe, Section 6.3.365 / 70

含跳变信号:二次平滑与总变差

原信号与观测 n = 2000

同一观测的两种恢复

灰虚线:原信号;蓝/绿实线:重建结果。二次罚会同时压低噪声与真实的快速变化, ℓ 1 差分罚允许少量大跳变。

正则化逼近Boyd & Vandenberghe, Section 6.3.3, Figures 6.11–6.14(定性重绘)66 / 70

含跳变信号:三档比较

quadratic smoothing

total variation reconstruction

灰虚线为原信号。二次平滑的中间档去噪较好,但仍钝化边缘;TV 的中间档同时保留平台与跳变。两组数字对应教材 Figures 6.12 与 6.14。

正则化逼近Boyd & Vandenberghe, Section 6.3.3, Figures 6.12–6.14(定性重绘)67 / 70

实验|保留跳跃,还是追随噪声?

可交互
min x ∈ R n 1 2 ∑ i = 1 n ( x i − y i ) 2 + λ ∑ i = 1 n − 1 | x i + 1 − x i |

正在准备交互图…

TV 为什么倾向于产生平台,而不是光滑波浪?

正则化的结构

6.1

用残差定义拟合质量。

6.2

在精确约束下选择结构化解。

6.3

在带噪条件下权衡拟合与结构。

正则化逼近Boyd & Vandenberghe, Sections 6.1–6.369 / 70

本讲回顾

带走的结构

  1. 逼近问题用残差范数表达拟合质量;不同范数对应不同的误差模型与几何。

  2. 最小范数问题在满足精确约束的解中选择结构最简单的一个。

  3. 正则化模型 min x ℓ ( A x − b ) + λ ϕ ( x ) 在拟合与结构之间建立可调折中。

  4. 二次罚倾向平滑, ℓ 1 罚促进稀疏,TV 罚允许少量明显跳变。

自测

  1. 若信号预期平滑、稀疏或分段常数,应分别选择什么正则项?理由是什么?

  2. 当 λ 增大时,残差与结构罚通常怎样变化?能否从最优性条件解释这一趋势?

本讲目录

58 个源讲义内容单元 · 8 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义