MATH6015 / LECTURE 02
逼近与拟合
损失函数、最小范数与正则化
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 6
本讲的三类问题
MATH6015 / CONVEX OPTIMIZATION
01
范数逼近
范数逼近
基本问题(norm approximation)
令 为残差(residual)。目标是在给定范数下,使模型输出 尽可能接近数据 。
该问题是凸优化问题,且总有最优解。
最优值为零当且仅当 。
线性组合与回归
将 的列写为 ,则 范数逼近是在 的列向量张成的空间中,寻找最接近 的线性组合。
在回归(regression)语言中:
称为回归变量(regressor);
最优的 称为 关于这些 regressors 的 regression;
是第 个 individual residual。
实验|同一条等式,ℓ₁ 和 ℓ₂ 怎样选解?
可交互正在准备交互图…
两个测量系数绝对值相等时,ℓ₁ 解为什么可能不唯一?
四种解释
到值域的投影
设 。令 ,原问题等价于
因此最优模型输出是 在 上的范数投影。若采用 范数,残差与子空间正交;其他范数下投影的几何性质会改变。
加权残差
加权范数逼近(weighted norm approximation)
当 时,通常取 ,并有 较大的 表示第 个残差更重要,或该测量更可信。计算上可直接令 将其转化为普通范数逼近。
最小二乘
当使用欧氏范数时,平方不改变极小点:
一阶最优性条件给出正规方程(normal equations) 若 满列秩,则
最大残差与绝对残差
Chebyshev / minimax approximation
等价的线性规划为
Sum of absolute residuals
等价的线性规划为
控制最坏误差; 对大离群残差的惩罚较温和。
范数如何改变拟合
同一残差向量 在不同范数下被不同方式聚合:
:大残差以平方方式放大;
:逐项线性累加,常用于 robust estimation;
:直接压低最大绝对残差。
实验|把最大残差压到最小
可交互正在准备交互图…
最优解处为什么常出现多个同样大的正负残差?
罚函数逼近
对于 , 目标可等价地写为 更一般地,给每个残差配置一个凸的罚函数(penalty function):
常见罚函数
:给出 范数逼近; 为最小二乘, 为绝对残差之和。deadzone-linear(宽度
):log barrier(上界
):
同一组数据,四种目标
教材固定同一组随机生成的数据
罚函数的形状
正比例缩放
小
处 很小:没有强动力把小残差继续压低;大
处增长很快:大残差代价高; 在某个区间外为 :相应残差不可接受。
这解释了为何不同罚函数得到不同的残差分布(amplitude distribution)。
四种残差分布
同一组
这些图概括 Figure 6.2 的结构特征;柱高为定性重绘,参数与约束区间取自教材数值例。
离群点
在线性测量
考虑截断二次罚函数
Huber 罚函数
Huber penalty 在中心区域与最小二乘一致,在尾部改为线性增长:
小误差保留二次拟合的敏感性;
大误差不再以平方速度主导目标;
凸且可微,得到 robust least-squares approximation。
稳健回归
教材的数值例包含
大残差的代价由二次增长改为线性增长,因此两个离群点不再以平方代价拉偏拟合直线。
实验|一个异常点,能把拟合直线拉多远?
可交互正在准备交互图…
异常点不断增大时,哪条直线最敏感?Huber 阈值控制了什么?
与零残差
这也是
带约束的范数逼近
一般形式
约束的作用取决于语境:
逼近
排除不可接受的
估计
将参数
几何
将点
非负约束与区间约束
非负变量(nonnegative variables)
变量界(variable bounds)
实验|名义、平均与最坏情形会选同一个解吗?
可交互正在准备交互图…
随机方差与最坏扰动半径是同一个假设吗?
概率单纯形
当
范数球约束
局部可信的参数范围
可看作先验估计, 表示允许偏离的最大幅度;也可视作信赖域(trust region):若
只是非线性模型 在 附近的线性近似,则只在该球内信任它;这一思路会在正则化中再次出现。
本节结构
MATH6015 / CONVEX OPTIMIZATION
02
最小范数问题
最小范数问题
最小范数问题(least-norm problem)
只有当
时可行。这是凸优化问题;只要方程可行,最优解就存在。
不失一般性可假设
满行秩;当 时,方程少于未知量,通常有许多可行解。在全部满足
的解中,选择按给定范数最小的一个。
欠定方程的选择原则
控制与设计解释(control / design)
最小范数解以最小的输入幅度实现这些规格。
估计解释(estimation)
若先验认为“小参数比大参数更可信”,便选择范数最小的可行参数。
几何解释
可行集
当范数为
消去等式约束
设
因此原问题等价于
在零空间内移动,不改变 : 。“带等式约束的最小范数”化为“无约束的范数逼近”。
最小范数与范数逼近
Norm approximation
残差在输出空间
Least-norm problem
范数在变量空间
最小二范数解
假设
满行秩保证
最小罚函数问题
以可分离的 penalty function
假设
convex、nonnegative,且 。 表示对第 个系数幅度的代价;目标函数累计所有代价。与 §6.1 的 penalty approximation 结构相同,只是被惩罚的对象从 residual
换为 coefficient 。
范数与稀疏解
单位球的角点位于坐标轴上。仿射可行集首次接触某个缩放后的
球时,接触点常落在角点或低维面上。
稀疏支持集的枚举
若预先指定一个支持集
这说明“稀疏可行解”并不罕见。
若要在这类至多含
个非零分量的候选中寻找范数最小者,最坏需比较 个大小为 的支持集。least
-norm 提供一个凸优化 heuristic:以一次可解的凸问题寻找稀疏且小的解。
两类逼近问题
最小范数问题的两个典型结果
Euclidean norm
凸建模可作为寻找 sparse solution 的有效 heuristic。
MATH6015 / CONVEX OPTIMIZATION
03
正则化逼近
两个目标
两个范数可以不同:
Pareto 曲线的端点
小范数端
小残差端
令
标量化
将两项目标合成一个目标:
常用的平方
参数的作用
正则化的解释
同一个数学项
Tikhonov 正则化
关键性质
对任意
病态系统中的折中
设
实验|稳定性与拟合误差,如何权衡?
可交互正在准备交互图…
λ 增大为何压缩解的范数?压缩后的解一定更接近真值吗?
二阶差分平滑
若
矩阵
最优输入设计
线性动态系统的输入
三个性能指标
跟踪误差
输入幅度
输入变化
输入设计的数值设置
教材采用
三个解使用同一系统和同一目标轨迹,因此可以直接观察
正则化改变输入
输入
输出
左侧行标依次给出
正则化
与 6.2 的联系
回归变量选择
从
20 个候选变量
教材数值例取
若逐一枚举恰有
| 1 | 2 | 3 | 5 | 10 | |
|---|---|---|---|---|---|
| 20 | 190 | 1140 | 15504 | 184756 |
这说明精确 Pareto 曲线只适合小规模实例。
教材实例中,heuristic 在
稀疏度与残差
对
实线不是对组合问题最优值的普遍保证,而是用于选择候选 sparsity pattern 的 heuristic。图中
实验|ℓ₁ 正则化怎样把坐标压到零?
可交互正在准备交互图…
相关特征出现时,简单地逐坐标软阈值为何不再给出完整解?
带噪信号
一维信号的观测模型为
重建的双目标模型
:保持与观测一致; :度量粗糙程度(roughness)。
二者通常无法同时达到最小,因此仍是 Pareto trade-off。
二次平滑
令
二次平滑:一个数值实例
原信号与受污染观测
绿色:平滑信号;红色:快速变化的噪声。
最优 trade-off 曲线
左端为
二次平滑:三个折中解
过度平滑
拟合代价大,细节被抹平
折中
与原信号最接近
平滑不足
仍保留较多噪声
灰色虚线为生成该实例时的原信号;其中间解对应 Figure 6.9 的 knee 附近。
实验|惩罚曲率,会得到怎样的曲线?
可交互正在准备交互图…
惩罚趋大时,为什么估计更接近直线,而不一定趋近零?
总变差
总变差(total variation)使用同一个一阶差分矩阵
含跳变信号:二次平滑与总变差
原信号与观测
同一观测的两种恢复
灰虚线:原信号;蓝/绿实线:重建结果。二次罚会同时压低噪声与真实的快速变化,
含跳变信号:三档比较
quadratic smoothing
total variation reconstruction
灰虚线为原信号。二次平滑的中间档去噪较好,但仍钝化边缘;TV 的中间档同时保留平台与跳变。两组数字对应教材 Figures 6.12 与 6.14。
实验|保留跳跃,还是追随噪声?
可交互正在准备交互图…
TV 为什么倾向于产生平台,而不是光滑波浪?
正则化的结构
6.1
用残差定义拟合质量。
6.2
在精确约束下选择结构化解。
6.3
在带噪条件下权衡拟合与结构。
本讲回顾
带走的结构
逼近问题用残差范数表达拟合质量;不同范数对应不同的误差模型与几何。
最小范数问题在满足精确约束的解中选择结构最简单的一个。
正则化模型
在拟合与结构之间建立可调折中。二次罚倾向平滑,
罚促进稀疏,TV 罚允许少量明显跳变。
自测
若信号预期平滑、稀疏或分段常数,应分别选择什么正则项?理由是什么?
当
增大时,残差与结构罚通常怎样变化?能否从最优性条件解释这一趋势?