01 线性模型与二次目标
标定与最小二乘、Tikhonov 正则化、输入设计、信号平滑
进入本讲:光滑凸二次函数,常带 Toeplitz 或带状结构。
求解重点:条件数、步长、Newton 一步求解、预条件与单步计算成本。
方向、步长、曲率与计算代价
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Convex Optimization, Chapter 9
MATH6015 / CONVEX OPTIMIZATION
01
第 9 章将前面建立的模型与微分工具转化为可实现、可分析的数值算法。
对二阶连续可微函数 , ,。
中值形式:对给定的 ,存在 ,使得
沿方向 的一阶变化为 。
若 ,则
两式的输出维度分别为 与 。
在开凸定义域内,取 ,并令 :
若 ,则比值 同时控制几何扁长程度与一阶方法的收敛速度。
标定与最小二乘、Tikhonov 正则化、输入设计、信号平滑
进入本讲:光滑凸二次函数,常带 Toeplitz 或带状结构。
求解重点:条件数、步长、Newton 一步求解、预条件与单步计算成本。
稳健回归、几何规划的凸形式
进入本讲:可微罚函数之和、log-sum-exp 与仿射复合。
求解重点:下降方向、回溯线搜索、梯度与 Hessian 的数值稳定性。
生产计划、网络流
进入本讲:线性目标与约束,加上对数障碍。
求解重点:自协调 Newton 法与稀疏线性代数。
测量模型为 。取 、,则
MATH6015 / CONVEX OPTIMIZATION
02
凸、二阶连续可微函数在开定义域内的最优点满足梯度为零。拖动当前点,观察切线何时变平。
正在准备交互图…
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
起点需满足
Newton 法正是反复最小化当前位置的二次模型;二次问题因而是后续方法的基准。
设
松弛量等于“法向量长度
设
考虑仿射矩阵不等式
两个特征值为
正在准备交互图…
一维示例:
正在准备交互图…
二次型的等高椭球沿 Hessian 特征方向的半轴与特征值平方根成反比。
由于本讲的
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
对固定
将强凸下界用于
梯度小不仅意味着目标值接近最优,也限制了变量离最优点的距离。
若存在两个最优点,将任一个代入距离界都得到二者距离为零;故强凸问题的最优解唯一。
强凸性使
若
沿同一特征方向,
正在准备交互图…
设
矩阵
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
岭回归在最小二乘目标上加入二次正则项;Hessian 为
正在准备交互图…
延续 Lecture 02 的 Tikhonov 正则化。令
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
对
给定
小梯度对应小次优性;
梯度法至少线性收敛;
条件数
MATH6015 / CONVEX OPTIMIZATION
03
下降方法按
实际位移为
除最优点外,要求
由凸性,
若内积为零,方向是一阶切向方向;一阶模型不能保证严格下降。
给定
选择下降方向
通过线搜索选择步长
更新
检查停止准则。
思考:不同算法的核心差别分别落在“方向”和“步长”的哪一部分?
固定当前位置与方向,将高维目标限制在定义域内的射线上:
适用于一维子问题便宜或存在解析解的情形;§9.7.1 讨论如何预计算以降低代价。
给定下降方向
令
当
返回第一个满足充分下降条件的
令
正在准备交互图…
用一个常数
平方损失
Huber 损失
Huber 损失为
由于
先缩步直到
教材建议
正在准备交互图…
总需求为
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
MATH6015 / CONVEX OPTIMIZATION
04
欧氏范数下最自然的方向是负梯度:
给定
用精确或回溯线搜索选择
当
正在准备交互图…
Lecture 02 的二次平滑在三个采样点上的最小模型为
从观测本身
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
假设
由强凸性得到
当
等高线接近圆时,负梯度直接指向中心;狭长等高线使方向在陡峭轴两侧来回切换,沿平缓轴推进很慢。
考虑
正在准备交互图…
正在准备交互图…
教材考虑
回溯线搜索:
精确线搜索。
同一起点下,两种方法都近似线性收敛;精确线搜索更快,但每步的一维优化代价也更高。
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
正在准备交互图…
对于式 (9.20):
回溯线搜索约 20 步将误差从
精确线搜索约 15 步下降约
半对数图上近似直线,对应近似几何级数衰减。
精确线搜索减少迭代次数,但实际总耗时还取决于每次线搜索的计算量。
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
教材的
回溯:约 175 次迭代下降
精确:约 140 次迭代;
后期比前期慢,反映局部条件数改变。
达到
固定
固定
参数影响通常在约两倍范围内。
令
教材实验中,对角缩放达到
误差通常近似按几何级数下降,即半对数图上接近直线。
精确线搜索常有改善,但相对回溯的收益通常有限。
收敛速度对 Hessian 或次水平集的条件数十分敏感。
MATH6015 / CONVEX OPTIMIZATION
05
一阶模型为
最优点是单位球在
两图中的梯度相同;单位球改变后,支撑点及最速下降方向随之改变。
拖动线性目标向量,比较不同单位球的接触点;取相反方向,就得到归一化最速下降方向。
正在准备交互图…
将归一化方向按对偶范数缩放:
给定
计算所选范数下的
通过精确或回溯线搜索选择
更新
检查停止准则。
精确线搜索下,方向的正比例缩放不会改变射线,因此归一化与否不影响下一迭代点。
当
对
当
令
设
每次只更新梯度绝对值最大的一个坐标,因此线搜索可显著简化,甚至得到解析更新; 这给出采用 Gauss–Southwell 选坐标规则的一种坐标下降法。
设一次回归迭代得到三个系数方向上的梯度
设一次回归迭代得到三个系数方向上的梯度
思考:若特征的物理量纲不同,直接比较
教材从矩阵缩放问题出发:
计算梯度;选择
任意范数与欧氏范数等价,存在
若知道最优点 Hessian 的正定近似
正在准备交互图…
对式 (9.20),教材比较
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
正在准备交互图…
误差曲线显示
选择
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
MATH6015 / CONVEX OPTIMIZATION
06
假设当前位置的 Hessian 满足
当
若
正在准备交互图…
考虑一维带
在
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
以一维函数
正在准备交互图…
当
Hessian 在每一步根据局部曲率更新度量。靠近最优点时,
二次范数最速下降使用固定
正在准备交互图…
将驻点方程
对于
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
旋转、拉伸新坐标系。新坐标中的路径形状会改变;映回原坐标后,两条 Newton 路径重合。
正在准备交互图…
设
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
以下假设
假设
解 Newton 方程
若
用回溯线搜索选择
实际计算解线性方程组,不显式形成 Hessian 的逆矩阵。§9.7 将讨论分解与结构利用。
在初始次水平集
最小曲率;保证唯一解与 Hessian 可逆。
最大曲率;控制安全步长与模型上界。
曲率随位置变化的速度;衡量二次模型在局部的可信范围。
二次函数满足
存在
由 Hessian 上界与
Hessian 的 Lipschitz 性给出沿 Newton 方向的三阶余项上界:
完整 Newton 步满足
进入局部阶段后,正确数字的位数近似每步翻倍;高精度通常只需再进行少量迭代。
阻尼阶段的步数至多
正在准备交互图…
对式 (9.20) 使用 Newton 法与回溯线搜索,
虚线给出目标函数的次水平集,蓝线给出 Newton 轨迹; 每一步的局部二次模型使方向自动适配当前位置的曲率。
约 5 步达到很高精度;
最后一步将误差从约
局部二次收敛清晰可见。
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
教材对式 (9.21) 的
回溯约 8 步达到高精度;
精确线搜索只快约 1 步;
回溯线搜索前两步各回退一次,之后均接受
教材建议常用
教材进一步考虑
约 13 步阻尼/近线性阶段;
再用 4–5 步达到极高精度;
变量维数大幅增加,迭代次数只温和变化;
每步代价则取决于稀疏线性代数。
对式 (9.22) 的缩放族,
Newton 步、decrement、线搜索和停止准则都保持仿射不变。
坐标缩放仍会影响线性方程求解的数值稳定性;它对 Newton 法主要是线性代数问题。
式 (9.21) 模型的二维教学实例。原书的一百维、一万维结果保留在前页;本页重新计算二维轨迹。
正在准备交互图…
通常收敛快,局部二次收敛;
仿射不变,对坐标缩放不敏感;
在教材的结构化实例中,迭代次数随维数增长较温和;
对线搜索参数不太敏感。
形成并存储 Hessian;
求解
大规模问题必须利用带状、稀疏或低秩结构。
经典分析仍依赖未知的
MATH6015 / CONVEX OPTIMIZATION
07
在 Newton 法的通常分析中,收敛界依赖强凸常数及 Hessian 的 Lipschitz 常数;这些常数往往未知,且会随坐标缩放而改变。
自协调性(self-concordance)以三阶导数和二阶导数的相对关系刻画函数的局部形状。它带来:
仿射坐标变化下不变的 Newton decrement;
不含未知曲率常数的停止准则与迭代复杂度;
对数障碍(log barrier)和
定义在开区间
它不是单纯限制
常数
线性与凸二次函数的三阶导数为零,因此自协调。
对定义在开凸域
以一维仿射变化
正在准备交互图…
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
若
若
若
前两条使许多可加的障碍项可直接组合;第三条将一维
若凸函数
教材给出满足条件的
复合规则可识别出下列自协调障碍:
复合规则可识别出下列自协调障碍:
非线性边界也可由同一规则处理。
复合规则可识别出下列自协调障碍:
正在准备交互图…
回到 Lecture 01C 的生产计划:收益为
定义域是原问题的严格可行域。
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。
对严格凸自协调函数
它是最陡下降的一阶收益,以当前位置的曲率度量;仿射变量代换下数值不变。
对一维严格凸自协调函数,自协调条件等价地给出
这组界解释了局部范数的作用:只要移动距离相对于
在多维情形,沿
对严格凸自协调函数,若
二次模型给出的估计为
设
若
若
在上一页的假设下, 阻尼阶段最多需要
对线性不等式的 log barrier,教材实验采用
MATH6015 / CONVEX OPTIMIZATION
08
线搜索反复评价同一条射线上的函数
若
对
直接计算:约
先计算
当
正在准备交互图…
设
预计算之后,每次函数或导数评价仅需
形成
若 Hessian 是稠密且无结构的,Newton 步总成本约为
Lecture 02 的最优输入设计取
该模型是严格凸二次问题;这里追踪 Hessian 中每一项的来源。
其 Hessian 为
若
这种结构意味着变量
设每个
带宽恒为
可预先选择置换
若
梯度法使用欧氏几何;
最速下降法显式选择范数;
Newton 法以 Hessian 作为局部度量。
精确线搜索给出基准;回溯线搜索只需函数值。条件数决定一阶法的线性收敛速度,Newton 法靠近最优点后进入二次收敛阶段。
强凸性与 Hessian 的 Lipschitz 条件给出经典分析;自协调性用局部曲率给出仿射不变的停止准则与复杂度界。
一次迭代的价值同时取决于迭代次数和单步成本。预计算、Cholesky 分解以及带状、稀疏、低秩结构决定 Newton 法能否扩展到大规模问题。
正在准备交互图…
本讲结束
原讲义中引用的迭代次数是教材实验的报告值;交互图按当前参数重新计算,二者不必相同。