MATH6015 / LECTURE 01B
凸函数
凸性判别、保凸运算与共轭函数
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 3
MATH6015 / CONVEX OPTIMIZATION
01
函数的凸性与判别
集合与函数
Lecture 01A 讨论了凸集以及保持集合凸性的运算。本讲把同一结构用于函数:
函数的凸性同时涉及定义域与函数值: 随后比较该点的函数值与端点函数值的加权平均。
集合给出函数可以取值的区域;凸性进一步控制函数在任意线段上的变化。
本讲内容
| 章节 | 数学问题 | 主要内容 |
|---|---|---|
| §3.1 | 如何判断一个函数是否凸 | 定义、直线限制、一阶条件、二阶条件、常用函数与 Jensen 不等式 |
| §3.2 | 如何从已知凸函数构造新函数 | 加权和、仿射复合、逐点上确界、函数复合、部分最小化与透视 |
| §3.3 | 如何用斜率描述函数 | Fenchel 共轭、典型共轭对、Fenchel–Young 不等式与双共轭 |
后续 Lecture 01C 将这些结论用于识别和改写凸优化问题;Lecture 04 将共轭函数用于构造对偶问题。
凸函数
设 为凸集。函数 为凸函数 (convex function),若对任意 及 ,
若对 与 不等式严格成立,则 为 严格凸(strictly convex)。
函数图像上两点的弦线位于图像上方;严格凸时,除端点外弦线严格高于图像。
凹性与直线限制
函数 为凹函数(concave),若 凸;严格凹同理。 仿射函数 同时是凸函数和凹函数。
多元凸性的判断可沿任意直线化为一维问题。若 凸, 是区间。
扩展实值函数
若函数 只在 上定义,可将它延拓为
此后可把函数视为定义在整个 上,并用扩展实数运算自动记录定义域: 表示该点被排除,并不是数值计算中的“大数”。
示性函数
集合 的示性函数(indicator function)为 若 是凸集,则 是凸函数。
受约束极小化可改写为无显式约束的扩展值问题: 这一等式是后续近端算法和对偶理论的基本记号。
一阶条件
设 在开凸集 上可微,则
右侧是 在 处的一阶 Taylor 近似。对凸函数,它不只是局部近似, 而是 的全局仿射下界。
特别地,若 ,则 故 是全局最小点。
尖点处的支撑斜率
凸函数 在 不可微。令 ,要求它在全域内位于 的下方:
当 时,,故 ; 当 时,,故 。于是 不可微点仍有一族全局支撑斜率。
次梯度
对凸函数 与 ,向量 是 处的 次梯度(subgradient),若 全部次梯度构成次微分(subdifferential)。 对于无约束闭凸极小化,
二阶条件
设
实验|一阶和二阶模型能相信多远?
可交互正在准备交互图…
位移缩小时,两个近似的误差按什么数量级下降?
二次函数
设
基本标量函数
| 函数 | 定义域 | 凸性 |
|---|---|---|
| 凸 | ||
| | ||
| | ||
| 凹 | ||
| | 凸 |
范数与最大值
每个范数都是凸函数。对
平方除以线性项
此函数也可写为
log-sum-exp
令
若干重要函数
几何平均
对数行列式
负熵
下水平集
函数
该性质常用于证明约束集凸性,例如
逆命题不成立:
上图集与下水平集
上图集:
实验|凸函数的上图为什么是凸集?
可交互正在准备交互图…
温度趋于零时,平滑函数与 |x| 的距离怎样变化?
Jensen 不等式
若
对零均值随机扰动
实验|函数图像在弦的哪一侧?
可交互正在准备交互图…
换成 log(x) 或双阱函数后,弦与图像的关系怎样改变?
MATH6015 / CONVEX OPTIMIZATION
02
保凸运算
保凸运算
从已知凸函数构造新凸函数的主要运算包括:
| 运算 | 保凸条件 |
|---|---|
| 非负加权和 | |
| 仿射复合 | |
| 逐点上确界 | |
| 函数复合 | 外函数的单调性与内函数的凸/凹性匹配 |
| 部分最小化 | |
| 透视 |
这些规则把有限个基本函数组合为工程模型的目标与约束。
非负加权和
若
加权最小二乘
仿射复合
若
传感器标定可写为
逐点最大值
若
标量复合
令
复合规则的例子
向量复合
设
两个常用的外层函数
例如
若
部分最小化
若
取非空闭凸集
透视函数
函数
对
对
实验|为什么 x²/t 在 t>0 上仍然凸?
可交互正在准备交互图…
固定 t 的截面与固定 x 的截面分别是什么曲线?
MATH6015 / CONVEX OPTIMIZATION
03
共轭函数
共轭函数
扩展实值函数
对固定
共轭将函数的“自变量”解释为一个斜率或价格向量。
共轭为何凸
对每个固定的
这一定义不要求
二次函数的共轭
令
指数与负熵
对
示性函数与支持函数
对任意非空集合
因此,共轭将“集合约束”转化为“沿方向
范数的共轭
令
原因是 Hölder 不等式给出
对二范数,
Fenchel–Young 不等式
由共轭定义可直接得到,对任意
对于
实验|把斜率当作变量,构造共轭函数
可交互正在准备交互图…
为什么最优接触点满足 f′(x)=y?指数函数的共轭定义域是什么?
双共轭与梯度
若
若
共轭的运算规则
设
本讲总结
| 结构 | 判别或构造 | 后续用途 |
|---|---|---|
| 凸函数 | 弦线条件;一阶全局下界;Hessian 半正定 | 目标函数与不等式约束的凸性 |
| 保凸运算 | 非负加权和、仿射复合、逐点上确界、复合、部分最小化与透视 | 从基本函数建立可验证的模型 |
| Fenchel 共轭 | 仿射下界、对偶变量与对偶问题 |
本讲回顾
带走的结构
凸函数可由弦线条件、epigraph、一阶全局下界或二阶半正定性判别。
非负加权和、仿射复合、逐点上确界、复合、部分最小化与透视提供系统的保凸规则。
Fenchel 共轭
汇集了 的全部仿射下界。Fenchel–Young 不等式与适当、闭、凸函数满足的
把原函数、共轭和梯度关系连接起来。
自测
给定一个复合表达式,能否逐步指出每一次使用的保凸规则及其单调性条件?
能否直接从定义计算一个简单二次函数的共轭,并验证 Fenchel--Young 等号何时成立?