MATH6015 / LECTURE 07
统计估计
估计、检测、概率界与实验设计
Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 7
本讲内容
MATH6015 / CONVEX OPTIMIZATION
01
前序知识与统计建模
与前序课程的连接
本讲重新解释这些对象
损失函数 ;
正则项 ;
约束集 已有统计信息;
对偶变量 矩或风险约束的边际代价。
优化模型由概率假设决定;求解仍调用前面建立的凸性与数值方法。
从数据到估计量
参数估计
分布族的形式已知,有限维参数 未知,例如均值、回归系数或协方差矩阵。
非参数估计
直接把离散分布 作为变量,用矩、概率或熵刻画已有信息。
何时得到凸问题
最大化形式
若对每个观测 ,对数似然 关于 为凹函数,并且先验约束集 为凸集,则 是凸优化问题。
最小化形式
等价地定义负对数似然 若 为凸函数,则多个独立样本对应
关键:“统计估计可由凸优化求解”依赖参数化方式;换变量常把非凸表达改成凸表达。
MATH6015 / CONVEX OPTIMIZATION
02
参数分布估计
最大似然估计
观测 来自参数为 的分布,密度记为 。最大似然估计(maximum likelihood, ML)为
变量与参数
优化变量是分布参数 ;已观测的样本 在优化问题中是固定数据。
先验约束
可表达物理范围、符号、守恒或结构信息;也可令 于 。
思考:若两个参数产生相同的最大似然值,估计是否唯一?还需要哪些结构信息?
线性测量与 IID 噪声
独立性把联合似然分解为乘积,因此
优化形式
令 ,残差 : 若 对数凹,则 为凸函数。
噪声模型决定损失函数
| 噪声密度 | (忽略常数) | ML 模型 | 残差特征 |
|---|---|---|---|
| Gaussian | 强调大残差 | ||
| Laplacian | 对离群点更稳健 | ||
| Uniform on | 或 | 所有残差有硬界 |
应用例 1:传感器偏置估计
四次标定读数为 ,模型 。比较 Gaussian 与 Laplacian 假设:
平方损失
样本均值受读数 明显拉动;这与 Gaussian 噪声的轻尾假设一致。
绝对值损失
任一中位数均最优;单个大离群点不会产生平方级影响。
实验|观测与先验,怎样决定概率估计?
可交互正在准备交互图…
全部观测都失败时,ML 会怎样?先验如何改变边界解?
损失与密度的双向解释
给定凸罚函数 ,若归一化常数有限,则可构造 因此任何可归一化的可分离罚函数逼近 都可解释为某个 IID 噪声模型下的 ML 估计。
增长快的
密度尾部衰减快,模型认为大残差极不可能,因此强烈惩罚离群点。
增长慢的
密度具有更重的尾部,模型允许少量大残差,估计通常更稳健。
建模含义:选择损失函数等价于声明残差的概率结构。
Poisson 计数模型
若 ,则 令均值由解释变量 决定:。对数据 ,忽略常数后的对数似然为 定义域要求 。每一项关于 为凹函数。
典型数据
光子到达数、事故数、呼叫次数、故障次数等非负整数计数。
与最小二乘的区别
Poisson 方差等于均值,噪声尺度随信号变化;恒方差 Gaussian 模型并不匹配。
应用例 2:事故频次与交通流量
假设某路段三天的标准化车流量为 ,事故数为 ,取 。最大似然问题为
一阶条件写为 解得 两个方程分别对应截距与斜率方向的似然平衡。
逻辑回归
二元响应 的成功概率由 给出。对样本 ,负对数似然为 log-sum-exp 为凸函数,因此 关于 凸。
参数含义
控制各特征对 log-odds 的影响, 控制基准概率。
预测与估计
优化阶段估计概率模型;阈值化 后才得到分类规则。
应用例 3:设备故障概率
令 为归一化温度,取 ,则 。
解释
时 ;温度每增加一单位,故障 odds 乘以 。
建模检查
若样本完全可分,未正则化的 ML 参数可能无有限最优解;可加入 先验或约束。
实验|分类概率怎样由优化得到?
可交互正在准备交互图…
完全可分的数据为什么可能没有有限的未正则化极大似然估计?
Gaussian 协方差估计
零均值 Gaussian 样本 的协方差为 ,样本协方差为 以 为变量的对数似然并非全局凹;改用信息矩阵 : 目标对 为凹函数。无额外约束且 时,一阶条件 给出
参数化的作用
同一统计模型在 与 下具有不同的凸性;选择变量是建模的一部分。
结构化协方差
关于协方差 的先验可转化为信息矩阵 的凸约束: 条件数界可写为存在 使 线性组合方差界 也是关于 的凸约束。
应用例 4:两通道协方差正则化
样本协方差 的条件数为 。若要求 ,可解 由于 与 条件数相同,该模型避免估计椭圆过度扁长。
未约束 ML
,两个方向的标准差比为 ;有限样本下可能非常不稳定。
结构化 ML
条件数约束牺牲部分似然,换取更稳定的逆协方差与后续判别计算。
实验|用精度矩阵把似然写成凸问题
可交互正在准备交互图…
为什么对精度矩阵凸,不代表对协方差矩阵也具有同样形式?
最大后验估计
最大后验(maximum a posteriori, MAP)把参数 也视为随机变量。Bayes 公式给出 因此
似然项
说明数据在给定参数下出现的可能性;对应数据拟合项。
先验项
说明参数在观测前的可信程度;负对数先验对应正则项。
若似然和先验均对数凹,则 MAP 是凸优化问题。
线性测量下的 MAP
在线性模型 中,若噪声密度为 、先验密度为 ,则
Gaussian 噪声与 给出
均匀噪声 与 Gaussian 先验给出 QP
无噪声测量与最小罚函数
若测量精确满足 ,MAP 估计为 若 独立同分布,,则 这正是 Lecture 02 的最小罚函数问题。
Gaussian 先验
,得到最小二范数解。
Laplacian 先验
,得到 basis pursuit,并偏好稀疏解。
应用例 5:欠定测量中的稀疏 MAP
由一个测量 恢复 。
Gaussian 先验对应 唯一解为 。
Laplacian 先验对应 在非负象限整条线段均最优;加入微小权重差即可选择端点稀疏解。
MATH6015 / CONVEX OPTIMIZATION
03
非参数分布估计
概率分布作为优化变量
随机变量 只取有限个值 ,令 所有可能分布恰好构成概率单纯形。
非参数的含义
不预先指定 Gaussian、Poisson 等分布族;直接估计每个支持点上的概率质量。
凸性基础
矩、事件概率和样本对数似然都可写成 的线性或凸函数。
矩与事件概率是线性的
对任意函数 与集合 , 因此已有信息可直接写成线性等式或不等式。例如
统计语言
已知均值、二阶矩和事件概率上界。
优化语言
概率单纯形与若干超平面的交集,仍是凸集。
非线性先验信息
方差 关于 为凹函数,因此下界 定义凸可行集。
条件概率为线性分式函数 在 时,区间约束等价于
建模检查
“下界作用于凹函数”与“上界作用于凸函数”都产生凸约束;方向写反通常破坏凸性。
熵与 KL 散度
离散熵与 Kullback–Leibler 散度为
熵下界
为凹函数,所以 是凸约束。熵越大,概率质量越分散。
KL 邻域
对 联合凸;给定参考分布 时, 是凸约束。
约定 ;若 ,则 。
概率与期望的最坏情形界
设先验信息定义凸集合 。对函数 ,所有相容分布下的精确下界由 给出;最大化则给出上界。事件概率只需取 。
不是估计一个分布
目标是在所有相容分布中寻找使关注量最小或最大的分布。
鲁棒统计解释
最优值是由现有信息保证的最紧界;最优分布是达到该界的对抗性分布。
离散分布的 ML 估计
观察 个独立样本,支持点 出现 次,。对数似然为 带先验信息的 ML 问题为
仅有单纯形约束
拉格朗日条件给出 ,即经验频率。
加入矩或形状约束
估计不再等于经验频率,但仍可由凹最大化稳定求解。
当 时最优解必须满足 ,否则对数似然为 。
最大熵与最小 KL
在相容集合 中,可用两种准则选择单一分布:
最大熵
不引入约束之外的集中结构;在只有归一化约束时得到均匀分布。
最小 KL
在满足新信息的前提下尽量接近参考分布 ;若 ,退化为最大熵。
实验|只知道均值,怎样选择分布?
可交互正在准备交互图…
为什么均值接近端点时,熵越来越小?
例 7.2:矩约束下的最大熵
在 上取 个等距支持点 ,寻找满足 的最大熵分布。
所有约束对 线性,因此问题为带线性约束的可分离凸优化。教材解满足
活跃约束
后面三个约束在教材最优解处取边界值,说明它们真正限制了可达到的熵。
几何
目标的等值面在概率单纯形与约束多面体的交集中寻找切点。
例 7.2:分布形状与 CDF 区间
最大熵分布的定性重绘
对每个阈值 ,分别解两个 LP: 得到 CDF 的逐点上下界。最大熵 CDF 位于界之间,但它并不等同于任一风险方向的最坏情形分布。
计算代价
若有 个阈值,需要 个结构相同的 LP,可并行求解或利用参数延续。
应用例 6:骰子的最大熵分布
设骰子点数 ,只知道 。最大熵问题为 KKT 条件给出指数族形式 其中 由均值约束确定。
结构结论
一个线性矩约束产生一个指数权重;多个矩约束产生相应充分统计量的线性组合。
数值求解
原问题可直接解,也可用一维求根确定 ;二者给出同一分布。
实验|同一个最大熵分布:原始方法与对偶方法
可交互正在准备交互图…
均值趋近端点时,概率怎样集中?为什么对偶方法在中途恢复的正分量,尚不能直接当作概率分布?
例 7.3:已知边缘分布的风险界
投资收益 、,联合概率 未知,但边缘分布已知: 总收益低于 的最坏概率由运输型 LP 给出:
为什么需要优化
边缘分布不决定相关性;不同联合分布可能产生完全不同的组合尾部风险。
与最优运输的联系
是把一个边缘分布耦合到另一个边缘分布的运输计划,目标对特定区域计费。
应用例 7:相关性未知时的损失概率
,且各自取 与 的概率均为 。关注事件 ,即 。 由边缘约束可知 ,所以
解释
独立性会给出 ,但它不是由边缘分布推出的;LP 给出不额外假设相关结构时的精确范围。
MATH6015 / CONVEX OPTIMIZATION
04
检测器与假设检验
检测器设计问题
未知假设 ,离散观测 。已知 即 的第 列是第 个假设下的观测分布。
目标
设计从观测 到判断 的映射,使误判概率满足给定准则。
确定性与随机化检测器
检测器由 表示: 其中 是 的第 列。
确定性检测器
每一列 是某个单位向量;观测 唯一对应一个判断。
随机化检测器
允许同一观测以给定概率作出不同判断; 位于概率单纯形内部。
所有随机化检测器构成 个概率单纯形的笛卡尔积,是凸集。
检测概率矩阵
联合两阶段条件概率,得到
矩阵维度
的第 列描述真实假设为 时各判断的分布。
正确与错误
是正确检测概率;()是将 错判为 的概率。
的每列和为 ;检测器设计是关于 的线性多目标问题。
检测性能的线性约束与代价
检测矩阵 的每个元素都对设计变量 线性,因此常见的性能要求直接给出 LP: 若假设对应有数值的参数 ,则真实为 时
结论
偏差、均方误差、大误差概率以及正确检测率均是 的仿射函数;对它们加上界、取加权和或 minimax 仍得到 LP。
多准则检测器设计
所有非对角元素 都希望尽量小,可写成向量多目标问题 常见标量化包括:
凸性
对 线性,列单纯形约束线性;上述三种模型均可写为 LP。
加权和的解析决策规则
令 为 的第 列,则加权目标可分解为 对每个观测 独立求解 线性函数在单纯形顶点取到最优值,因此可选择确定性规则
结论的边界
每个固定权重矩阵都有确定性最优解;但非光滑的 minimax 准则可能在 Pareto 边之间选择随机化检测器。
MAP 与 ML 检测器
若假设先验为 ,Bayes 平均误差最小化给出 这就是 MAP 检测器,因为 与后验概率 成正比。
非均匀先验
即使某假设对观测 的似然略低,较大的先验概率仍可能使其后验最大。
均匀先验
时,规则化为 即 ML 检测器。
二元假设检验
设假设 为正常、假设 为事件发生。检测矩阵写成
假阳性(false positive)
真实为正常却判断为事件:代价可能是误报警、无效检修或额外检查。
假阴性(false negative)
真实有事件却判断为正常:代价可能是漏检故障、疾病或安全风险。
ROC 的 Pareto 边界描述 与 之间可达到的最优权衡。
似然比阈值规则
令观测在两假设下的分布分别为 与 。加权误差最小化给出 若 ,等价于比较似然比
改变阈值会依次改变各观测的判决,从而沿 ROC 的顶点移动。
顶点之间的线段由相邻规则随机化得到;这就是 Neyman–Pearson 结构。
例 7.4:四种观测的二元检测
教材给出 似然比
三个中间确定性规则
端点
总判断为假设
五个点的下凸折线构成 ROC 的最优边界。
例 7.4:ROC 与随机化 minimax
在规则
实验|控制误报,会牺牲多少检出率?
可交互正在准备交互图…
两分布重合时,ROC 为什么退化为对角线?
应用例 8:医学筛查阈值
某评分在健康与患病人群中的离散分布为
| 阈值后阳性档位 | ||
|---|---|---|
决策含义
漏诊代价较高时选择更低阈值;误检代价较高时选择更高阈值。阈值不是由分类准确率单独决定的。
若要求
稳健检测器
当观测分布矩阵不确定,只知
注意
有限情景下的稳健设计
若不确定集合有限,
情景扩充
增加一个可能分布只增加一组线性约束,最优保证水平不会上升。
凸包不变性
把有限集合替换为其凸包不会改变最坏值,因为
多面体不确定集与 LP 对偶
假设第
作用
对偶消除了“对所有相容分布”的无穷约束,把稳健检测器直接变成有限维 LP。
例 7.5:只知道均值与二阶矩
观测
几何解释
矩信息不确定时,稳健检测器与“用低次多项式从下方逼近决策函数”联系起来。
应用例 9:两种工况下的稳健告警
振动等级
阈值规则“
稳健选择
以
MATH6015 / CONVEX OPTIMIZATION
05
Chebyshev 与 Chernoff 概率界
从经典概率界到优化
只知道部分统计信息时,事件概率通常不能精确计算,但可以求对所有相容分布都成立的界。
Markov 界
若
Chebyshev 界
若
两者的共同结构是:在一类可计算期望的函数中,寻找事件指示函数的最佳上界。
广义 Chebyshev 界
随机向量
问题类型
目标线性、每个固定
Markov 界的优化推导
取
最优上界函数在
已知一、二阶矩的 SDP
若
Chebyshev 界的对偶含义
原始无穷维问题是在所有满足矩约束的概率测度中最大化坏事件概率:
原问题
寻找使坏事件概率最大的分布。
对偶问题
寻找可由已知矩计算期望的最紧上界函数。
在教材的一、二阶矩多面体情形中,强对偶还可构造达到界的离散分布,说明界是锐的。
Chernoff 界
对任意
Gaussian 例
若
实验|只知道矩,尾部概率最多有多大?
可交互正在准备交互图…
额外知道支撑集,为什么可能得到更紧的概率上界?
多维 Chernoff 界
对
集合信息
支持函数
分布信息
累积量生成函数
两项均凸,因此求最优方向是凸优化问题。
Gaussian 落入多面体的界
若
几何意义
集合离 Gaussian 中心越远,概率按距离平方的指数速度衰减;投影点决定最有效的分离方向。
应用例 10:二维告警区域
设
实际概率为
§7.4.3:信号星座与 Voronoi 区域
发送信号
Chebyshev
只假设
Chernoff
进一步假设 Gaussian 噪声,利用到错误 Voronoi 区域的距离给出指数型误差上界。
两类概率界的区别
| Chebyshev 型 | Chernoff 型 | |
|---|---|---|
| 已知信息 | 有限个矩或期望 | 完整的累积量生成函数 |
| 上界函数 | | 指数仿射函数 |
| 典型优化 | 半无限 LP、SDP | 光滑凸问题、QP |
| 鲁棒性 | 对所有满足矩条件的分布有效 | 依赖特定分布族或指数矩 |
| 紧度 | 信息少时较保守,但可为锐界 | 分布假设正确时通常更紧 |
选择原则
界的可靠性由假设决定:矩信息可信而分布未知时用 Chebyshev;分布或累积量模型可信时用 Chernoff。
MATH6015 / CONVEX OPTIMIZATION
06
实验设计
选择哪些测量
线性测量模型
设计变量
不是待估参数
评价对象
信息矩阵与实验次数
设第
若
若候选向量未张成
连续松弛
令
下界
松弛扩大可行集,因此其最优值给整数设计的理想下界。
回到整数设计
取
D、E、A 三种最优性准则
令
| 准则 | 优化目标 | 几何含义 | 统计含义 |
|---|---|---|---|
| D-opt | 最小化置信椭球体积 | 最大化总体信息体积 | |
| E-opt | 最小化最长半轴 | 最小化最坏方向方差 | |
| A-opt | 控制各轴平方和 | 最小化均方参数误差 |
三者都在概率单纯形
E-opt 与 A-opt 的 SDP 形式
E-opt 可直接写为
维度
对偶椭球与支持实验
D-opt 的对偶可写为
正权重实验必须位于对偶椭球边界;椭球内部候选点可有零权重。
E-opt 与 A-opt 也有相似椭球解释,只是对
E-opt 与 A-opt 的对偶
两种设计也可由包含候选测量向量的中心椭球刻画:
E-opt 对偶
A-opt 对偶
共同的几何约束
令
两者仍满足
不同准则的置信椭球
同一候选集合下,D/A/E-opt 与均匀设计产生不同的误差协方差;下图为教材 Figure 7.12 的结构性示意。
比较方式
三种最优准则回答不同问题,椭球之间一般不存在 PSD 意义下的全序;选择准则应对应实际误差代价。
教材例:候选测量与稀疏设计
教材在
稀疏性的来源
目标是矩阵准则,但对偶椭球只需由少数边界点支撑;因此连续设计常自动集中于少量实验。
应用例 11:二维传感器方向选择
候选测量方向为
只测一个方向
加入斜向测量
实验|把观测预算分配到哪里?
可交互正在准备交互图…
为什么只在一个位置观测,无法同时识别直线的截距和斜率?
资源约束与多输出实验
资源限制
若第
每次得到多个测量
若实验
联合测量还可单独作为一种候选实验,并赋予体现批量折扣的成本。
应用例 12:预算约束下的实验组合
三类实验的信息贡献为
模型解释
联合实验虽更昂贵,但它提供的额外信息使 D-opt 解主动用尽预算;权重由边际信息增益与成本共同决定。
连续设计如何落地
连续解
先取
;将剩余次数分给小数部分最大的候选;
检查信息矩阵是否满秩,并计算实际 A/D/E 指标;
若预算或成组约束被破坏,在邻域内做小规模整数搜索。
例
验证
舍入后的方案必须重新评价;连续最优值只是整数设计的参照,不是最终性能保证。
MATH6015 / CONVEX OPTIMIZATION
07
总结
第 7 章的结构
本讲回顾
下一讲:几何问题
协方差与信息矩阵将转化为 Gram geometry;
置信椭球与实验设计将转化为 extremal ellipsoid problems。