MATH6015 / 统计估计

MATH6015 / LECTURE 07

统计估计

估计、检测、概率界与实验设计

Jingwei Liang · MATH6015 最优化方法
Boyd & Vandenberghe · Chapter 7

Boyd & Vandenberghe · Chapter 71 / 91

本讲内容

导览Boyd & Vandenberghe · Chapter 7, §§7.1–7.52 / 91

MATH6015 / CONVEX OPTIMIZATION

01

前序知识与统计建模

MATH6015 · Lecture 073 / 91

与前序课程的连接

本讲重新解释这些对象

损失函数 = − log ⁡ 似然 ;
正则项 = − log ⁡ 先验 ;
约束集 = 已有统计信息;
对偶变量 = 矩或风险约束的边际代价。

优化模型由概率假设决定;求解仍调用前面建立的凸性与数值方法。

前序知识与统计建模课程 Lectures 01A–01C、02–06 回顾;Boyd & Vandenberghe, Chapter 74 / 91

从数据到估计量

参数估计

分布族的形式已知,有限维参数 θ 未知,例如均值、回归系数或协方差矩阵。

非参数估计

直接把离散分布 p ∈ R n 作为变量,用矩、概率或熵刻画已有信息。

前序知识与统计建模Boyd & Vandenberghe · §§7.1–7.25 / 91

何时得到凸问题

最大化形式

若对每个观测 y ,对数似然 ℓ ( θ ) = log ⁡ p θ ( y ) 关于 θ 为凹函数,并且先验约束集 C 为凸集,则 maximize θ ∈ C ℓ ( θ ) 是凸优化问题。

最小化形式

等价地定义负对数似然 L ( θ ; y ) = − log ⁡ p θ ( y ) . 若 L 为凸函数,则多个独立样本对应 min θ ∈ C ∑ i = 1 N L ( θ ; y i ) .

关键:“统计估计可由凸优化求解”依赖参数化方式;换变量常把非凸表达改成凸表达。

前序知识与统计建模Boyd & Vandenberghe · §7.1.16 / 91

MATH6015 / CONVEX OPTIMIZATION

02

参数分布估计

MATH6015 · Lecture 077 / 91

最大似然估计

观测 y ∈ R m 来自参数为 x ∈ R n 的分布,密度记为 p x ( y ) 。最大似然估计(maximum likelihood, ML)为 x ^ m l ∈ arg ⁡ max x ∈ C p x ( y ) = arg ⁡ max x ∈ C ℓ ( x ) , ℓ ( x ) = log ⁡ p x ( y ) .

变量与参数

优化变量是分布参数 x ;已观测的样本 y 在优化问题中是固定数据。

先验约束

C 可表达物理范围、符号、守恒或结构信息;也可令 p x ( y ) = 0 于 x ∉ C 。

思考:若两个参数产生相同的最大似然值,估计是否唯一?还需要哪些结构信息?

参数分布估计Boyd & Vandenberghe · §7.1.1, equation (7.1)8 / 91

线性测量与 IID 噪声

y i = a i ⊤ x + v i , i = 1 , … , m , v i ∼ I I D p . 独立性把联合似然分解为乘积,因此 p x ( y ) = ∏ i = 1 m p ( y i − a i ⊤ x ) , ℓ ( x ) = ∑ i = 1 m log ⁡ p ( y i − a i ⊤ x ) .

优化形式

令 A = [ a 1 ⊤ ; … ; a m ⊤ ] ∈ R m × n ,残差 r i = y i − a i ⊤ x : min x ∑ i = 1 m ϕ ( r i ) , ϕ ( t ) = − log ⁡ p ( t ) . 若 p 对数凹,则 ϕ 为凸函数。

参数分布估计Boyd & Vandenberghe · §7.1.1, equation (7.2)9 / 91

噪声模型决定损失函数

噪声密度 p ( r ) − log ⁡ p ( r ) (忽略常数) ML 模型 残差特征
Gaussian ∝ e − r 2 / ( 2 σ 2 ) r 2 / ( 2 σ 2 ) min ‖ A x − y ‖ 2 2 强调大残差
Laplacian ∝ e − | r | / a | r | / a min ‖ A x − y ‖ 1 对离群点更稳健
Uniform on [ − a , a ] 0 或 + ∞ ‖ A x − y ‖ ∞ ≤ a 所有残差有硬界
参数分布估计Boyd & Vandenberghe · Example 7.110 / 91

应用例 1:传感器偏置估计

四次标定读数为 y = ( 1.0 , 1.2 , 0.8 , 4.0 ) ,模型 y i = x + v i 。比较 Gaussian 与 Laplacian 假设: x ^ 2 = arg ⁡ min x ∑ i ( y i − x ) 2 = 1.75 , x ^ 1 ∈ arg ⁡ min x ∑ i | y i − x | = [ 1.0 , 1.2 ] .

平方损失

样本均值受读数 4.0 明显拉动;这与 Gaussian 噪声的轻尾假设一致。

绝对值损失

任一中位数均最优;单个大离群点不会产生平方级影响。

参数分布估计自编数值例;模型依据 §7.1.111 / 91

实验|观测与先验,怎样决定概率估计?

可交互
min 0 ≤ p ≤ 1 − k log ⁡ p − ( n − k ) log ⁡ ( 1 − p )

正在准备交互图…

全部观测都失败时,ML 会怎样?先验如何改变边界解?

损失与密度的双向解释

给定凸罚函数 ϕ ,若归一化常数有限,则可构造 p ( z ) = e − ϕ ( z ) ∫ − ∞ ∞ e − ϕ ( u ) d u . 因此任何可归一化的可分离罚函数逼近 min x ∑ i = 1 m ϕ ( b i − a i ⊤ x ) 都可解释为某个 IID 噪声模型下的 ML 估计。

增长快的 ϕ

密度尾部衰减快,模型认为大残差极不可能,因此强烈惩罚离群点。

增长慢的 ϕ

密度具有更重的尾部,模型允许少量大残差,估计通常更稳健。

建模含义:选择损失函数等价于声明残差的概率结构。

参数分布估计Boyd & Vandenberghe · §7.1.1, “ML interpretation of penalty function approximation”13 / 91

Poisson 计数模型

若 Y ∼ Poisson ⁡ ( μ ) ,则 P ( Y = k ) = e − μ μ k k ! , μ > 0. 令均值由解释变量 u i 决定: μ i = a ⊤ u i + b 。对数据 ( u i , y i ) ,忽略常数后的对数似然为 ℓ ( a , b ) = ∑ i = 1 m [ y i log ⁡ ( a ⊤ u i + b ) − ( a ⊤ u i + b ) ] , 定义域要求 a ⊤ u i + b > 0 。每一项关于 ( a , b ) 为凹函数。

典型数据

光子到达数、事故数、呼叫次数、故障次数等非负整数计数。

与最小二乘的区别

Poisson 方差等于均值,噪声尺度随信号变化;恒方差 Gaussian 模型并不匹配。

参数分布估计Boyd & Vandenberghe · §7.1.1, “Counting problems with Poisson distribution”14 / 91

应用例 2:事故频次与交通流量

假设某路段三天的标准化车流量为 u = ( 0 , 1 , 2 ) ,事故数为 y = ( 1 , 2 , 4 ) ,取 μ i = a u i + b 。最大似然问题为 max a , b   ∑ i = 1 3 [ y i log ⁡ ( a u i + b ) − ( a u i + b ) ] s.t. a u i + b > 0.

一阶条件写为 ∑ i ( y i μ i − 1 ) = 0 , ∑ i u i ( y i μ i − 1 ) = 0. 解得 a ^ = 7 5 , b ^ = 14 15 , μ ^ = ( 14 15 , 7 3 , 56 15 ) . 两个方程分别对应截距与斜率方向的似然平衡。

参数分布估计自编数值例;模型依据 §7.1.115 / 91

逻辑回归

二元响应 Y ∈ { 0 , 1 } 的成功概率由 p ( u ) = P ( Y = 1 ∣ u ) = e a ⊤ u + b 1 + e a ⊤ u + b 给出。对样本 ( u i , y i ) ,负对数似然为 L ( a , b ) = ∑ i = 1 m [ log ⁡ ( 1 + e a ⊤ u i + b ) − y i ( a ⊤ u i + b ) ] . log-sum-exp 为凸函数,因此 L 关于 ( a , b ) 凸。

参数含义

a 控制各特征对 log-odds 的影响, b 控制基准概率。

预测与估计

优化阶段估计概率模型;阈值化 p ( u ) 后才得到分类规则。

参数分布估计Boyd & Vandenberghe · §7.1.1, equation (7.3)16 / 91

应用例 3:设备故障概率

令 u 为归一化温度,取 a = 1.4 , b = − 3.5 ,则 p ( u ) = σ ( 1.4 u − 3.5 ) 。

解释

u = 2.5 时 p = 0.5 ;温度每增加一单位,故障 odds 乘以 e 1.4 。

建模检查

若样本完全可分,未正则化的 ML 参数可能无有限最优解;可加入 ℓ 2 先验或约束。

参数分布估计自编数值例;逻辑模型依据 §7.1.117 / 91

实验|分类概率怎样由优化得到?

可交互
min a , b ∑ i [ log ⁡ ( 1 + e a t i + b ) − y i ( a t i + b ) ] + λ 2 ( a 2 + b 2 ) Pr ( y = 1 ∣ t ) = 1 1 + e − ( a t + b )

正在准备交互图…

完全可分的数据为什么可能没有有限的未正则化极大似然估计?

Gaussian 协方差估计

零均值 Gaussian 样本 y 1 , … , y N ∈ R n 的协方差为 R ≻ 0 ,样本协方差为 Y = 1 N ∑ k = 1 N y k y k ⊤ . 以 R 为变量的对数似然并非全局凹;改用信息矩阵 S = R − 1 : max S ∈ S log ⁡ det S − tr ⁡ ( S Y ) , S ≻ 0. 目标对 S 为凹函数。无额外约束且 Y ≻ 0 时,一阶条件 S − 1 = Y 给出 R ^ m l = Y .

参数化的作用

同一统计模型在 R 与 S = R − 1 下具有不同的凸性;选择变量是建模的一部分。

参数分布估计Boyd & Vandenberghe · §7.1.1, equations (7.4)–(7.5)19 / 91

结构化协方差

关于协方差 R 的先验可转化为信息矩阵 S 的凸约束: L ⪯ R ⪯ U ⟺ U − 1 ⪯ S ⪯ L − 1 . 条件数界可写为存在 u > 0 使 u I ⪯ S ⪯ κ max u I . 线性组合方差界 E ( c i ⊤ y ) 2 = c i ⊤ S − 1 c i ≤ α i 也是关于 S 的凸约束。

参数分布估计Boyd & Vandenberghe · §7.1.1, covariance estimation for Gaussian variables20 / 91

应用例 4:两通道协方差正则化

样本协方差 Y = diag ⁡ ( 100 , 1 ) 的条件数为 100 。若要求 κ ( R ) ≤ 10 ,可解 max S ≻ 0 , u > 0   log ⁡ det S − tr ⁡ ( S Y ) s.t. u I ⪯ S ⪯ 10 u I . 由于 R = S − 1 与 S 条件数相同,该模型避免估计椭圆过度扁长。

未约束 ML

R ^ = Y ,两个方向的标准差比为 10 ;有限样本下可能非常不稳定。

结构化 ML

条件数约束牺牲部分似然,换取更稳定的逆协方差与后续判别计算。

参数分布估计自编数值例;结构约束依据 §7.1.121 / 91

实验|用精度矩阵把似然写成凸问题

可交互
min Θ ≻ 0 − log ⁡ det Θ + tr ⁡ ( S Θ ) Θ ∗ = S − 1

正在准备交互图…

为什么对精度矩阵凸,不代表对协方差矩阵也具有同样形式?

最大后验估计

最大后验(maximum a posteriori, MAP)把参数 x 也视为随机变量。Bayes 公式给出 p ( x ∣ y ) ∝ p ( y ∣ x ) p x ( x ) . 因此 x ^ m a p ∈ arg ⁡ max x [ log ⁡ p ( y ∣ x ) + log ⁡ p x ( x ) ] .

似然项

说明数据在给定参数下出现的可能性;对应数据拟合项。

先验项

说明参数在观测前的可信程度;负对数先验对应正则项。

若似然和先验均对数凹,则 MAP 是凸优化问题。

参数分布估计Boyd & Vandenberghe · §7.1.2, equation (7.6)23 / 91

线性测量下的 MAP

在线性模型 y i = a i ⊤ x + v i 中,若噪声密度为 p v 、先验密度为 p x ,则 x ^ m a p ∈ arg ⁡ max x [ log ⁡ p x ( x ) + ∑ i = 1 m log ⁡ p v ( y i − a i ⊤ x ) ] .

Gaussian 噪声与 x ∼ N ( x ¯ , Σ ) 给出 min x   1 2 σ 2 ‖ A x − y ‖ 2 2 + 1 2 ( x − x ¯ ) ⊤ Σ − 1 ( x − x ¯ ) .

均匀噪声 v i ∈ [ − a , a ] 与 Gaussian 先验给出 QP min x   ( x − x ¯ ) ⊤ Σ − 1 ( x − x ¯ ) s.t. ‖ A x − y ‖ ∞ ≤ a .

参数分布估计Boyd & Vandenberghe · §7.1.2, equation (7.7)24 / 91

无噪声测量与最小罚函数

若测量精确满足 A x = y ,MAP 估计为 max x   log ⁡ p x ( x ) s.t. A x = y . 若 x i 独立同分布, p x ( x ) = ∏ i p ( x i ) ,则 min x   ∑ i = 1 n ϕ ( x i ) s.t. A x = y , ϕ ( t ) = − log ⁡ p ( t ) . 这正是 Lecture 02 的最小罚函数问题。

Gaussian 先验

ϕ ( t ) ∝ t 2 ,得到最小二范数解。

Laplacian 先验

ϕ ( t ) ∝ | t | ,得到 basis pursuit,并偏好稀疏解。

参数分布估计Boyd & Vandenberghe · §7.1.2, “MAP with perfect linear measurements”25 / 91

应用例 5:欠定测量中的稀疏 MAP

由一个测量 x 1 + x 2 = 1 恢复 x ∈ R 2 。

Gaussian 先验对应 min   x 1 2 + x 2 2 s.t. x 1 + x 2 = 1 , 唯一解为 ( 1 / 2 , 1 / 2 ) 。

Laplacian 先验对应 min   | x 1 | + | x 2 | s.t. x 1 + x 2 = 1. 在非负象限整条线段均最优;加入微小权重差即可选择端点稀疏解。

参数分布估计自编二维例;MAP 解释依据 §7.1.226 / 91

MATH6015 / CONVEX OPTIMIZATION

03

非参数分布估计

MATH6015 · Lecture 0727 / 91

概率分布作为优化变量

随机变量 X 只取有限个值 { α 1 , … , α n } ,令 p i = P ( X = α i ) , p ⪰ 0 , 1 ⊤ p = 1. 所有可能分布恰好构成概率单纯形。

非参数的含义

不预先指定 Gaussian、Poisson 等分布族;直接估计每个支持点上的概率质量。

凸性基础

矩、事件概率和样本对数似然都可写成 p 的线性或凸函数。

非参数分布估计Boyd & Vandenberghe · §7.228 / 91

矩与事件概率是线性的

对任意函数 f 与集合 C , E f ( X ) = ∑ i = 1 n p i f ( α i ) , P ( X ∈ C ) = ∑ α i ∈ C p i . 因此已有信息可直接写成线性等式或不等式。例如 ∑ i α i p i = α ¯ , ∑ i α i 2 p i = β , ∑ α i ≥ 0 p i ≤ 0.3 .

统计语言

已知均值、二阶矩和事件概率上界。

优化语言

概率单纯形与若干超平面的交集,仍是凸集。

非参数分布估计Boyd & Vandenberghe · §7.2, “Prior information”29 / 91

非线性先验信息

方差 var ⁡ ( X ) = ∑ i α i 2 p i − ( ∑ i α i p i ) 2 关于 p 为凹函数,因此下界 var ⁡ ( X ) ≥ σ min 2 定义凸可行集。

条件概率为线性分式函数 P ( X ∈ A ∣ X ∈ B ) = c ⊤ p d ⊤ p . 在 d ⊤ p > 0 时,区间约束等价于 l d ⊤ p ≤ c ⊤ p ≤ u d ⊤ p .

建模检查

“下界作用于凹函数”与“上界作用于凸函数”都产生凸约束;方向写反通常破坏凸性。

非参数分布估计Boyd & Vandenberghe · §7.2, variance and conditional probability constraints30 / 91

熵与 KL 散度

离散熵与 Kullback–Leibler 散度为 H ( p ) = − ∑ i = 1 n p i log ⁡ p i , D K L ( p ‖ q ) = ∑ i = 1 n p i log ⁡ p i q i .

熵下界

H 为凹函数,所以 H ( p ) ≥ h min 是凸约束。熵越大,概率质量越分散。

KL 邻域

D K L 对 ( p , q ) 联合凸;给定参考分布 q 时, D K L ( p ‖ q ) ≤ ρ 是凸约束。

约定 0 log ⁡ 0 = 0 ;若 p i > 0 , q i = 0 ,则 D K L ( p ‖ q ) = + ∞ 。

非参数分布估计Boyd & Vandenberghe · §7.2; §3.1.5, Example 3.1931 / 91

概率与期望的最坏情形界

设先验信息定义凸集合 P 。对函数 f ,所有相容分布下的精确下界由 minimize p ∑ i f ( α i ) p i subject to p ∈ P 给出;最大化则给出上界。事件概率只需取 f = 1 C 。

不是估计一个分布

目标是在所有相容分布中寻找使关注量最小或最大的分布。

鲁棒统计解释

最优值是由现有信息保证的最紧界;最优分布是达到该界的对抗性分布。

非参数分布估计Boyd & Vandenberghe · §7.2, “Bounding probabilities and expected values”32 / 91

离散分布的 ML 估计

观察 N 个独立样本,支持点 α i 出现 k i 次, ∑ i k i = N 。对数似然为 ℓ ( p ) = ∑ i = 1 n k i log ⁡ p i . 带先验信息的 ML 问题为 max p ∈ P   ∑ i k i log ⁡ p i .

仅有单纯形约束

拉格朗日条件给出 p ^ i = k i / N ,即经验频率。

加入矩或形状约束

估计不再等于经验频率,但仍可由凹最大化稳定求解。

当 k i > 0 时最优解必须满足 p i > 0 ,否则对数似然为 − ∞ 。

非参数分布估计Boyd & Vandenberghe · §7.2, “Maximum likelihood estimation”33 / 91

最大熵与最小 KL

在相容集合 P 中,可用两种准则选择单一分布: 最大熵: min p ∈ P ∑ i p i log ⁡ p i , 最小 KL: min p ∈ P ∑ i p i log ⁡ ( p i / q i ) .

最大熵

不引入约束之外的集中结构;在只有归一化约束时得到均匀分布。

最小 KL

在满足新信息的前提下尽量接近参考分布 q ;若 q i = 1 / n ,退化为最大熵。

非参数分布估计Boyd & Vandenberghe · §7.2, “Maximum entropy” and “Minimum Kullback–Leibler divergence”34 / 91

实验|只知道均值,怎样选择分布?

可交互
max p ≥ 0 − ∑ i = 1 3 p i log ⁡ p i s.t. ∑ i p i = 1 , ∑ i t i p i = m p i ∗ = e β t i ∑ j e β t j

正在准备交互图…

为什么均值接近端点时,熵越来越小?

例 7.2:矩约束下的最大熵

在 [ − 1 , 1 ] 上取 100 个等距支持点 α i ,寻找满足 E X ∈ [ − 0.1 , 0.1 ] , E X 2 ∈ [ 0.5 , 0.6 ] , E ( 3 X 3 − 2 X ) ∈ [ − 0.3 , − 0.2 ] , P ( X < 0 ) ∈ [ 0.3 , 0.4 ] 的最大熵分布。

所有约束对 p 线性,因此问题为带线性约束的可分离凸优化。教材解满足 E X = 0.056 , E X 2 = 0.5 , E ( 3 X 3 − 2 X ) = − 0.2 , P ( X < 0 ) = 0.4 .

活跃约束

后面三个约束在教材最优解处取边界值,说明它们真正限制了可达到的熵。

几何

目标的等值面在概率单纯形与约束多面体的交集中寻找切点。

非参数分布估计Boyd & Vandenberghe · Example 7.2, equation (7.8)36 / 91

例 7.2:分布形状与 CDF 区间

最大熵分布的定性重绘

对每个阈值 α j ,分别解两个 LP: min / max p ∈ P F ( α j ) = ∑ i ≤ j p i . 得到 CDF 的逐点上下界。最大熵 CDF 位于界之间,但它并不等同于任一风险方向的最坏情形分布。

计算代价

若有 n 个阈值,需要 2 n 个结构相同的 LP,可并行求解或利用参数延续。

非参数分布估计Boyd & Vandenberghe · Example 7.2, Figures 7.2–7.3(定性重绘)37 / 91

应用例 6:骰子的最大熵分布

设骰子点数 X ∈ { 1 , … , 6 } ,只知道 E X = 4 。最大熵问题为 min p ⪰ 0 ∑ i = 1 6 p i log ⁡ p i s.t. 1 ⊤ p = 1 , ∑ i = 1 6 i p i = 4. KKT 条件给出指数族形式 p i = e λ i ∑ j = 1 6 e λ j , 其中 λ 由均值约束确定。

结构结论

一个线性矩约束产生一个指数权重;多个矩约束产生相应充分统计量的线性组合。

数值求解

原问题可直接解,也可用一维求根确定 λ ;二者给出同一分布。

非参数分布估计自编例;最大熵模型依据 §7.238 / 91

实验|同一个最大熵分布:原始方法与对偶方法

可交互
min p ∈ R + + 3 ∑ i = 1 3 p i log ⁡ p i , ( 1 1 1 − 1 0 1 ) p = ( 1 μ ) q ( ν ) = b T ν + ∑ i e − 1 − ( A T ν ) i , p ^ i ( ν ) = e − 1 − ( A T ν ) i

正在准备交互图…

均值趋近端点时,概率怎样集中?为什么对偶方法在中途恢复的正分量,尚不能直接当作概率分布?

例 7.3:已知边缘分布的风险界

投资收益 X ∈ { α i } i = 1 n 、 Y ∈ { β j } j = 1 m ,联合概率 p i j 未知,但边缘分布已知: ∑ j p i j = r i , ∑ i p i j = q j , p i j ≥ 0. 总收益低于 γ 的最坏概率由运输型 LP 给出: max p i j   ∑ α i + β j < γ p i j s.t. 已知边缘分布约束 .

为什么需要优化

边缘分布不决定相关性;不同联合分布可能产生完全不同的组合尾部风险。

与最优运输的联系

p i j 是把一个边缘分布耦合到另一个边缘分布的运输计划,目标对特定区域计费。

非参数分布估计Boyd & Vandenberghe · Example 7.3, equation (7.9)40 / 91

应用例 7:相关性未知时的损失概率

X , Y ∈ { − 1 , + 1 } ,且各自取 − 1 与 + 1 的概率均为 1 / 2 。关注事件 X + Y < 0 ,即 ( X , Y ) = ( − 1 , − 1 ) 。 Y = − 1 Y = + 1 row sum X = − 1 p 11 p 12 1 / 2 X = + 1 p 21 p 22 1 / 2 column sum 1 / 2 1 / 2 由边缘约束可知 0 ≤ p 11 ≤ 1 / 2 ,所以 0 ≤ P ( X + Y < 0 ) ≤ 1 2 .

解释

独立性会给出 1 / 4 ,但它不是由边缘分布推出的;LP 给出不额外假设相关结构时的精确范围。

非参数分布估计自编二点例;模型依据 Example 7.341 / 91

MATH6015 / CONVEX OPTIMIZATION

04

检测器与假设检验

MATH6015 · Lecture 0742 / 91

检测器设计问题

未知假设 θ ∈ { 1 , … , m } ,离散观测 X ∈ { 1 , … , n } 。已知 P k j = P ( X = k ∣ θ = j ) , P ∈ R n × m , 即 P 的第 j 列是第 j 个假设下的观测分布。

目标

设计从观测 X 到判断 θ ^ 的映射,使误判概率满足给定准则。

检测器与假设检验Boyd & Vandenberghe · §7.343 / 91

确定性与随机化检测器

检测器由 T ∈ R m × n 表示: T i k = P ( θ ^ = i ∣ X = k ) , t k ⪰ 0 , 1 ⊤ t k = 1. 其中 t k 是 T 的第 k 列。

确定性检测器

每一列 t k 是某个单位向量;观测 k 唯一对应一个判断。

X = k ⟼ θ ^ = i ( k )

随机化检测器

允许同一观测以给定概率作出不同判断; t k 位于概率单纯形内部。

X = k ⟼ θ ^ ∼ t k

所有随机化检测器构成 n 个概率单纯形的笛卡尔积,是凸集。

检测器与假设检验Boyd & Vandenberghe · §7.3.144 / 91

检测概率矩阵

联合两阶段条件概率,得到 D i j = P ( θ ^ = i ∣ θ = j ) = ∑ k = 1 n T i k P k j , D = T P .

矩阵维度

T ⏟ m × n P ⏟ n × m = D ⏟ m × m . D 的第 j 列描述真实假设为 j 时各判断的分布。

正确与错误

D j j 是正确检测概率; D i j ( i ≠ j )是将 j 错判为 i 的概率。 P e , j = 1 − D j j .

D 的每列和为 1 ;检测器设计是关于 T 的线性多目标问题。

检测器与假设检验Boyd & Vandenberghe · §7.3.245 / 91

检测性能的线性约束与代价

检测矩阵 D = T P 的每个元素都对设计变量 T 线性,因此常见的性能要求直接给出 LP: D j j ≥ L j , D i j ≤ U i j ( i ≠ j ) , min T max j ( 1 − D j j ) . 若假设对应有数值的参数 θ 1 , … , θ m ,则真实为 θ i 时 bias i = ∑ j = 1 m ( θ j − θ i ) D j i , MSE i = ∑ j = 1 m ( θ j − θ i ) 2 D j i , P ( | θ ^ − θ i | > δ ∣ θ i ) = ∑ | θ j − θ i | > δ D j i .

结论

偏差、均方误差、大误差概率以及正确检测率均是 D 的仿射函数;对它们加上界、取加权和或 minimax 仍得到 LP。

检测器与假设检验Boyd & Vandenberghe · §7.3.3, limits, bias, and mean-square error46 / 91

多准则检测器设计

所有非对角元素 D i j 都希望尽量小,可写成向量多目标问题 minimize ⁡   { D i j ∣ i ≠ j } s.t. D = T P , t k ⪰ 0 ,   1 ⊤ t k = 1. 常见标量化包括: minimax: min T max j ( 1 − D j j ) , Bayes: min T ∑ j q j ( 1 − D j j ) , 加权误判: min T ∑ i ≠ j W i j D i j .

凸性

D = T P 对 T 线性,列单纯形约束线性;上述三种模型均可写为 LP。

检测器与假设检验Boyd & Vandenberghe · §§7.3.3–7.3.4, equations (7.11)–(7.13)47 / 91

加权和的解析决策规则

令 c k 为 W P ⊤ 的第 k 列,则加权目标可分解为 ∑ i , j W i j D i j = ∑ k = 1 n c k ⊤ t k . 对每个观测 k 独立求解 min t k ⪰ 0 ,   1 ⊤ t k = 1   c k ⊤ t k . 线性函数在单纯形顶点取到最优值,因此可选择确定性规则 θ ^ ( k ) ∈ arg ⁡ min j ( W P ⊤ ) j k .

结论的边界

每个固定权重矩阵都有确定性最优解;但非光滑的 minimax 准则可能在 Pareto 边之间选择随机化检测器。

检测器与假设检验Boyd & Vandenberghe · §7.3.4, equation (7.14)48 / 91

MAP 与 ML 检测器

若假设先验为 q j = P ( θ = j ) ,Bayes 平均误差最小化给出 θ ^ ( k ) ∈ arg ⁡ max j P k j q j . 这就是 MAP 检测器,因为 P k j q j 与后验概率 P ( θ = j ∣ X = k ) 成正比。

非均匀先验

即使某假设对观测 k 的似然略低,较大的先验概率仍可能使其后验最大。

均匀先验

q j = 1 / m 时,规则化为 θ ^ ( k ) ∈ arg ⁡ max j P k j , 即 ML 检测器。

检测器与假设检验Boyd & Vandenberghe · §7.3.4, “MAP and ML detectors”49 / 91

二元假设检验

设假设 1 为正常、假设 2 为事件发生。检测矩阵写成 D = [ 1 − P f p P f n P f p 1 − P f n ] .

假阳性(false positive)

真实为正常却判断为事件:代价可能是误报警、无效检修或额外检查。

假阴性(false negative)

真实有事件却判断为正常:代价可能是漏检故障、疾病或安全风险。

ROC 的 Pareto 边界描述 P f p 与 P f n 之间可达到的最优权衡。

检测器与假设检验Boyd & Vandenberghe · §7.3.550 / 91

似然比阈值规则

令观测在两假设下的分布分别为 p k 与 q k 。加权误差最小化给出 θ ^ ( k ) = { 1 , W 21 p k > W 12 q k , 2 , W 21 p k ≤ W 12 q k . 若 q k > 0 ,等价于比较似然比 p k q k ≷ W 12 W 21 .

改变阈值会依次改变各观测的判决,从而沿 ROC 的顶点移动。

顶点之间的线段由相邻规则随机化得到;这就是 Neyman–Pearson 结构。

检测器与假设检验Boyd & Vandenberghe · §7.3.5, Neyman–Pearson lemma51 / 91

例 7.4:四种观测的二元检测

教材给出 P = [ .70 .10 .20 .10 .05 .70 .05 .10 ] = [ p   q ] . 似然比 p k / q k 依次为 7 , 2 , 1 / 14 , 1 / 2 。随着阈值降低,观测按 1 , 2 , 4 , 3 的顺序被归入假设 1 。

三个中间确定性规则

{ 1 , 2 , 4 } → ( P f p , P f n ) = ( .05 , .30 ) , { 1 , 2 } → ( .10 , .20 ) , { 1 } → ( .30 , .10 ) . 集合表示判断为假设 1 的观测。

端点

总判断为假设 1 得 ( 0 , 1 ) ;总判断为假设 2 得 ( 1 , 0 ) 。

五个点的下凸折线构成 ROC 的最优边界。

检测器与假设检验Boyd & Vandenberghe · Example 7.4, equation (7.15)52 / 91

例 7.4:ROC 与随机化 minimax

在规则 ( .10 , .20 ) 与 ( .30 , .10 ) 之间随机化,可到达对角线上的 P f p = P f n = 1 6 . 每个确定性规则至少有一个错误概率大于 1 / 6 ,所以 minimax 最优检测器必须随机化。

检测器与假设检验Boyd & Vandenberghe · Example 7.4, Figure 7.4(重绘)53 / 91

实验|控制误报,会牺牲多少检出率?

可交互
H 0 : X ∼ N ( 0 , 1 ) , H 1 : X ∼ N ( δ , 1 ) τ = Φ − 1 ( 1 − α ) , power = 1 − Φ ( τ − δ )

正在准备交互图…

两分布重合时,ROC 为什么退化为对角线?

应用例 8:医学筛查阈值

某评分在健康与患病人群中的离散分布为 p = ( .50 , .30 , .15 , .05 ) , q = ( .05 , .15 , .30 , .50 ) , 四档评分由低到高。将高于阈值者判为阳性。

阈值后阳性档位 P f p P f n
{ 4 } .05 .50
{ 3 , 4 } .20 .20
{ 2 , 3 , 4 } .50 .05

决策含义

漏诊代价较高时选择更低阈值;误检代价较高时选择更高阈值。阈值不是由分类准确率单独决定的。

若要求 P f n ≤ .1 ,第三个规则可行且在上述候选中使 P f p 最小。

检测器与假设检验自编数值例;二元检测结构依据 §7.3.555 / 91

稳健检测器

当观测分布矩阵不确定,只知 P ∈ P ,定义最坏情形检测概率 D i j w c = sup P ∈ P ( T P ) i j   ( i ≠ j ) , D i i w c = inf P ∈ P ( T P ) i i . 相应最坏误差为 P e , i w c = 1 − D i i w c 。稳健 minimax 设计等价于 max T   min i inf P ∈ P ( T P ) i i s.t. t k ⪰ 0 , 1 ⊤ t k = 1.

注意

D w c 的不同元素可能由不同的 P 取得,因此其列和一般不等于 1 ;它不是某一个实际分布下的检测矩阵。

检测器与假设检验Boyd & Vandenberghe · §7.3.656 / 91

有限情景下的稳健设计

若不确定集合有限, P = { P ( 1 ) , … , P ( K ) } ,引入保证水平 γ : maximize T , γ γ subject to ( T P ( s ) ) i i ≥ γ , i = 1 , … , m ,   s = 1 , … , K , t k ⪰ 0 , 1 ⊤ t k = 1 , k = 1 , … , n . 这是 LP;它同时保证每个假设、每个情景下的正确检测概率不低于 γ 。

情景扩充

增加一个可能分布只增加一组线性约束,最优保证水平不会上升。

凸包不变性

把有限集合替换为其凸包不会改变最坏值,因为 ( T P ) i i 关于 P 线性。

检测器与假设检验Boyd & Vandenberghe · §7.3.6, “Robust minimax detector for finite P ”57 / 91

多面体不确定集与 LP 对偶

假设第 i 个观测分布满足 P i = { p ∣ A i p = b i ,   1 ⊤ p = 1 ,   p ⪰ 0 } . 对检测器第 i 行 t ~ i ⊤ ,最坏正确率的内层问题为 inf p ∈ P i t ~ i ⊤ p = sup ν i , μ i { ν i ⊤ b i + μ i ∣ A i ⊤ ν i + μ i 1 ⪯ t ~ i } . 把右侧对偶变量与 T , γ 一起优化,得到单层 LP: ν i ⊤ b i + μ i ≥ γ , A i ⊤ ν i + μ i 1 ⪯ t ~ i .

作用

对偶消除了“对所有相容分布”的无穷约束,把稳健检测器直接变成有限维 LP。

检测器与假设检验Boyd & Vandenberghe · §7.3.6, robust minimax detector for polyhedral P 58 / 91

例 7.5:只知道均值与二阶矩

观测 X ∈ { a 1 , … , a n } 。两个假设分别只给出 E X = α 1 ,   E X 2 = α 2 , E X = β 1 ,   E X 2 = β 2 . 令 t ~ 为判断假设 1 的概率,则两类最坏正确率都是矩约束 LP;例如 inf p ⪰ 0 { t ~ ⊤ p ∣ ∑ i a i p i = α 1 ,   ∑ i a i 2 p i = α 2 ,   1 ⊤ p = 1 } . 其对偶寻找一条二次函数 z 0 + z 1 a + z 2 a 2 ,在所有支持点上不超过检测概率 t ~ i 。

几何解释

矩信息不确定时,稳健检测器与“用低次多项式从下方逼近决策函数”联系起来。

检测器与假设检验Boyd & Vandenberghe · Example 7.559 / 91

应用例 9:两种工况下的稳健告警

振动等级 X ∈ { 0 , 1 , 2 } 。正常工况的候选分布为 p ( 1 ) = ( .70 , .25 , .05 ) 、 p ( 2 ) = ( .60 , .35 , .05 ) ;故障工况为 q ( 1 ) = ( .10 , .30 , .60 ) 、 q ( 2 ) = ( .05 , .35 , .60 ) 。

阈值规则“ X = 2 时告警”在四个情景中的 P f p = .05 , .05 , P f n = .40 , .40 . 规则“ X ≥ 1 时告警”给出 P f p = .30 , .40 , P f n = .10 , .05 .

稳健选择

以 ρ 的概率使用“ X ≥ 1 ”规则,则两类最坏误差为 .05 + .35 ρ , .40 − .30 ρ . 取 ρ = 7 / 13 使二者相等,稳健 minimax 值为 31 / 130 ≈ .2385 。

检测器与假设检验自编有限情景例;模型依据 §7.3.660 / 91

MATH6015 / CONVEX OPTIMIZATION

05

Chebyshev 与 Chernoff 概率界

MATH6015 · Lecture 0761 / 91

从经典概率界到优化

只知道部分统计信息时,事件概率通常不能精确计算,但可以求对所有相容分布都成立的界。

Markov 界

若 X ≥ 0 、 E X = μ ,则 P ( X ≥ 1 ) ≤ μ . 用线性函数 f ( z ) = z 从上方覆盖事件指示函数。

Chebyshev 界

若 E X = μ 、 E ( X − μ ) 2 = σ 2 ,则 P ( | X − μ | ≥ 1 ) ≤ σ 2 . 用二次函数从上方覆盖指示函数。

两者的共同结构是:在一类可计算期望的函数中,寻找事件指示函数的最佳上界。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.162 / 91

广义 Chebyshev 界

随机向量 X 支持于 S ,关注事件 C ⊆ S 。已知 E f i ( X ) = a i , i = 0 , … , n , f 0 ≡ 1 , a 0 = 1. 寻找线性组合 f ( z ) = ∑ i = 0 n x i f i ( z ) ,使 f ≥ 1 C : minimize x ∑ i = 0 n a i x i subject to ∑ i = 0 n x i f i ( z ) ≥ 1 , z ∈ C , ∑ i = 0 n x i f i ( z ) ≥ 0 , z ∈ S ∖ C . 则 P ( X ∈ C ) ≤ E f ( X ) = a ⊤ x 。

问题类型

目标线性、每个固定 z 给出一个线性不等式,因此这是半无限 LP;适当结构可把它化为 SDP。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.1, equation (7.17)63 / 91

Markov 界的优化推导

取 S = R + 、 C = [ 1 , ∞ ) 、 f 0 ( z ) = 1 、 f 1 ( z ) = z ,且 E X = μ ≤ 1 。覆盖条件化为 x 0 ≥ 0 , x 1 ≥ 0 , x 0 + x 1 ≥ 1. 于是 min x 0 , x 1   x 0 + μ x 1 s.t. x 0 , x 1 ≥ 0 , x 0 + x 1 ≥ 1. 最优解为 ( x 0 , x 1 ) = ( 0 , 1 ) ,得到 P ( X ≥ 1 ) ≤ μ 。

最优上界函数在 z = 1 处接触指示函数;期望将点态上界转为概率上界。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.1, Markov bound example64 / 91

已知一、二阶矩的 SDP

若 X ∈ R m ,已知 E X = a 、 E X X ⊤ = Σ ,选二次上界 f ( z ) = z ⊤ Q z + 2 q ⊤ z + r , E f ( X ) = tr ⁡ ( Σ Q ) + 2 q ⊤ a + r . 全局非负等价于 [ Q q q ⊤ r ] ⪰ 0. 若坏事件为开多面体 P = { z ∣ a i ⊤ z < b i } 的补集,则由半空间形式的 S-procedure,覆盖条件等价于存在 τ i ≥ 0 使 [ Q q q ⊤ r − 1 ] ⪰ τ i [ 0 a i / 2 a i ⊤ / 2 − b i ] , τ i ≥ 0. 最小化 E f ( X ) 即得到 SDP (7.19)。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.1, equation (7.19)65 / 91

Chebyshev 界的对偶含义

原始无穷维问题是在所有满足矩约束的概率测度中最大化坏事件概率: maximize ∫ C π ( d z ) subject to ∫ S f i ( z ) π ( d z ) = a i , i = 0 , … , n , π ≥ 0. 广义 Chebyshev 问题寻找覆盖 1 C 的函数,是它的形式对偶。

原问题

寻找使坏事件概率最大的分布。

对偶问题

寻找可由已知矩计算期望的最紧上界函数。

在教材的一、二阶矩多面体情形中,强对偶还可构造达到界的离散分布,说明界是锐的。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.1, Remarks 7.1–7.266 / 91

Chernoff 界

对任意 λ ≥ 0 ,事件 X ≥ u 上有 e λ ( X − u ) ≥ 1 ,故 P ( X ≥ u ) ≤ inf λ ≥ 0 E e λ ( X − u ) . 取对数得到一维凸问题 log ⁡ P ( X ≥ u ) ≤ inf λ ≥ 0 { − λ u + K ( λ ) } , K ( λ ) = log ⁡ E e λ X . K 是累积量生成函数(cumulant generating function),总为凸函数。

Gaussian 例

若 X ∼ N ( 0 , 1 ) ,则 K ( λ ) = λ 2 / 2 ; u ≥ 0 时最优 λ = u ,得到 P ( X ≥ u ) ≤ e − u 2 / 2 。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.2, equation (7.20)67 / 91

实验|只知道矩,尾部概率最多有多大?

可交互
max p ≥ 0 ∑ t i ≥ a p i s.t. ∑ i p i = 1 , ∑ i t i p i = 0 , ∑ i t i 2 p i = v

正在准备交互图…

额外知道支撑集,为什么可能得到更紧的概率上界?

多维 Chernoff 界

对 C ⊆ R m ,取指数上界函数 f ( z ) = e λ ⊤ z + μ 。若 − λ ⊤ z ≤ μ 对所有 z ∈ C 成立,则 f ≥ 1 C ,从而 log ⁡ P ( X ∈ C ) ≤ inf λ [ S C ( − λ ) + K X ( λ ) ] , 其中 S C ( y ) = sup z ∈ C y ⊤ z , K X ( λ ) = log ⁡ E e λ ⊤ X .

集合信息

支持函数 S C 描述事件集合在方向 − λ 上的最远位置。

分布信息

累积量生成函数 K X 描述随机向量沿方向 λ 的指数矩。

两项均凸,因此求最优方向是凸优化问题。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.2, generalized Chernoff bound69 / 91

Gaussian 落入多面体的界

若 X ∼ N ( 0 , I ) 、 C = { x ∣ A x ⪯ b } ≠ ∅ ,则 K X ( λ ) = ‖ λ ‖ 2 2 / 2 。利用 S C 的 LP 对偶,Chernoff 界由 QP minimize u , λ b ⊤ u + 1 2 ‖ λ ‖ 2 2 subject to u ⪰ 0 , A ⊤ u + λ = 0 给出。该 QP 又与投影问题对偶,最终得到 P ( X ∈ C ) ≤ exp ( − 1 2 dist ⁡ ( 0 , C ) 2 ) .

几何意义

集合离 Gaussian 中心越远,概率按距离平方的指数速度衰减;投影点决定最有效的分离方向。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.2, equations (7.21)–(7.22)70 / 91

应用例 10:二维告警区域

设 X ∼ N ( 0 , I 2 ) ,告警区域为 C = { x ∈ R 2 ∣ x 1 ≥ 2 , x 2 ≥ 1 } . 原点到 C 的投影是 ( 2 , 1 ) ,距离为 5 ,故 P ( X ∈ C ) ≤ e − 5 / 2 ≈ 0.0821 .

实际概率为 P ( X 1 ≥ 2 ) P ( X 2 ≥ 1 ) ,可由独立性精确计算;Chernoff 界只利用 Gaussian 累积量和集合几何,适用于更复杂多面体。

Chebyshev 与 Chernoff 概率界自编二维例;公式依据 §7.4.271 / 91

§7.4.3:信号星座与 Voronoi 区域

发送信号 s k ∈ R n ,接收 x = s k + v 。最小距离检测器选择距离 x 最近的信号。正确检测 s k 等价于 2 ( s j − s k ) ⊤ ( s k + v ) < ‖ s j ‖ 2 2 − ‖ s k ‖ 2 2 , j ≠ k . 这些线性不等式定义 s k 的 Voronoi 区域 V k 。

Chebyshev

只假设 E v = 0 、 E v v ⊤ = σ 2 I ,用 SDP 给出对所有相容噪声分布有效的正确率下界。

Chernoff

进一步假设 Gaussian 噪声,利用到错误 Voronoi 区域的距离给出指数型误差上界。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.4.3, Figures 7.5–7.8(定性重绘)72 / 91

两类概率界的区别

Chebyshev 型 Chernoff 型
已知信息 有限个矩或期望 完整的累积量生成函数
上界函数 f i 的线性组合,常为多项式 指数仿射函数 e λ ⊤ z + μ
典型优化 半无限 LP、SDP 光滑凸问题、QP
鲁棒性 对所有满足矩条件的分布有效 依赖特定分布族或指数矩
紧度 信息少时较保守,但可为锐界 分布假设正确时通常更紧

选择原则

界的可靠性由假设决定:矩信息可信而分布未知时用 Chebyshev;分布或累积量模型可信时用 Chernoff。

Chebyshev 与 Chernoff 概率界Boyd & Vandenberghe · §7.473 / 91

MATH6015 / CONVEX OPTIMIZATION

06

实验设计

MATH6015 · Lecture 0774 / 91

选择哪些测量

线性测量模型 y i = a i ⊤ x + w i , w i ∼ N ( 0 , 1 ) , i = 1 , … , m , 中, a i 从候选向量 v 1 , … , v p ∈ R n 中选择。最小二乘估计误差协方差为 E = ( ∑ i = 1 m a i a i ⊤ ) − 1 .

设计变量

不是待估参数 x ,而是每类实验做多少次;设计发生在采集数据之前。

评价对象

E 越小,任意线性函数 q ⊤ x 的估计方差 q ⊤ E q 越小,置信椭球也越小。

实验设计Boyd & Vandenberghe · §7.5, equation (7.23)75 / 91

信息矩阵与实验次数

设第 j 类实验做 m j 次, m j ∈ Z + 、 ∑ j m j = m ,则 E = ( ∑ j = 1 p m j v j v j ⊤ ) − 1 . 定义信息矩阵 M = ∑ j = 1 p m j v j v j ⊤ , 则 E = M − 1 。每次实验以秩一矩阵 v j v j ⊤ 增加信息。

若 M ⪰ M ~ ≻ 0 ,则 M − 1 ⪯ M ~ − 1 :更多方向性信息缩小误差协方差。

若候选向量未张成 R n , M 必然奇异;存在某个参数方向无法由任何实验辨识。

实验设计Boyd & Vandenberghe · §7.5, equation (7.23)76 / 91

连续松弛

令 λ j = m j / m 为第 j 类实验的比例,则 E ( λ ) = 1 m ( ∑ j = 1 p λ j v j v j ⊤ ) − 1 , λ ⪰ 0 , 1 ⊤ λ = 1. 忽略“ m λ j 必须为整数”得到凸的连续实验设计问题。

下界

松弛扩大可行集,因此其最优值给整数设计的理想下界。

回到整数设计

取 m j ≈ m λ j 并调整总和;当 m 相对 p 较大时,舍入误差通常较小。

λ 也可解释为随机选择实验类型的概率分布。

实验设计Boyd & Vandenberghe · §7.5.1, equations (7.24)–(7.25)77 / 91

D、E、A 三种最优性准则

令 M ( λ ) = ∑ j λ j v j v j ⊤ ≻ 0 ,忽略常数 1 / m 。

准则 优化目标 几何含义 统计含义
D-opt min − log ⁡ det M 最小化置信椭球体积 最大化总体信息体积
E-opt max λ min ( M ) 最小化最长半轴 最小化最坏方向方差
A-opt min tr ⁡ ( M − 1 ) 控制各轴平方和 最小化均方参数误差

三者都在概率单纯形 λ ⪰ 0 , 1 ⊤ λ = 1 上构成凸优化,但会选择不同的候选实验和权重。

实验设计Boyd & Vandenberghe · §7.5.2, equations (7.26)–(7.28)78 / 91

E-opt 与 A-opt 的 SDP 形式

E-opt 可直接写为 maximize λ , t t subject to ∑ j λ j v j v j ⊤ ⪰ t I , λ ⪰ 0 , 1 ⊤ λ = 1. A-opt 用 Schur 补表示 u k ≥ e k ⊤ M − 1 e k : min λ , u   1 ⊤ u s.t. [ M ( λ ) e k e k ⊤ u k ] ⪰ 0 , k = 1 , … , n , λ ⪰ 0 , 1 ⊤ λ = 1.

维度

M ( λ ) ∈ S n ;每个 Schur 补 LMI 的尺寸为 ( n + 1 ) × ( n + 1 ) 。

实验设计Boyd & Vandenberghe · §7.5.2, equations (7.27)–(7.28)79 / 91

对偶椭球与支持实验

D-opt 的对偶可写为 max W ≻ 0   log ⁡ det W + n log ⁡ n s.t. v i ⊤ W v i ≤ 1 , i = 1 , … , p . W ⋆ 定义包含全部候选点的最小体积中心椭球 E = { x ∣ x ⊤ W ⋆ x ≤ 1 } . 互补松弛给出 λ i ⋆ ( 1 − v i ⊤ W ⋆ v i ) = 0.

正权重实验必须位于对偶椭球边界;椭球内部候选点可有零权重。

E-opt 与 A-opt 也有相似椭球解释,只是对 W 采用不同的尺寸准则。

实验设计Boyd & Vandenberghe · §7.5.2, equations (7.29)–(7.31)80 / 91

E-opt 与 A-opt 的对偶

两种设计也可由包含候选测量向量的中心椭球刻画:

E-opt 对偶

maximize W ⪰ 0 tr ⁡ W subject to v i ⊤ W v i ≤ 1 , i = 1 , … , p . 它选择控制最坏估计方向的椭球尺度。

A-opt 对偶

maximize W ⪰ 0 ( tr ⁡ W 1 / 2 ) 2 subject to v i ⊤ W v i ≤ 1 , i = 1 , … , p . 它选择控制各参数方向平均误差的椭球尺度。

共同的几何约束

令 E ( W ) = { z ∣ z ⊤ W z ≤ 1 } . 约束 v i ⊤ W v i ≤ 1 要求所有候选向量均位于 E ( W ) 内;两种准则只改变对椭球轴长的评价方式。

两者仍满足 λ i ⋆ ( 1 − v i ⊤ W ⋆ v i ) = 0 ,因此正权重只落在支撑点上。

实验设计Boyd & Vandenberghe · §7.5.2, equations (7.30)–(7.31)81 / 91

不同准则的置信椭球

同一候选集合下,D/A/E-opt 与均匀设计产生不同的误差协方差;下图为教材 Figure 7.12 的结构性示意。

比较方式

三种最优准则回答不同问题,椭球之间一般不存在 PSD 意义下的全序;选择准则应对应实际误差代价。

实验设计Boyd & Vandenberghe · §7.5.2, Figure 7.12(结构性重绘)82 / 91

教材例:候选测量与稀疏设计

教材在 R 2 中给出 20 个候选测量向量。三种最优设计只对少数向量赋予非零权重:D-opt 使用 2 个,E-opt 使用 2 个,A-opt 使用 3 个。

稀疏性的来源

目标是矩阵准则,但对偶椭球只需由少数边界点支撑;因此连续设计常自动集中于少量实验。

实验设计Boyd & Vandenberghe · §7.5.2, Figures 7.9–7.12(定性重绘)83 / 91

应用例 11:二维传感器方向选择

候选测量方向为 v 1 = ( 1 , 0 ) , v 2 = ( 0 , 1 ) , v 3 = 1 2 ( 1 , 1 ) . 若只使用 v 1 , v 2 ,取权重 ( λ 1 , λ 2 ) = ( t , 1 − t ) ,则 M = diag ⁡ ( t , 1 − t ) , − log ⁡ det M = − log ⁡ [ t ( 1 − t ) ] . D-opt 在 t = 1 / 2 取得最优,给出各向同性信息矩阵 M = I / 2 。

只测一个方向

t = 0 或 1 时 M 奇异,另一个参数方向完全不可辨识。

加入斜向测量

v 3 可在方向受限或成本不同时改善设计;最优权重由完整凸问题决定。

实验设计自编数值例;D-opt 模型依据 §7.5.284 / 91

实验|把观测预算分配到哪里?

可交互
M = n ∑ i = 1 3 w i v i v i T v ( t ) = ( 1 t )

正在准备交互图…

为什么只在一个位置观测,无法同时识别直线的截距和斜率?

资源约束与多输出实验

资源限制

若第 j 类实验成本为 c j ,总预算为 B ,则加入 m c ⊤ λ ≤ B . 多个资源对应多条线性不等式,可同时表示时间、能耗与样本数限制。

每次得到多个测量

若实验 j 产生矩阵 V j = [ u j 1   ⋯   u j k j ] ,其信息贡献为 V j V j ⊤ = ∑ ℓ = 1 k j u j ℓ u j ℓ ⊤ . 原有设计公式保持不变。

联合测量还可单独作为一种候选实验,并赋予体现批量折扣的成本。

实验设计Boyd & Vandenberghe · §7.5.386 / 91

应用例 12:预算约束下的实验组合

三类实验的信息贡献为 v 1 v 1 ⊤ = [ 1 0 0 0 ] , v 2 v 2 ⊤ = [ 0 0 0 1 ] , v 3 v 3 ⊤ = [ 1 1 1 1 ] , 其中 v 3 = ( 1 , 1 ) 同时测量两个参数。成本 c = ( 1 , 1 , 1.6 ) ,平均成本上限为 1.2 。由对称性可取 λ 3 = z , λ 1 = λ 2 = 1 − z 2 , c ⊤ λ = 1 + 0.6 z ≤ 1.2 , 而信息矩阵的行列式为 det M ( z ) = 1 + 2 z − 3 z 2 4 . 它在可行区间 0 ≤ z ≤ 1 / 3 上递增,故 λ ⋆ = ( 1 / 3 , 1 / 3 , 1 / 3 ) ,且预算约束取等号。

模型解释

联合实验虽更昂贵,但它提供的额外信息使 D-opt 解主动用尽预算;权重由边际信息增益与成本共同决定。

实验设计自编模型;资源扩展依据 §7.5.387 / 91

连续设计如何落地

连续解 λ ⋆ 需要转换为总次数 m 的整数方案。

  1. 先取 m ~ j = ⌊ m λ j ⋆ ⌋ ;

  2. 将剩余次数分给小数部分最大的候选;

  3. 检查信息矩阵是否满秩,并计算实际 A/D/E 指标;

  4. 若预算或成组约束被破坏,在邻域内做小规模整数搜索。

例

m = 10 、 λ ⋆ = ( .46 , .34 , .20 ) 给出 ( 5 , 3 , 2 ) ,总数恰为 10 。

验证

舍入后的方案必须重新评价;连续最优值只是整数设计的参照,不是最终性能保证。

实验设计自编实施例;连续松弛依据 §7.5.188 / 91

MATH6015 / CONVEX OPTIMIZATION

07

总结

MATH6015 · Lecture 0789 / 91

第 7 章的结构

总结Boyd & Vandenberghe · Chapter 790 / 91

本讲回顾

下一讲:几何问题

协方差与信息矩阵将转化为 Gram geometry;
置信椭球与实验设计将转化为 extremal ellipsoid problems。

本讲目录

75 个源讲义内容单元 · 8 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义