MATH6015 / 数学基础

MATH6015 / LECTURE 00

数学基础

向量、矩阵、导数与二次型

Jingwei Liang · MATH6015 最优化方法
数学基础回顾

数学基础回顾1 / 85

MATH6015 / CONVEX OPTIMIZATION

01

课程信息

MATH6015 · Lecture 002 / 85

课程安排

课程信息数学基础回顾3 / 85

参考文献

建模与数值方法

  • 刘浩洋、户将、李勇锋、文再文
    《最优化:建模、算法与理论》,高等教育出版社。

  • S. Boyd and L. Vandenberghe
    Convex Optimization, Cambridge University Press, 2004.

  • A. Beck
    First-order Methods in Optimization, MOS-SIAM Series on Optimization, 2017.

  • J. Nocedal and S. Wright
    Numerical Optimization, Springer Science & Business Media, 2006.

优化理论与凸分析

  • B. Polyak
    Introduction to Optimization, Optimization Software, 1987.

  • Y. Nesterov
    Introductory Lectures on Convex Optimization: A Basic Course, Vol. 87, Springer, 2013.

  • H. H. Bauschke and P. L. Combettes
    Convex Analysis and Monotone Operator Theory in Hilbert Spaces, Vol. 408, Springer, 2011.

  • R. T. Rockafellar
    Convex Analysis, Princeton University Press, 2015.

阅读线索

课程信息数学基础回顾4 / 85

数学工作的分工

2025 年,特定版本的 Gemini Deep Think 在国际数学奥林匹克竞赛试题上达到金牌标准。对于明确给定的问题,大模型已经能完成相当复杂的推导。

大模型可提供候选结果 数学学习要形成判断依据

推导正确只说明表达式内部成立;模型是否对应真实任务,还取决于对问题和结果的判断。

数学学习方式

基本概念和关键运算仍要亲自掌握;重复计算、图示与多种推导可以借助工具完成。两者共同服务于对问题的理解。

以时间 t (秒)与位移 y (米)的测量为例,工具可以提出直线模型并作图。我们仍需解释 y ≈ a + b t 中各量的单位与测量偏差。

思考:图中的偏差能否接受?还需要知道什么?

课程信息数学基础回顾6 / 85

为什么学优化?

不同专业的任务各异,但都需要把可选择的变量、评价标准和实际限制联系起来。

本课程继续研究:怎样建立可信的优化模型,如何判断解的性质,以及如何选择并评估求解方法。向量和矩阵、导数与二阶近似,是这些讨论的共同语言。

课程信息数学基础回顾7 / 85

MATH6015 / CONVEX OPTIMIZATION

02

向量与矩阵

MATH6015 · Lecture 008 / 85

数学基础回顾

从测量数据与简单函数出发,连接三组数学工具。

向量与矩阵

变量、关系与误差 θ , A θ − y

导数与微分

函数的一阶变化 d f ( x ) [ d ] = ∇ f ( x ) ⊤ d

泰勒展开与二次型

函数的局部二阶形状 1 2 d ⊤ H d

变量的表示 ⟶ 函数的变化 ⟶ 局部近似

向量与矩阵数学基础回顾9 / 85

直线与测量数据

测得三组数据:

输入 t 0 1 2
观测值 y 1 2 2

设模型为 y ≈ a + b t ,对应的三个预测值是 a , a + b , a + 2 b . 数据 t , y 已给定;参数 a , b 待确定。

候选模型: y = 1 + 0.5 t

向量与矩阵数学基础回顾10 / 85

参数与向量

把两个参数合成列向量: θ = ( a b ) ∈ R 2 . 同时改变两个参数时, θ + Δ θ = ( a + Δ a b + Δ b ) . 同一组坐标可表示点;作为增量时,表示位移。

向量与矩阵数学基础回顾11 / 85

数乘与线性组合

设 u = ( 1 2 ) , v = ( 2 − 1 ) . 逐分量计算得到 2 u − v = ( 2 4 ) − ( 2 − 1 ) = ( 0 5 ) . 标准坐标向量 e 1 = ( 1 , 0 ) ⊤ 、 e 2 = ( 0 , 1 ) ⊤ 满足 ( a , b ) ⊤ = a e 1 + b e 2 .

向量与矩阵数学基础回顾12 / 85

内积

欧氏内积(inner product) u ⊤ v = ∑ i = 1 n u i v i , u , v ∈ R n .

例如 u = ( 1 2 ) , v = ( 2 − 1 ) .

对应分量相乘,再求和。

block body u ⊤ ⏟ 1 × n v ⏟ n × 1 = u ⊤ v ⏟ 1 × 1 输入分量数相同,输出为标量。

向量与矩阵数学基础回顾13 / 85

夹角与投影

非零向量夹角为 ϑ 时, u ⊤ v = ‖ u ‖ 2 ‖ v ‖ 2 cos ⁡ ϑ . 因此内积的符号对应锐角、直角与钝角; u ⊤ v = 0 表示正交(orthogonal)。

若 e 是单位向量, u ⊤ e 是 u 沿 e 的有符号投影长度。 u = ( 3 , 4 ) ⊤ : u ⊤ e 1 = 3 , u ⊤ e 2 = 4.

向量与矩阵数学基础回顾14 / 85

实验|内积如何度量方向上的分量?

可交互
p = a T b a T a a ( a ≠ 0 ) | a T b | ≤ ‖ a ‖ 2 ‖ b ‖ 2

正在准备交互图…

Cauchy–Schwarz 不等式何时取等号?零向量的夹角应如何处理?

范数与距离

欧氏范数(Euclidean norm)为 ‖ u ‖ 2 = u ⊤ u = u 1 2 + ⋯ + u n 2 . 两个点 p , q 的距离是 ‖ p − q ‖ 2 。

对于 u = ( 3 , 4 ) ⊤ , ‖ u ‖ 2 = 5 , ‖ u ‖ 2 2 = 25.

思考:若 w = ( 6 , 8 ) ⊤ , ‖ w ‖ 2 与 ‖ w ‖ 2 2 各是多少?

向量与矩阵数学基础回顾16 / 85

三种向量范数

ℓ 1 范数

绝对值之和

‖ u ‖ 1 = ∑ i | u i |

‖ ( 3 , 4 ) ⊤ ‖ 1 = 7

ℓ 2 范数

欧氏长度

‖ u ‖ 2 = ∑ i u i 2

‖ ( 3 , 4 ) ⊤ ‖ 2 = 5

ℓ ∞ 范数

绝对值的最大值

‖ u ‖ ∞ = max i | u i |

‖ ( 3 , 4 ) ⊤ ‖ ∞ = 4

图中边界对应 ‖ u ‖ = 1 ,内部对应 ‖ u ‖ ≤ 1 。后续主要使用欧氏范数。

向量与矩阵数学基础回顾17 / 85

实验|不同范数,怎样定义“单位距离”?

可交互
‖ x ‖ p = ( | x 1 | p + | x 2 | p ) 1 / p , 1 ≤ p < ∞ ‖ x ‖ ∞ = max { | x 1 | , | x 2 | }

正在准备交互图…

同一个向量,为什么在不同范数下会有不同长度?

矩阵与预测

( 1 0 1 1 1 2 ) ⏟ A ∈ R 3 × 2 ( a b ) ⏟ θ ∈ R 2 = ( a a + b a + 2 b ) ⏟ A θ ∈ R 3 .

列数 = 输入参数数;行数 = 输出预测值数。

输入 t 0 1 2
对应矩阵行 [ 1 0 ] [ 1 1 ] [ 1 2 ]
向量与矩阵数学基础回顾19 / 85

矩阵乘法:按行

A 的每一行与参数向量取内积,得到一个预测值: ( A θ ) i = ∑ j = 1 2 A i j θ j .

向量与矩阵数学基础回顾20 / 85

矩阵乘法:按列

设矩阵列为 a 1 , … , a n ,则 A x = x 1 a 1 + ⋯ + x n a n . 本例: A θ = a ( 1 1 1 ) ⏟ 第一列 + b ( 0 1 2 ) ⏟ 第二列 . 输出由列向量的线性组合构成。

矩阵同时定义线性映射 A : R 2 → R 3 。

向量与矩阵数学基础回顾21 / 85

转置与维度

转置(transpose)交换行与列: ( A ⊤ ) j i = A i j .

矩阵相乘时,内侧维度相等: ( m × n ) ( n × p ) ⟶ m × p .

思考: A ⊤ A 和 A A ⊤ 各是几乘几?

向量与矩阵数学基础回顾22 / 85

乘法顺序

对 u = ( 1 , 2 ) ⊤ 、 v = ( 2 , − 1 ) ⊤ :

内积:标量

u ⊤ v ⏟ ( 1 × 2 ) ( 2 × 1 ) = 0.

外积:矩阵

u v ⊤ ⏟ ( 2 × 1 ) ( 1 × 2 ) = ( 2 − 1 4 − 2 ) .

复合映射中,最右侧的矩阵先作用:

( A B ) ⊤ = B ⊤ A ⊤ , A B  通常不等于  B A .

向量与矩阵数学基础回顾23 / 85

线性无关与秩

列向量 a 1 , … , a n 线性无关,指 c 1 a 1 + ⋯ + c n a n = 0 ⟹ c 1 = ⋯ = c n = 0. 秩(rank)是线性无关列的最大个数。

本例 A 的两列线性无关,所以 rank ⁡ ( A ) = 2. 列数也为 2 ,称为满列秩。

向量与矩阵数学基础回顾24 / 85

秩与参数识别

若三次输入均为 t = 1 , A ~ = ( 1 1 1 1 1 1 ) , A ~ ( a b ) = ( a + b a + b a + b ) . 两列相同, rank ⁡ ( A ~ ) = 1 。

( 1 , 2 ) 、 ( 2 , 1 ) 、 ( 0 , 3 ) 产生相同输出 ( 3 , 3 , 3 ) ⊤ 。

向量与矩阵数学基础回顾25 / 85

实验|单位圆经过矩阵后变成什么?

可交互
A = ( s h 0 1 ) = U Σ V T σ i ( A ) = λ i ( A A T )

正在准备交互图…

椭圆半轴为什么对应奇异值,而不是一般矩阵的特征值?

零空间

零空间(null space)包含不改变输出的参数增量: ker ⁡ A = { d ∈ R n : A d = 0 } . 对秩不足的 A ~ , d = ( 1 − 1 ) , A ~ d = 0. A ~ ( θ + s d ) = A ~ θ , s ∈ R .

block body θ = ( 1 , 2 ) ⊤ 与 θ + d = ( 2 , 1 ) ⊤ →   A ~   ( 3 , 3 , 3 ) ⊤

向量与矩阵数学基础回顾27 / 85

方程的可解性

按列理解 A x = c : c = x 1 a 1 + ⋯ + x n a n . 有解,当且仅当 c ∈ col ⁡ ( A ) ;列空间 col ⁡ ( A ) 由各列的线性组合构成。

对原直线模型,任意预测值 z = A θ 满足 z 1 − 2 z 2 + z 3 = 0. 观测 y = ( 1 , 2 , 2 ) ⊤ 却给出 1 − 2 ( 2 ) + 2 = − 1 ,所以 A θ = y 无解。

向量与矩阵数学基础回顾28 / 85

解的唯一性

若 x p 是 A x = c 的一个解,则全部解为 x p + ker ⁡ A . 因此在已有解的前提下, 解唯一 ⟺ ker ⁡ A = { 0 } .

向量与矩阵数学基础回顾29 / 85

残差与平方和

预测与观测的差称为残差(residual): r = A θ − y , ‖ r ‖ 2 2 = r ⊤ r = ∑ i = 1 3 r i 2 . 例如 θ = ( 1 , 1 ) ⊤ 时, A θ = ( 1 , 2 , 3 ) ⊤ , y = ( 1 , 2 , 2 ) ⊤ , r = ( 0 , 0 , 1 ) ⊤ . 所以 ‖ r ‖ 2 2 = 1 。任务可写作 min θ ∈ R 2 ‖ A θ − y ‖ 2 2 .

∙ 观测 ◻ 预测

向量与矩阵数学基础回顾30 / 85

从参数到误差

表达式 含义
x ∈ R n n 个变量组成一个列向量。
A x 多个线性关系;列向量的线性组合。
u ⊤ v ,   ‖ u ‖ 2 两个向量的内积;一个向量的欧氏长度。
A d = 0 参数变化 d 不改变输出。
‖ A x − c ‖ 2 2 预测与给定数据之间的误差平方和。

输入向量改变后,函数值怎样变化? ⟶ 导数与微分

向量与矩阵数学基础回顾31 / 85

MATH6015 / CONVEX OPTIMIZATION

03

导数与微分

MATH6015 · Lecture 0032 / 85

多元函数

参数组成向量;成本、误差或能耗可以表示为实值函数: f : D ⊆ R n ⟶ R . 本节使用 f ( x , y ) = x 2 + x y + y 2 , z = ( x , y ) ⊤ . 例如 f ( 1 , 2 ) = 7 。向量 z 是输入,函数值 f ( z ) 是输出;定义域 D 给出允许代入的输入。

导数与微分数学基础回顾33 / 85

连续性

一元函数在 t 0 连续: lim h → 0 g ( t 0 + h ) = g ( t 0 ) . 多元函数在 z 0 连续: lim ‖ d ‖ 2 → 0 f ( z 0 + d ) = f ( z 0 ) .

连续表示输出没有突变。多元极限必须对所有允许的接近方式成立,而不只是沿坐标轴接近。

连续性并不自动保证导数存在: g ( t ) = | t | 在 0 连续,但左、右导数分别为 − 1 与 1 。

导数与微分数学基础回顾34 / 85

一元导数

g ′ ( t 0 ) = lim h → 0 g ( t 0 + h ) − g ( t 0 ) h . 对 g ( t ) = t 2 , ( t 0 + h ) 2 − t 0 2 h = 2 t 0 + h   ⟶   2 t 0 . 可导  ⟹  连续;反向一般不成立。

导数与微分数学基础回顾35 / 85

一阶近似

当 h 很小时, g ( t 0 + h ) ≈ g ( t 0 ) + g ′ ( t 0 ) h . 在 t 0 = 1 , ( 1 + h ) 2 = 1 ⏟ 原值 + 2 h ⏟ 一阶变化 + h 2 ⏟ 余项 . 取 h = 0.01 :线性近似为 1.02 ,精确值为 1.0201 。

图示取 h = 0.2 ,以便看清二阶偏差。

导数与微分数学基础回顾36 / 85

基本求导规则

函数或运算 导数
常数 c 0
t p (正整数 p ) p t p − 1
e t e t
log ⁡ t ( t > 0 ) 1 / t
a g ( t ) + b h ( t ) a g ′ ( t ) + b h ′ ( t )
g ( t ) h ( t ) g ′ ( t ) h ( t ) + g ( t ) h ′ ( t )

乘积求导一般不是 g ′ ( t ) h ′ ( t ) 。

导数与微分数学基础回顾37 / 85

偏导数

对二元函数 f ( x , y ) , f x ( x , y ) = lim h → 0 f ( x + h , y ) − f ( x , y ) h . 求 f x 时,把 y 暂时看作常数。例如 ∂ ∂ x ( x y ) = y , ∂ ∂ x ( y 2 ) = 0. 保持 y 不变,并不意味着把 y 设为零。

导数与微分数学基础回顾38 / 85

偏导数计算

f ( x , y ) = x 2 + x y + y 2 . 保持 y 不变: f x ( x , y ) = 2 x + y . 因此 f x ( 1 , 2 ) = 4.

思考:求 f y ( x , y ) 与 f y ( 1 , 2 ) 。

导数与微分数学基础回顾39 / 85

梯度

对 f : R n → R , ∇ f ( z ) = ( ∂ f ∂ z 1 ( z ) ⋮ ∂ f ∂ z n ( z ) ) ∈ R n . 本例中 ∇ f ( x , y ) = ( 2 x + y x + 2 y ) , ∇ f ( 1 , 2 ) = ( 4 5 ) . 梯度的维数与输入的维数相同。

导数与微分数学基础回顾40 / 85

全微分

令 z = ( x , y ) ⊤ 、 d = ( h , k ) ⊤ 。当 x , y 分别改变 h , k ,可微函数满足 f ( x + h , y + k ) − f ( x , y ) ≈ f x ( x , y ) h + f y ( x , y ) k . f ( z + d ) − f ( z ) ≈ ∇ f ( z ) ⊤ d . 即为梯度与增量的内积。

导数与微分数学基础回顾41 / 85

增量、梯度与微分

固定基点 z 后:

对象 表达式 类型
输入增量 d 向量
梯度 ∇ f ( z ) 向量
实际函数增量 Δ f = f ( z + d ) − f ( z ) 标量
微分作用于增量 d f z [ d ] = ∇ f ( z ) ⊤ d 标量

传统写法: d f = f x d x + f y d y 。微分是关于输入增量的线性函数,通常不等于实际增量。

导数与微分数学基础回顾42 / 85

可微性

在内点 z ,可微意味着存在向量 g ,使得 f ( z + d ) = f ( z ) + g ⊤ d + r ( d ) , | r ( d ) | ‖ d ‖ 2 ⟶ 0 ( d → 0 ) . 此时 g = ∇ f ( z ) 。同一个线性近似适用于所有足够小的增量 d 。

偏导数在邻域内存在且在该点连续,是可微的常用充分条件。

一元例子中,相对误差 | h | 随 h → 0 而消失。

导数与微分数学基础回顾43 / 85

微分估计

仍取 f ( x , y ) = x 2 + x y + y 2 。在 z = ( 1 , 2 ) ⊤ : f ( z ) = 7 , ∇ f ( z ) = ( 4 5 ) . 对新点 ( 1.01 , 1.98 ) , d = ( 0.01 − 0.02 ) .

思考:用 f ( z + d ) ≈ f ( z ) + ∇ f ( z ) ⊤ d 估计 f ( 1.01 , 1.98 ) 。

导数与微分数学基础回顾44 / 85

切平面

在 ( x 0 , y 0 ) 附近, f ( x , y ) ≈ f ( x 0 , y 0 ) + f x ( x 0 , y 0 ) ( x − x 0 ) + f y ( x 0 , y 0 ) ( y − y 0 ) . 对 f = x 2 + x y + y 2 ,在 ( 1 , 2 ) 处的切平面是 w = 7 + 4 ( x − 1 ) + 5 ( y − 2 ) . 一元函数使用切线;二元函数使用切平面。

r = f ( x , y ) − 7 ;竖轴按 0.10 缩放
蓝色:曲面红色:局部切平面

导数与微分数学基础回顾45 / 85

方向导数

给定单位向量 d ,沿直线 z + t d 观察: φ ( t ) = f ( z + t d ) . 若 f 在 z 处可微, D d f ( z ) = lim t → 0 f ( z + t d ) − f ( z ) t = ∇ f ( z ) ⊤ d . 偏导数对应方向 e 1 , … , e n ;方向导数允许任意指定的单位方向。

导数与微分数学基础回顾46 / 85

方向导数的计算

在 z = ( 1 , 2 ) ⊤ , ∇ f ( z ) = ( 4 5 ) . 沿坐标方向的变化率分别为 4 与 5 。沿单位方向 d = 1 2 ( 1 1 ) 的变化率是多少?

导数与微分数学基础回顾47 / 85

实验|哪一个单位方向最能对齐给定向量?

可交互
‖ z ‖ ∗ = max ‖ x ‖ ≤ 1 z T x max ‖ x ‖ ≤ r z T x = r ‖ z ‖ ∗

正在准备交互图…

为什么 ℓ₁ 与 ℓ∞ 互为对偶,而欧氏范数自对偶?

链式法则

若 z ( t ) = ( x ( t ) , y ( t ) ) ⊤ 可导,且 f 可微, d d t f ( x ( t ) , y ( t ) ) = f x ( x ( t ) , y ( t ) ) x ′ ( t ) + f y ( x ( t ) , y ( t ) ) y ′ ( t ) . 向量形式: d d t f ( z ( t ) ) = ∇ f ( z ( t ) ) ⊤ z ′ ( t ) . 函数的变化率由各输入分量的变化速度共同决定。

导数与微分数学基础回顾49 / 85

沿路径求导

设 f ( x , y ) = x 2 + x y + y 2 , x ( t ) = t , y ( t ) = 1 − t . 先代入: f ( t , 1 − t ) = t 2 + t ( 1 − t ) + ( 1 − t ) 2 = t 2 − t + 1. 因此 d d t f ( t , 1 − t ) = 2 t − 1.

导数与微分数学基础回顾50 / 85

链式法则计算

在 ( x , y ) = ( t , 1 − t ) , f x = t + 1 , f y = 2 − t , x ′ ( t ) = 1 , y ′ ( t ) = − 1. d d t f ( t , 1 − t ) = ( t + 1 ) ⋅ 1 + ( 2 − t ) ⋅ ( − 1 ) = 2 t − 1. 两种计算给出同一结果。

导数与微分数学基础回顾51 / 85

概念关系

偏导数存在与可微不是同一个条件;梯度与函数增量不是同一个对象。

导数与微分数学基础回顾52 / 85

一阶线性近似

  • 左边:新位置 z + d 的函数值。

  • 右边:原值加上一阶变化。

  • 近似的误差相对于 ‖ d ‖ 2 更小。

本例中 f ( 1.01 , 1.98 ) ≈ 6.94 , f ( 1.01 , 1.98 ) = 6.9403 .

导数与微分数学基础回顾53 / 85

MATH6015 / CONVEX OPTIMIZATION

04

泰勒展开与二次型

MATH6015 · Lecture 0054 / 85

一阶近似留下的二阶误差

上一节对 f ( x , y ) = x 2 + x y + y 2 在 z 0 = ( 1 , 2 ) ⊤ 处得到一阶近似 f ( 1 + h , 2 + k ) ≈ 7 + 4 h + 5 k . 当 h = 0.01 ,   k = − 0.02 时,线性近似为 6.94 ;精确值为 6.9403 。 6.9403 − 6.94 ⏟ 近似误差 = 0.0003 . 这个差异来自没有保留的二阶变化,而不是数值舍入。

泰勒展开与二次型数学基础回顾55 / 85

一元二阶 Taylor 展开

若 g 在 t 0 附近二阶连续可导,则 g ( t 0 + h ) = g ( t 0 ) + g ′ ( t 0 ) h + 1 2 g ″ ( t 0 ) h 2 + o ( h 2 ) .

r ( h ) = o ( h 2 ) ⟺ r ( h ) h 2 → 0 ( h → 0 ) .

泰勒展开与二次型数学基础回顾56 / 85

精确展开与局部近似

g ( t ) = t 2 , t 0 = 1 ( 1 + h ) 2 = 1 + 2 h + h 2 . 没有三阶及以上项,故上式对每个 h 都成立。

g ( t ) = e t , t 0 = 0 e h ≈ 1 + h + 1 2 h 2 ( h   较小时 ) . 近似多项式只描述基点附近的行为。

泰勒展开与二次型数学基础回顾57 / 85

二元函数的二阶项

对 f ( x , y ) = x 2 + x y + y 2 ,直接展开为 f ( x + h , y + k ) = f ( x , y ) + ( 2 x + y ) h + ( x + 2 y ) k + h 2 + h k + k 2 ⏟ 线性近似没有保留的二阶项 .

取 h = 0.01 ,   k = − 0.02 ,二阶项为 h 2 ⏟ 0.0001 + h k ⏟ − 0.0002 + k 2 ⏟ 0.0004 = 0.0003 . 它正好等于上一页中一阶近似与精确值之差。

泰勒展开与二次型数学基础回顾58 / 85

Hessian 矩阵

二阶偏导数是对一阶偏导数再求导。对二元函数, ∇ 2 f ( x , y ) = ( f x x ( x , y ) f x y ( x , y ) f y x ( x , y ) f y y ( x , y ) ) . 若 f 二阶连续可微,则 f x y = f y x ,因此 Hessian 矩阵是对称矩阵。

泰勒展开与二次型数学基础回顾59 / 85

Hessian 给出二阶项

由 f x = 2 x + y 、 f y = x + 2 y ,有 H := ∇ 2 f ( x , y ) = ( 2 1 1 2 ) , d = ( h , k ) ⊤ .

1 2 d ⊤ H d = 1 2 ( h k ) ( 2 1 1 2 ) ( h k ) = h 2 + h k + k 2 .

泰勒展开与二次型数学基础回顾60 / 85

多元二阶 Taylor 展开

若 f 在内点 z 附近二阶连续可微,则 f ( z + d ) = f ( z ) + ∇ f ( z ) ⊤ d + 1 2 d ⊤ ∇ 2 f ( z ) d + o ( ‖ d ‖ 2 2 ) .

其中 d ⊤ ∇ 2 f ( z ) d 的维数是 ( 1 × n ) ( n × n ) ( n × 1 ) ,结果为标量。本例 f 是二次函数,余项恒为零。

泰勒展开与二次型数学基础回顾61 / 85

实验|一阶和二阶模型能相信多远?

可交互
T 1 ( x ) = e a + e a ( x − a ) T 2 ( x ) = e a + e a ( x − a ) + 1 2 e a ( x − a ) 2

正在准备交互图…

位移缩小时,两个近似的误差按什么数量级下降?

二次型与交叉项

对实对称矩阵 Q = ( a b b c ) , 二次型为 q ( d ) = d ⊤ Q d = a d 1 2 + 2 b d 1 d 2 + c d 2 2 . 非对角元素 b 同时在两个对称位置出现,因此交叉项系数是 2 b 。

思考: d 1 2 + 6 d 1 d 2 + 4 d 2 2 对应的对称矩阵是什么?

泰勒展开与二次型数学基础回顾63 / 85

二次型只看对称部分

对任意实方阵 B ,因为 d ⊤ B d 是标量, d ⊤ B d = ( d ⊤ B d ) ⊤ = d ⊤ B ⊤ d . 于是可将 B 分解为对称部分与反对称部分: B = B + B ⊤ 2 ⏟ S = S ⊤ + B − B ⊤ 2 ⏟ K = − K ⊤ , d ⊤ K d = 0.

二次型只由矩阵的对称部分决定;以下仅讨论实对称矩阵。

泰勒展开与二次型数学基础回顾64 / 85

二次型的符号

设 Q = Q ⊤ ∈ R n × n 。

性质 对二次型 d ⊤ Q d 的要求 记号
正定 对每个 d ≠ 0 ,都有 d ⊤ Q d > 0 Q ≻ 0
半正定 对每个 d ,都有 d ⊤ Q d ≥ 0 Q ⪰ 0
不定 存在方向使其为正,也存在方向使其为负
泰勒展开与二次型数学基础回顾65 / 85

三个二维二次型

Q d ⊤ Q d 性质
( 1 0 0 1 ) d 1 2 + d 2 2 正定
( 1 0 0 0 ) d 1 2 半正定但不正定
( 1 0 0 − 1 ) d 1 2 − d 2 2 不定
泰勒展开与二次型数学基础回顾66 / 85

正定性不看元素符号

B = ( 1 2 2 1 ) . 其所有元素为正。取 d = ( 1 , − 1 ) ⊤ : d ⊤ B d = − 2 < 0. 所以 B 不正定。

C = ( 2 − 1 − 1 2 ) . 虽有负的非对角元素,但 d ⊤ C d = ( d 1 − d 2 ) 2 + d 1 2 + d 2 2 > 0 ( d ≠ 0 ) . 所以 C ≻ 0 。

泰勒展开与二次型数学基础回顾67 / 85

A ⊤ A 是半正定矩阵

设 A ∈ R m × n 。对任意 d ∈ R n , d ⊤ A ⊤ A d = ( A d ) ⊤ ( A d ) = ‖ A d ‖ 2 2 ≥ 0. 且 A ⊤ A 是对称矩阵,故 A ⊤ A ⪰ 0.

泰勒展开与二次型数学基础回顾68 / 85

A ⊤ A 何时正定?

由 d ⊤ A ⊤ A d = ‖ A d ‖ 2 2 可知,对每个非零 d 都严格为正,当且仅当没有非零方向被 A 映为零。因此 A ⊤ A ≻ 0 ⟺ ker ⁡ A = { 0 } ⟺ A   满列秩 .

第一节中“参数变化是否能被输出区分”的问题,正是这一条件的几何含义。

泰勒展开与二次型数学基础回顾69 / 85

实验|一个矩阵,决定谷底还是鞍点

可交互
f ( x ) = 1 2 x T H x , H = ( 1 b b d ) H ⪰ 0 ⟺ d ≥ b 2

正在准备交互图…

半正定为什么不保证唯一极小点?

特征方向与伸缩倍数

若非零向量 v 满足 H v = λ v ,则 v 为特征向量, λ 为特征值。 H = ( 2 1 1 2 ) . H ( 1 1 ) = 3 ( 1 1 ) , H ( 1 − 1 ) = ( 1 − 1 ) . 本例的特征值为 3 和 1 。

泰勒展开与二次型数学基础回顾71 / 85

正交特征坐标

将两个特征向量单位化: u 1 = 1 2 ( 1 1 ) , u 2 = 1 2 ( 1 − 1 ) . 它们满足 ‖ u 1 ‖ 2 = ‖ u 2 ‖ 2 = 1 , u 1 ⊤ u 2 = 0. 任意 d = ( d 1 , d 2 ) ⊤ 可写成 d = s u 1 + t u 2 , 其中新的坐标为 s = d 1 + d 2 2 , t = d 1 − d 2 2 .

泰勒展开与二次型数学基础回顾72 / 85

特征坐标消去交叉项

由于 H u 1 = 3 u 1 、 H u 2 = u 2 ,对 d = s u 1 + t u 2 , d ⊤ H d = ( s u 1 + t u 2 ) ⊤ ( 3 s u 1 + t u 2 ) = 3 s 2 + t 2 .

在这组正交特征向量坐标下,交叉项消失;二次型成为平方项的加权和。

泰勒展开与二次型数学基础回顾73 / 85

用特征值判断二次型

实对称矩阵有一组正交单位特征向量;在对应坐标中, d ⊤ Q d = λ 1 c 1 2 + ⋯ + λ n c n 2 .

二次型性质 特征值条件
正定 全部 λ i > 0
半正定 全部 λ i ≥ 0
不定 同时存在正、负特征值

思考:实对称矩阵的特征值为 2 , 0 。它是否正定?是否半正定?

泰勒展开与二次型数学基础回顾74 / 85

实验|特征值如何塑造椭圆?

可交互
f ( x ) = 1 2 x T Q x Q = R ( θ ) ( 1 0 0 κ ) R ( θ ) T

正在准备交互图…

沿哪一个特征方向移动相同距离,函数值变化更大?

一阶项与二阶项

在基点 z 0 = ( 1 , 2 ) ⊤ ,对 d = ( h , k ) ⊤ , f ( z 0 + d ) = 7 + ( 4 5 ) d ⏟ 一阶项 + 1 2 d ⊤ ( 2 1 1 2 ) d ⏟ 二阶项 = 7 + 4 h + 5 k + h 2 + h k + k 2 .

泰勒展开与二次型数学基础回顾76 / 85

表达、变化与局部形状

任务 核心表达
表达多个线性关系 A x
表达大小、距离与误差 ‖ x ‖ 2 ,   ‖ A x − c ‖ 2
描述一阶变化 ∇ f ( z ) ⊤ d
描述二阶变化 1 2 d ⊤ ∇ 2 f ( z ) d
判断二次型的符号 正定性与实对称矩阵的特征值

后续课程将在这些数学语言的基础上讨论优化模型、理论与算法。

泰勒展开与二次型数学基础回顾77 / 85

MATH6015 / CONVEX OPTIMIZATION

05

补充与复习

MATH6015 · Lecture 0078 / 85

方阵、可逆与唯一解

对方阵 B ∈ R n × n ,下列陈述等价: B  可逆 ⟺ rank ⁡ ( B ) = n ⟺ ker ⁡ B = { 0 } ⟺ 对每个  b ,   B x = b  有唯一解 . 例如 B = ( 2 0 0 3 ) , B − 1 = ( 1 / 2 0 0 1 / 3 ) . 可逆时 B − 1 B = B B − 1 = I 。一般长方形矩阵没有通常意义下的双侧逆矩阵。

补充与复习数学基础回顾79 / 85

向量值函数与 Jacobian 矩阵

若 F : R n → R m ,则一阶导数可组织成 J F ( x ) = [ ∂ F i ∂ x j ( x ) ] i , j ∈ R m × n . 可微时, F ( x + d ) ≈ F ( x ) + J F ( x ) d . 线性函数 F ( x ) = A x 的 Jacobian 就是 A 。

实值函数是 m = 1 的情形,此时 J f ( x ) = ∇ f ( x ) ⊤ 。行对应输出分量,列对应输入分量。

补充与复习数学基础回顾80 / 85

偏导数存在,不代表连续

定义 g ( x , y ) = { x y x 2 + y 2 , ( x , y ) ≠ ( 0 , 0 ) , 0 , ( x , y ) = ( 0 , 0 ) . 沿坐标轴 g ( h , 0 ) = g ( 0 , h ) = 0 ,所以 g x ( 0 , 0 ) = g y ( 0 , 0 ) = 0. 但沿 y = x ≠ 0 , g ( x , x ) = 1 2 ≠ g ( 0 , 0 ) . 所以它在原点不连续,更不可微。

补充与复习数学基础回顾81 / 85

线性代数复习

  1. 计算 A θ 、 r = A θ − y 、 ‖ r ‖ 2 与 ‖ r ‖ 2 2 。

  2. 计算 A ⊤ A ,说明 A 是否满列秩、 ker ⁡ A 是否只有零向量。

  3. 令 u = ( 1 , 2 ) ⊤ 、 v = ( 2 , − 1 ) ⊤ ,计算 u ⊤ v 与 u v ⊤ 。

每一步先写出结果应有的维数,再进行计算。

补充与复习数学基础回顾82 / 85

微分与链式法则复习

仍设 f ( x , y ) = x 2 + x y + y 2 。

  1. 求 ∇ f ( x , y ) 及 ∇ f ( 1 , 2 ) 。

  2. 用一阶近似估计 f ( 1.02 , 1.99 ) ,再与精确值比较。

  3. 设 x ( t ) = t 、 y ( t ) = t 2 ,分别用“先代入”和链式法则计算 d d t f ( t , t 2 ) .

重点区分:偏导数、输入增量、实际函数增量和一阶近似。

补充与复习数学基础回顾83 / 85

二阶信息复习

  1. 求 f ( x , y ) = x 2 + x y + y 2 的 Hessian,并将 f ( x , y ) 写成 1 2 z ⊤ H z 。

  2. 判断下面的对称矩阵是否正定、是否半正定: Q = ( 1 2 2 4 ) .

  3. 对 H = ( 2 1 1 2 ) ,验证 ( 1 , 1 ) ⊤ 与 ( 1 , − 1 ) ⊤ 是特征向量,并写出对应特征值。

优先用展开、配方和定义解释,不必计算复杂特征多项式。

补充与复习数学基础回顾84 / 85

本讲回顾

带走的结构

  1. 向量、内积、范数与矩阵把几何关系写成可计算的代数关系。

  2. 可微性意味着局部线性化;梯度给出一阶变化,Hessian 描述二阶曲率。

  3. 二阶 Taylor 展开的中值形式,在二阶连续可微条件下用线段上某个中间点的 Hessian 给出严格等式。

  4. 二次型、正定性和特征方向共同决定局部几何与数值条件。

自测

  1. 给定一个二元函数,能否写出梯度、Hessian,并沿指定方向给出一阶与二阶展开?

  2. 给定对称矩阵,能否用二次型或特征值判断正定性,并在矩阵可逆时解释 A 与 A − 1 在同一特征方向上的作用?

本讲目录

72 个源讲义内容单元 · 7 个互动页面 · 完整离线可用

返回课程讲义目录

实验详情

图形详情

适合窗口拖动查看局部 · Esc 返回讲义