MATH6015 / LECTURE 00
数学基础
向量、矩阵、导数与二次型
Jingwei Liang · MATH6015 最优化方法
数学基础回顾
MATH6015 / CONVEX OPTIMIZATION
01
课程信息
课程安排
参考文献
建模与数值方法
刘浩洋、户将、李勇锋、文再文
《最优化:建模、算法与理论》,高等教育出版社。S. Boyd and L. Vandenberghe
Convex Optimization, Cambridge University Press, 2004.A. Beck
First-order Methods in Optimization, MOS-SIAM Series on Optimization, 2017.J. Nocedal and S. Wright
Numerical Optimization, Springer Science & Business Media, 2006.
优化理论与凸分析
B. Polyak
Introduction to Optimization, Optimization Software, 1987.Y. Nesterov
Introductory Lectures on Convex Optimization: A Basic Course, Vol. 87, Springer, 2013.H. H. Bauschke and P. L. Combettes
Convex Analysis and Monotone Operator Theory in Hilbert Spaces, Vol. 408, Springer, 2011.R. T. Rockafellar
Convex Analysis, Princeton University Press, 2015.
阅读线索
数学工作的分工
2025 年,特定版本的 Gemini Deep Think 在国际数学奥林匹克竞赛试题上达到金牌标准。对于明确给定的问题,大模型已经能完成相当复杂的推导。
大模型可提供候选结果 数学学习要形成判断依据
推导正确只说明表达式内部成立;模型是否对应真实任务,还取决于对问题和结果的判断。
数学学习方式
基本概念和关键运算仍要亲自掌握;重复计算、图示与多种推导可以借助工具完成。两者共同服务于对问题的理解。
以时间 (秒)与位移 (米)的测量为例,工具可以提出直线模型并作图。我们仍需解释 中各量的单位与测量偏差。
思考:图中的偏差能否接受?还需要知道什么?
为什么学优化?
不同专业的任务各异,但都需要把可选择的变量、评价标准和实际限制联系起来。
本课程继续研究:怎样建立可信的优化模型,如何判断解的性质,以及如何选择并评估求解方法。向量和矩阵、导数与二阶近似,是这些讨论的共同语言。
MATH6015 / CONVEX OPTIMIZATION
02
向量与矩阵
数学基础回顾
从测量数据与简单函数出发,连接三组数学工具。
向量与矩阵
变量、关系与误差
导数与微分
函数的一阶变化
泰勒展开与二次型
函数的局部二阶形状
变量的表示 函数的变化 局部近似
直线与测量数据
测得三组数据:
| 输入 | 0 | 1 | 2 |
|---|---|---|---|
| 观测值 | 1 | 2 | 2 |
设模型为 ,对应的三个预测值是 数据 已给定;参数 待确定。
候选模型:
参数与向量
把两个参数合成列向量: 同时改变两个参数时, 同一组坐标可表示点;作为增量时,表示位移。
数乘与线性组合
设 逐分量计算得到 标准坐标向量 、 满足
内积
欧氏内积(inner product)
例如
对应分量相乘,再求和。
block body 输入分量数相同,输出为标量。
夹角与投影
非零向量夹角为 时, 因此内积的符号对应锐角、直角与钝角; 表示正交(orthogonal)。
若 是单位向量, 是 沿 的有符号投影长度。
实验|内积如何度量方向上的分量?
可交互正在准备交互图…
Cauchy–Schwarz 不等式何时取等号?零向量的夹角应如何处理?
范数与距离
欧氏范数(Euclidean norm)为 两个点 的距离是 。
对于 ,
思考:若 , 与 各是多少?
三种向量范数
范数
绝对值之和
范数
欧氏长度
范数
绝对值的最大值
图中边界对应 ,内部对应 。后续主要使用欧氏范数。
实验|不同范数,怎样定义“单位距离”?
可交互正在准备交互图…
同一个向量,为什么在不同范数下会有不同长度?
矩阵与预测
列数 = 输入参数数;行数 = 输出预测值数。
| 输入 | |||
|---|---|---|---|
| 对应矩阵行 |
矩阵乘法:按行
矩阵乘法:按列
设矩阵列为
矩阵同时定义线性映射
转置与维度
转置(transpose)交换行与列:
矩阵相乘时,内侧维度相等:
思考:
乘法顺序
对
内积:标量
外积:矩阵
复合映射中,最右侧的矩阵先作用:
线性无关与秩
列向量
本例
秩与参数识别
若三次输入均为
实验|单位圆经过矩阵后变成什么?
可交互正在准备交互图…
椭圆半轴为什么对应奇异值,而不是一般矩阵的特征值?
零空间
零空间(null space)包含不改变输出的参数增量:
block body
方程的可解性
按列理解
对原直线模型,任意预测值
解的唯一性
若
残差与平方和
预测与观测的差称为残差(residual):
从参数到误差
| 表达式 | 含义 |
|---|---|
| | |
| 多个线性关系;列向量的线性组合。 | |
| 两个向量的内积;一个向量的欧氏长度。 | |
| 参数变化 | |
| 预测与给定数据之间的误差平方和。 |
输入向量改变后,函数值怎样变化?
MATH6015 / CONVEX OPTIMIZATION
03
导数与微分
多元函数
参数组成向量;成本、误差或能耗可以表示为实值函数:
连续性
一元函数在
连续表示输出没有突变。多元极限必须对所有允许的接近方式成立,而不只是沿坐标轴接近。
连续性并不自动保证导数存在:
一元导数
一阶近似
当
图示取
基本求导规则
| 函数或运算 | 导数 |
|---|---|
| 常数 | |
| | |
| | |
乘积求导一般不是
偏导数
对二元函数
偏导数计算
思考:求
梯度
对
全微分
令
增量、梯度与微分
固定基点
| 对象 | 表达式 | 类型 |
|---|---|---|
| 输入增量 | 向量 | |
| 梯度 | 向量 | |
| 实际函数增量 | 标量 | |
| 微分作用于增量 | 标量 |
传统写法:
可微性
在内点
偏导数在邻域内存在且在该点连续,是可微的常用充分条件。
一元例子中,相对误差
微分估计
仍取
思考:用
切平面
在
蓝色:曲面红色:局部切平面
方向导数
给定单位向量
方向导数的计算
在
实验|哪一个单位方向最能对齐给定向量?
可交互正在准备交互图…
为什么 ℓ₁ 与 ℓ∞ 互为对偶,而欧氏范数自对偶?
链式法则
若
沿路径求导
设
链式法则计算
在
概念关系
偏导数存在与可微不是同一个条件;梯度与函数增量不是同一个对象。
一阶线性近似
左边:新位置
的函数值。右边:原值加上一阶变化。
近似的误差相对于
更小。
本例中
MATH6015 / CONVEX OPTIMIZATION
04
泰勒展开与二次型
一阶近似留下的二阶误差
上一节对
一元二阶 Taylor 展开
若
精确展开与局部近似
二元函数的二阶项
对
取
Hessian 矩阵
二阶偏导数是对一阶偏导数再求导。对二元函数,
Hessian 给出二阶项
由
多元二阶 Taylor 展开
若
其中
实验|一阶和二阶模型能相信多远?
可交互正在准备交互图…
位移缩小时,两个近似的误差按什么数量级下降?
二次型与交叉项
对实对称矩阵
思考:
二次型只看对称部分
对任意实方阵
二次型只由矩阵的对称部分决定;以下仅讨论实对称矩阵。
二次型的符号
设
| 性质 | 对二次型 | 记号 |
|---|---|---|
| 正定 | 对每个 | |
| 半正定 | 对每个 | |
| 不定 | 存在方向使其为正,也存在方向使其为负 |
三个二维二次型
| 性质 | ||
|---|---|---|
| 正定 | ||
| 半正定但不正定 | ||
| 不定 |
正定性不看元素符号
是半正定矩阵
设
何时正定?
由
第一节中“参数变化是否能被输出区分”的问题,正是这一条件的几何含义。
实验|一个矩阵,决定谷底还是鞍点
可交互正在准备交互图…
半正定为什么不保证唯一极小点?
特征方向与伸缩倍数
若非零向量
正交特征坐标
将两个特征向量单位化:
特征坐标消去交叉项
由于
在这组正交特征向量坐标下,交叉项消失;二次型成为平方项的加权和。
用特征值判断二次型
实对称矩阵有一组正交单位特征向量;在对应坐标中,
| 二次型性质 | 特征值条件 |
|---|---|
| 正定 | 全部 |
| 半正定 | 全部 |
| 不定 | 同时存在正、负特征值 |
思考:实对称矩阵的特征值为
实验|特征值如何塑造椭圆?
可交互正在准备交互图…
沿哪一个特征方向移动相同距离,函数值变化更大?
一阶项与二阶项
在基点
表达、变化与局部形状
| 任务 | 核心表达 |
|---|---|
| 表达多个线性关系 | |
| 表达大小、距离与误差 | |
| 描述一阶变化 | |
| 描述二阶变化 | |
| 判断二次型的符号 | 正定性与实对称矩阵的特征值 |
后续课程将在这些数学语言的基础上讨论优化模型、理论与算法。
MATH6015 / CONVEX OPTIMIZATION
05
补充与复习
方阵、可逆与唯一解
对方阵
向量值函数与 Jacobian 矩阵
若
实值函数是
偏导数存在,不代表连续
定义
线性代数复习
计算
、 、 与 。计算
,说明 是否满列秩、 是否只有零向量。令
、 ,计算 与 。
每一步先写出结果应有的维数,再进行计算。
微分与链式法则复习
仍设
求
及 。用一阶近似估计
,再与精确值比较。设
、 ,分别用“先代入”和链式法则计算
重点区分:偏导数、输入增量、实际函数增量和一阶近似。
二阶信息复习
求
的 Hessian,并将 写成 。判断下面的对称矩阵是否正定、是否半正定:
对
,验证 与 是特征向量,并写出对应特征值。
优先用展开、配方和定义解释,不必计算复杂特征多项式。
本讲回顾
带走的结构
向量、内积、范数与矩阵把几何关系写成可计算的代数关系。
可微性意味着局部线性化;梯度给出一阶变化,Hessian 描述二阶曲率。
二阶 Taylor 展开的中值形式,在二阶连续可微条件下用线段上某个中间点的 Hessian 给出严格等式。
二次型、正定性和特征方向共同决定局部几何与数值条件。
自测
给定一个二元函数,能否写出梯度、Hessian,并沿指定方向给出一阶与二阶展开?
给定对称矩阵,能否用二次型或特征值判断正定性,并在矩阵可逆时解释
与 在同一特征方向上的作用?