SYSTEMATIC MATHEMATICS

优化与凸分析

本课程用 8 个按内容定长的单元、42 个可见章节系统学习优化与凸分析,单元长度依次为 5、5、6、6、5、6、5、4。课程先分清决策变量、可行集、目标函数、单位与数据来源,并在信任任何算法前证明最小值何时存在。随后从光滑局部条件进入 Hessian 与 Newton 模型,再由凸集与凸函数把支撑平面、次梯度与共轭变成整体证书。等式与不等式约束通过切空间、KKT 条件、约束资格、弱对偶与强对偶及灵敏度处理。算法部分推导梯度、线搜索、动量、投影、近端、坐标、随机、次梯度、ADMM、单纯形、二次、锥与分支定界方法,并明确残差与失效边界。最终档案从模型到准确证书与扰动,独立重建一个约束分配问题。本课不冒充无限维变分分析、专门整数或整体优化、随机逼近理论,也不替代面向特定求解器的大规模数值训练。

本课程之前: 已完成多变量微积分、线性代数与实分析。课程假设掌握向量、范数、仿射集合、多变量导数、Taylor 展开、对称矩阵、特征值、紧性、连续性、数列与证明;不要求商业求解器、特定编程语言、超出有限平均的概率论、泛函分析或测度论。

COURSE FACTSLevel, chapters, units, prerequisite, and outcome
第 1 章

变量、目标函数与可行集共同定义问题

目标: 为什么 x=3 虽满足 f′(3)=0,却不是可接受答案?

优化是在允许的决策之间作比较。同一公式配上不同可行集就是不同问题;若决策违反约束,再小的目标值也没有意义。 先写出决策变量、它的允许集合、要最小化或最大化的量,以及每个系数的单位。本章要建立的准确结论是:给目标函数加同一个常数,会把每个目标值平移相同数量,因此最小化点集合不变。

本章研究的精确对象是:优化问题包含可行集 C 中的决策变量 x 与目标函数 f;“在 x∈C 条件下最小化 f(x)”要求找到 x*∈C,使每个 x∈C 都有 f(x*)≤f(x)。 “最小化”的意思是与每个可行选择比较,不是立刻求导。导数、乘子或算法只有在相应假设已经检查后才可使用。

本章具体题目是:在 0≤x≤2 条件下最小化 f(x)=(x−3)²+1。 请重建三个计算步骤,独立核验所得数值,再检查这个邻近失效边界:即使目标公式不变,改变可行集也可能改变答案;可行性不是附注。

给目标函数加同一个常数,会把每个目标值平移相同数量,因此最小化点集合不变。

对任意可行 x、y,f(x)≤f(y) 当且仅当 f(x)+c≤f(y)+c。

因此可行决策之间的每一组大小顺序都保持不变。

一个点在 C 上最小化 f,当且仅当它在 C 上最小化 f+c。

在 0≤x≤2 条件下最小化 f(x)=(x−3)²+1。

  1. 无约束顶点是 x=3,但因 3>2,它不可行。
  2. 在 [0,2] 上,x 向右端点移动时距离 |x−3| 递减。
  3. 取 x*=2,计算 f(2)=1²+1=2;每个更小的可行 x 都离 3 更远。

结果: 唯一可行最小化点为 x*=2,最小值为 2。