引言

什么是优化?其本质是在将问题进行数学建模后求出最优解的过程。一般的优化问题包括:目标函数、不等式/等式约束函数(可选)、优化(决策)变量与变量空间。

  • 最优化理论主要研究的内容包括解决的方法(算法),为什么方法有效(理论)以及如何实现(软件/编程)。
  • 在本课程中,主要研究凸优化问题,主要因为:
    • 凸优化理论已得到较为充分的研究,有很多高效且可靠的算法
    • 很多现实问题可以转化为凸优化问题
    • 对凸优化问题的解决思路可以指导解决更一般的问题(非凸优化)

优化问题的分类

  1. 连续与离散优化问题
    连续优化问题是指决策变量连续取值的优化问题,例如在平面、区间等集合中取值;

    • 连续优化问题中,在可微性等适当条件下,一个点的最优性信息可以通过其邻域内的其他点的信息来推断。

    离散优化问题是指决策变量的可行集为离散集合,例如整数集合(整数规划)、离散点集等。

    • 离散优化问题通常不能直接利用导数信息;连续松弛是重要的求解思路之一,但具体难度取决于问题结构。
  2. 无约束与约束优化问题
    无约束优化问题是决策变量x\boldsymbol{x}没有约束,即可行集为Rn\R^n;约束优化问题是决策变量x\boldsymbol{x}有约束,即可行集为Rn\R^n的子集。

    • 约束问题可以通过引入指示函数(indicator function)来转化为无约束问题。比如: min⁡x∈Rn f(x)s.t. x∈C⟹min⁡x∈Rn f(x)+IC(x),\min_{\boldsymbol{x} \in \mathbb{R}^n} \ f(\boldsymbol{x}) \quad \text{s.t.} \ \boldsymbol{x} \in C\Longrightarrow \min_{\boldsymbol{x} \in \mathbb{R}^n} \ f(\boldsymbol{x}) + I_C(\boldsymbol{x}), 其中IC(x)={0,x∈C∞,x∉CI_C(\boldsymbol{x})=\begin{cases}0,\boldsymbol{x}\in C\\\infty,\boldsymbol{x}\not\in C\end{cases}。除此之外,约束优化问题还可以通过拉格朗日乘子法、罚函数法转化为无约束优化问题。
  3. 确定性与随机优化问题

    • 确定性优化问题的目标函数和约束由给定的数据确定;求解时也可以采用随机算法。
    • 随机优化问题的模型涉及随机量,利用其分布信息优化期望目标或处理随机约束。

    注意问题的随机性与算法的随机性是不同的概念。

  4. 凸优化与非凸优化问题

    • 凸优化问题是指目标函数为凸函数、可行域为凸集的优化问题。凸优化问题的任何局部解都是全局最优解。
    • 非凸优化问题是指目标函数非凸、或可行域不是凸集的优化问题。非凸优化问题的局部最优解不一定是全局最优解。集合大得多,也困难得多。

    在实际中,最好是解决一个凸优化问题,或是将原问题转换(近似)为一个(或一系列)凸优化问题来逐步解决。

    历史上曾经将优化问题划分为线性优化与非线性优化,但之后发现线性优化能够解决的问题范围太小,于是重新划分为凸优化与非凸优化问题。
    另一方面,如今神经网络的优化往往是非凸优化,这可能也需要单独作为一个研究领域。

凸性的基本概念

  1. 凸集:在集合C⊆RnC \subseteq \mathbb{R}^n中,对∀x,y∈C\forall \boldsymbol{x}, \boldsymbol{y} \in C,和0≤θ≤10 \leq \theta \leq 1,有

    θx+(1−θ)y∈C.\theta \boldsymbol{x} + (1 - \theta)\boldsymbol{y} \in C.

    直观理解:凸集中任意两点连线都在集合中。

  2. 凸函数
    称函数f:Rn→Rf: \mathbb{R}^n \to \mathbb{R}为凸函数,如果dom f\text{dom}\ f(定义域)是凸集,且∀x,y∈dom f,0≤θ≤1\forall \boldsymbol{x}, \boldsymbol{y} \in \text{dom}\ f, 0 \leq \theta \leq 1,有

    f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y).f(\theta \boldsymbol{x} + (1 - \theta)\boldsymbol{y}) \leq \theta f(\boldsymbol{x}) + (1 - \theta)f(\boldsymbol{y}).

    直观理解:函数上任意两点所连接的弦落在函数以上。

    • 等价地,函数为凸当且仅当其在任意直线与定义域的交集上为凸,即∀x∈dom f,v∈Rn\forall \boldsymbol{x} \in \text{dom}\ f, \boldsymbol{v} \in \mathbb{R}^n,g(t)=f(x+tv)g(t) = f(\boldsymbol{x} + t\boldsymbol{v}) 是凸函数,t∈{t∣x+tv∈dom f}t \in \{t \mid \boldsymbol{x} + t\boldsymbol{v} \in \text{dom}\ f\}。【特别适用于判断高维函数的凸性】
    • 特别地,对于二次型函数f(x)=x⊤Ax,x∈Rnf(\boldsymbol{x})=\boldsymbol{x}^\top A\boldsymbol{x},\boldsymbol{x}\in\R^n,矩阵AA的正定性决定了函数的凸性。
  3. 凸优化问题

    min⁡x∈Df0(x)s.t.fi(x)≤0,i=1,…,m,hj(x)=0,j=1,…,p\begin{aligned} \min_{\boldsymbol{x} \in D} \quad & f_0(\boldsymbol{x}) \\ \text{s.t.} \quad & f_i(\boldsymbol{x}) \leq 0, \quad i = 1, \dots, m, \\ & h_j(\boldsymbol{x}) = 0, \quad j = 1, \dots, p \end{aligned}

    其中,

    • 目标函数 f0f_0 和不等约束函数 fi,i=1,…,mf_i, i = 1, \dots, m 均为凸函数
    • 等式约束函数 hj,j=1,…,ph_j, j = 1, \dots, p 为仿射的 (即hj(x)=aj⊤x+bjh_j(\boldsymbol{x}) = a_j^\top \boldsymbol{x} + b_j)
    • 优化定义域 D=dom f0∩⋂idom fiD = \text{dom } f_0 \cap \bigcap_i \text{dom } f_i

    典例:最小二乘、线性规划(下面会详细介绍)

  4. 局部最优与全局最优
    凸优化有一个重要特性:局部最小值即为全局最小值。具体而言,严格地说,若xx为可行解(x∈Dx \in D),且在一个邻域内最小:

    f(x)≤f(y)∀y∈D,∥x−y∥2≤ρf(x) \leq f(y) \quad \forall y\in D, \|x - y\|_2 \leq \rho

    则f(x)≤f(y), ∀y∈Df(x) \leq f(y),\ \forall y\in D。

  5. 非凸优化转为凸优化
    一般的非凸优化问题主要有两个方面的途径解决:

    1. 局部优化方法
      • 利用局部信息迭代寻找驻点或局部最小值
      • 可使用多个初始点改善结果
      • 通常无法得到全局最优保证或全局误差界
      • 通常速度较快
    2. 全局优化方法
      • 搜索全局最优(如粒子群优化、模拟退火);这类启发式方法通常无有限时间全局最优保证
      • 最坏情况下,计算代价可能随问题规模呈指数级增长

向量与矩阵范数

向量范数

定义:若函数 ∥⋅∥:Rn→R\|\cdot\|: \mathbb{R}^n \to \mathbb{R} 满足以下条件:

  • 齐次性:∀v∈Rn,∀α∈R\forall \boldsymbol{v} \in \mathbb{R}^n, \forall \alpha \in \mathbb{R},有∥αv∥=∣α∣∥v∥\|\alpha \boldsymbol{v}\| = |\alpha| \|\boldsymbol{v}\|;
  • 三角不等式:∀v,w∈Rn\forall \boldsymbol{v}, \boldsymbol{w} \in \mathbb{R}^n,有∥v+w∥≤∥v∥+∥w∥\|\boldsymbol{v} + \boldsymbol{w}\| \leq \|\boldsymbol{v}\| + \|\boldsymbol{w}\|;
  • 正定性:∀v∈Rn\forall \boldsymbol{v} \in \mathbb{R}^n,有 ∥v∥≥0\|\boldsymbol{v}\| \geq 0,且∥v∥=0\|\boldsymbol{v}\| = 0当且仅当v=0\boldsymbol{v} = \boldsymbol{0}.

则称∥⋅∥\|\cdot\|为Rn\mathbb{R}^n上的向量范数.

  • 常用向量范数:ℓp\ell_p范数(p≥1p\geq 1) ∥v∥p=(∑i=1n∣vi∣p)1/p\|\boldsymbol{v}\|_p=\left(\sum_{i=1}^n|v_i|^p\right)^{1/p} 其中v∈Rn\boldsymbol{v}\in\R^n。在实际优化问题中pp最常取1,21,2或∞\infty。ℓ∞\ell_{\infty}范数定义为∥v∥∞=max⁡1≤i≤n∣vi∣\displaystyle\|\boldsymbol{v}\|_{\infty}=\max_{1\leq i\leq n}|v_i|。
    • 当然也可以定义ℓ0\ell_0“范数”:∥v∥0=∑i=1n1{vi≠0}\displaystyle\|\boldsymbol{v}\|_0=\sum_{i=1}^n\boldsymbol{1}_{\{v_i\neq 0\}},不过它并不是向量范数(齐次性不满足)。可以证明,ℓ1\ell_1范数是ℓ0\ell_0范数在{v∣∥v∥∞≤1}\{\boldsymbol{v}\mid\|\boldsymbol{v}\|_{\infty}\leq 1\}上的凸包络(最大凸下界函数)。

矩阵范数

定义与向量范数类似,只需要将定义域改为Rm×n\R^{m\times n}即可。典型的矩阵范数如下:

  • 核范数:矩阵的奇异值之和 ∥A∥∗=∑i=1min⁡{m,n}σi(A)=∥σ(A)∥1\|A\|_*=\sum_{i=1}^{\min\{m,n\}}\sigma_i(A)=\|\boldsymbol{\sigma}(A)\|_1 由此可见核范数就是奇异值向量的ℓ1\ell_1范数。相应地,也有奇异值向量ℓ0\ell_0范数对应的矩阵范数:矩阵秩函数 rank⁡(A)=∑i=1min⁡{m,n}1{σi(A)>0}=∥σ(A)∥0.\operatorname{rank}(A) = \sum_{i=1}^{\min\{m,n\}} \mathbb{1}_{\{\sigma_i(A) > 0\}} = \|\boldsymbol{\sigma}(A)\|_0. 同样在范数单位球上,核范数是秩函数的凸包络,因此其在优化中常被用来寻找低秩矩阵。
  • Frobenius范数(F范数) ∥A∥F=∑i=1m∑j=1n∣aij∣2=trace(A⊤A)=∑i,jaij2\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2}=\sqrt{\text{trace}(A^\top A)}=\sqrt{\sum_{i,j}a_{ij}^2} 其可以看作向量ℓ2\ell_2范数的推广。
    • F范数具有正交不变性:∥UAV∥F=∥A∥F\|UAV\|_F=\|A\|_F
    • 在优化中,常用的矩阵内积是Frobenius内积: ⟨A,B⟩F=trace(A⊤B)=∑i=1m∑j=1naijbij\langle A,B\rangle_F=\text{trace}(A^\top B)=\sum_{i=1}^m\sum_{j=1}^na_{ij}b_{ij}
  • 谱范数:矩阵的最大奇异值 ∥A∥=σmax⁡(A)=λmax⁡(A⊤A)\|A\|=\sigma_{\max}(A)=\sqrt{\lambda_{\max}(A^\top A)} 与F范数的关系:∥A∥≤∥A∥F\|A\|\leq\|A\|_F
补充

与向量ℓp\ell_p范数类似,矩阵范数也可以用 Schatten 范数统一表示:

  1. Schatten p 范数:∥X∥Sp=(∑i=1min⁡{m,n}σi(X)p)1/p\displaystyle\|X\|_{S_p} = \left( \sum_{i=1}^{\min\{m,n\}} \sigma_i(X)^p \right)^{1/p}
  2. 当 p=1p=1 时,∥X∥S1=∥σ(X)∥1=∥X∥∗\|X\|_{S_1} = \|\boldsymbol{\sigma}(X)\|_1 = \|X\|_*
  3. 当 p→0p \to 0 时(非范数),∥X∥S0=∥σ(X)∥0=rank⁡(X)\|X\|_{S_0} = \|\boldsymbol{\sigma}(X)\|_0 = \operatorname{rank}(X)
  4. 当 p→∞p \to \infty 时,∥X∥S∞=∥σ(X)∥∞=σ1(X)\|X\|_{S_\infty} = \|\boldsymbol{\sigma}(X)\|_\infty = \sigma_1(X)

另外,我们还可以从向量范数诱导得到另一类矩阵范数:

∥X∥p=sup⁡v≠0∥Xv∥p∥v∥p\|X\|_p=\sup_{\boldsymbol{v}\neq 0}\frac{\|X\boldsymbol{v}\|_p}{\|\boldsymbol{v}\|_p}

特别地,当p=2p=2时,这个范数就是谱范数。

范数在优化算法中的作用:

  • 作为目标函数的正则项,对估计量的复杂度进行不同程度的惩罚:

    惩罚项 估计量的结构 例子
    ∣β∣1|\beta|_1 稀疏:多数分量为 0 Lasso
    ∣X∣∗|X|_* 低秩 矩阵补全
    ∣β∣22|\beta|_2^2 收缩,分量一般非零 岭回归
  • 作为最快下降的度量:设优化变量为矩阵W∈Rm×nW \in \mathbb{R}^{m \times n}(如神经网络一层的权重),目标函数在当前点的梯度G=∇f(W)∈Rm×nG = \nabla f(W) \in \mathbb{R}^{m \times n}。范数∥⋅∥\|\cdot\|下的最速下降方向为

    Δ⋆=arg⁡min⁡{⟨G,Δ⟩:Δ∈Rm×n, ∥Δ∥≤1}:\Delta^\star = \arg\min \left\{ \langle G, \Delta \rangle : \Delta \in \mathbb{R}^{m \times n},\ \|\Delta\| \leq 1 \right\}:
    范数 Δ⋆\Delta^\star 对应算法
    F 范数 −G/∣G∣F-G/|G|_F 梯度下降
    ℓ∞\ell_\infty(逐元素) −sign⁡(G)-\operatorname{sign}(G) 符号下降(Adam)
    谱范数 −UV⊤-UV^\top Muon

    变量为向量时,前两行即通常的梯度下降与符号下降;第三行只对矩阵变量有意义(需要对GG进行紧凑奇异值分解:G=UΣV⊤G = U \Sigma V^\top,U∈Rm×rU \in \mathbb{R}^{m \times r},V∈Rn×rV \in \mathbb{R}^{n \times r},r=rank⁡(G)r = \operatorname{rank}(G))。

    紧凑SVD(也称截断SVD)与普通SVD的主要区别在于:紧凑SVD只保留了非零奇异值及对应的奇异向量。

凸性进阶

前面我们已经简单提到凸性的基本概念,这里就不重复赘述了。

凸集

仿射集

定义:若集合C⊆RnC\subseteq\R^n包含经过集合中任意两点的直线,那么就称CC为仿射集。【符号定义:z=θx+(1−θ)y∈C, ∀x,y∈C,θ∈Rz=\theta x+(1-\theta)y\in C,\ \forall x,y\in C,\theta\in\R】

  • CC是仿射集  ⟺  \iff若x1,…,xk∈C,θ1+⋯+θk=1x_1, \dots, x_k \in C, \theta_1 + \dots + \theta_k = 1,则θ1x1+⋯+θkxk∈C\theta_1 x_1 + \dots + \theta_k x_k \in C。
  • 若CC是仿射集,给定x0∈Cx_0\in C,则结合V=C−x0={x−x0∣x∈C}V=C-x_0=\{x-x_0\mid x\in C\}为Rn\R^n的一个线性子空间。
  • 对任意仿射集CC,其可以表示为某个线性方程组{x∣Ax=b}\{x\mid Ax=b\}的解集

凸包与凸集

  • 首先定义凸组合:对于x1,⋯ ,xk∈Rn,∑iθi=1,θi≥0,i=1,2,⋯ ,kx_1,\cdots,x_k\in\R^n,\displaystyle\sum_i\theta_i=1,\theta_i\geq 0,i=1,2,\cdots,k,x=θ1x1+⋯+θkxkx=\theta_1x_1+\cdots+\theta_kx_k为这些点的凸组合。
  • 对于集合C⊆RnC\subseteq\R^n,它的凸包就是其所有点的凸组合: conv(C)={∑i=1kθixi∣xi∈C,θi≥0,i=1,…,k,∑iθi=1}.\text{conv}(C) = \left\{ \sum_{i=1}^k \theta_ix_i \mid x_i \in C, \theta_i \ge 0, i = 1, \dots, k, \sum_i \theta_i = 1 \right\}. CC的凸包是包含CC的最小凸集。
  • 一些典型的凸集:
    • 范数球:{x:∥x−xc∥≤r}\{x : \|x - x_c\| \le r\},给定范数、球心xcx_c和半径r≥0r \ge 0;
    • 超平面:{x:a⊤x=b}\{x : a^\top x = b\},给定a,ba, b;
    • 半空间:{x:a⊤x≤b}\{x : a^\top x \le b\},给定a,ba, b;
    • 仿射空间:{x:Ax=b}\{x : Ax = b\},给定A,bA, b;
    • 多面体:{x:Ax⪯b}\{x : Ax \preceq b\},给定A,bA, b(或{x:Ax⪯b,Cx=d}\{x : Ax \preceq b, Cx = d\})。【⪯\preceq表示向量分量不等号】
      • 可以理解为有限个半空间与超平面的交集
    • 单纯形:仿射独立点集v1,v2,…,vk∈Rnv_1, v_2, \dots, v_k \in \mathbb{R}^n(即v2−v1,⋯ ,vk−v1v_2-v_1,\cdots,v_k-v_1线性无关)的凸包 conv{v1,…,vk}={∑iθivi∣θ⪰0,1⊤θ=1}\text{conv} \{v_1, \dots, v_k\} = \{\sum_i \theta_i v_i | \theta \succeq 0, 1^\top \theta = 1\}
      • 概率单纯形:conv{e1,…,en}={ω∣ω⪰0,1⊤ω=1}\text{conv} \{e_1, \dots, e_n\} = \{\omega | \omega \succeq 0, 1^\top \omega = 1\}(即标准基向量的凸包)

锥体

定义:对于集合C⊆RnC \subseteq \mathbb{R}^n,若对任意x∈C,θ≥0\boldsymbol{x} \in C,\theta \ge 0,有θx∈C\theta \boldsymbol{x} \in C,则称CC为锥体。

  • 凸锥(既是锥体又是凸集):满足任意x1,x2∈C\boldsymbol{x}_1, \boldsymbol{x}_2 \in C,有θ1x1+θ2x2∈C,∀θ1,θ2≥0\theta_1 \boldsymbol{x}_1 + \theta_2 \boldsymbol{x}_2 \in C, \forall\theta_1, \theta_2 \ge 0
  • 锥组合(非负线性组合):对x1,…,xk∈Rn,θ1,…,θk≥0\boldsymbol{x}_1, \dots, \boldsymbol{x}_k \in \mathbb{R}^n,\theta_1, \dots, \theta_k \ge 0,θ1x1+⋯+θkxk\theta_1 \boldsymbol{x}_1 + \dots + \theta_k \boldsymbol{x}_k为锥组合。
  • 锥包:集合中所有点的锥组合。
  • 一些典型的凸锥:
    • 范数锥:对于范数∥⋅∥\|\cdot\|,称C={(x,t):∥x∥≤t}⊆Rn+1C = \{(x, t) : \|x\| \le t\} \subseteq \mathbb{R}^{n+1}为范数锥;

      • 特别地,对于ℓ2\ell_2范数∥⋅∥2\|\cdot\|_2得到的范数锥也称为二阶锥。
    • 法向锥:对于凸集CC和点x0∈Cx_0 \in C,法向锥定义为NC(x0)={y:y⊤(x−x0)≤0,∀x∈C}N_C(x_0) = \{y : y^\top (x - x_0) \le 0, \forall x \in C\}

    • 半正定锥:首先定义

      • n×nn \times n对称矩阵集 Sn={X∈Rn×n:X=X⊤}\boldsymbol{S}^n = \{\boldsymbol{X} \in \mathbb{R}^{n \times n} : \boldsymbol{X} = \boldsymbol{X}^\top\}
      • n×nn \times n对称半正定矩阵集(∀z∈Rn,z⊤Xz≥0\forall \boldsymbol{z} \in \mathbb{R}^n, \boldsymbol{z}^\top \boldsymbol{X} \boldsymbol{z} \ge 0): S+n={X∈Sn:X⪰0}\boldsymbol{S}_+^n = \{\boldsymbol{X} \in \boldsymbol{S}^n : \boldsymbol{X} \succeq 0\}
      • n×nn \times n对称正定矩阵集 S++n={X∈Sn:X≻0}\boldsymbol{S}_{++}^n = \{\boldsymbol{X} \in \boldsymbol{S}^n : \boldsymbol{X} \succ 0\}

      可以证明S+n\boldsymbol{S}_+^n是凸锥。

凸集与超平面

  • 超平面分割定理:假设凸集C,DC, D非空且C∩D=∅C \cap D = \varnothing,则有一个超平面分割它们,即存在a≠0,b\boldsymbol{a} \neq 0, b,使得 a⊤x≥b∀x∈C,a⊤x≤b∀x∈D\boldsymbol{a}^\top \boldsymbol{x} \ge b \quad\forall \boldsymbol{x} \in C, \qquad \boldsymbol{a}^\top \boldsymbol{x} \le b\quad \forall \boldsymbol{x} \in D 这里的分割超平面可表示为{x:a⊤x−b=0}\{\boldsymbol{x}:\boldsymbol{a}^\top\boldsymbol{x}-b=0\}。
    • 注:这个分割超平面不一定能够严格分割这两个凸集(即超平面与两个凸集没有交集)。
  • 支持超平面定理:凸集的任意边界点上有经过该点的支持超平面,即对x0∈bd⁡Cx_0\in\operatorname{bd}C,存在a≠0a\neq 0使得 a⊤x≤a⊤x0,∀x∈C\boldsymbol{a}^\top \boldsymbol{x} \le \boldsymbol{a}^\top \boldsymbol{x}_0, \quad\forall \boldsymbol{x} \in C 支持超平面表示为{x:a⊤x−a⊤x0=0}\{ \boldsymbol{x} : \boldsymbol{a}^\top \boldsymbol{x} - \boldsymbol{a}^\top \boldsymbol{x}_0 = 0 \},其在x0\boldsymbol{x}_0与CC相切,且半空间{x:a⊤x≤a⊤x0}\{ \boldsymbol{x} : \boldsymbol{a}^\top \boldsymbol{x} \le \boldsymbol{a}^\top \boldsymbol{x}_0 \}包含了CC。

凸集保凸性运算

判断集合是否为凸集,除了采用定义之外,还可以通过保凸性运算得到。常见的保凸性运算包括:

  1. 集合交
    • 多面体是多个半空间和超平面的交集,因此是凸集
    • 交集运算可以推广到无穷个集合
  2. 仿射变换
    • 定义:若函数f:Rn→Rmf: \mathbb{R}^n \to \mathbb{R}^m满足f(x)=Ax+bf(\boldsymbol{x}) = A\boldsymbol{x} + \boldsymbol{b}(A∈Rm×nA \in \mathbb{R}^{m \times n}, b∈Rm\boldsymbol{b} \in \mathbb{R}^m),则称ff为仿射变换。
    • 若C⊆RnC \subseteq \mathbb{R}^n是凸集,函数ff是仿射的,则CC在ff下的像 f(C)={f(x):x∈C}f(C) = \{f(\boldsymbol{x}) : \boldsymbol{x} \in C\} 是凸集,凸集D⊆RmD \subseteq \mathbb{R}^m在ff下的原像 f−1(D)={x:f(x)∈D}f^{-1}(D) = \{\boldsymbol{x} : f(\boldsymbol{x}) \in D\} 也是凸集。
    • 常见的仿射变换包括缩放、平移、投影、加和、部分加和等。
  3. 透视:若函数P:Rn×R++→RnP: \mathbb{R}^n \times \mathbb{R}_{++} \to \mathbb{R}^n(R++\mathbb{R}_{++}代表正实数)满足 P(x,z)=xz,dom P={(x,z):x∈Rn,z>0}P(\boldsymbol{x}, z) =\frac{\boldsymbol{x}}{z}, \quad \text{dom } P = \{(\boldsymbol{x}, z) : \boldsymbol{x} \in \mathbb{R}^n, z > 0\} 则称PP为透视。
    • 若C⊆dom PC \subseteq \text{dom } P是凸集,则P(C)P(C)是凸集,且若DD是凸集,则P−1(D)P^{-1}(D)是凸集。
  4. 线性分数:若函数f:Rn→Rmf: \mathbb{R}^n \to \mathbb{R}^m满足 f(x)=Ax+bc⊤x+d,dom f={x∣c⊤x+d>0}f(\boldsymbol{x}) = \frac{A\boldsymbol{x} + b}{\boldsymbol{c}^\top \boldsymbol{x} + d}, \quad \text{dom } f = \{\boldsymbol{x} \mid \boldsymbol{c}^\top \boldsymbol{x} + d > 0\} 则称ff为线性分数。线性分数可看作透视函数与仿射函数的复合,凸集在该函数下的像和原像均是凸集。

凸函数

凸函数的定义前面已经提到过,下面再定义两种特殊的凸函数:

  • 严格凸函数:如果dom f\text{dom}\ f是凸集,且∀x,y∈dom f,x≠y,0≤θ≤1\forall \boldsymbol{x}, \boldsymbol{y} \in \text{dom}\ f,\boldsymbol{x}\neq \boldsymbol{y}, 0 \leq \theta \leq 1,有 f(θx+(1−θ)y)<θf(x)+(1−θ)f(y).f(\theta \boldsymbol{x} + (1 - \theta)\boldsymbol{y}) < \theta f(\boldsymbol{x}) + (1 - \theta)f(\boldsymbol{y}). 则称ff为严格凸函数。
  • 强凸函数:称ff是mm-强凸函数(m>0m > 0),如果f(x)−m2∥x∥22\displaystyle f(\boldsymbol{x})-\frac{m}{2}\|\boldsymbol{x}\|_2^2是凸函数。
    • 强凸函数一定是严格凸函数。

严格凸排除了图像上的线段,而强凸进一步要求ff减去一个二次函数后仍为凸,即曲率有正的下界mm。【类似也可定义严格凹函数与强凹函数】

函数凸性判断

凸函数主要可通过下述凸性条件判断:

  • 一阶条件:若ff可微分,则ff是凸的当且仅当dom f\text{dom } f是凸集且 f(y)≥f(x)+∇f(x)⊤(y−x)∀x,y∈dom ff(\boldsymbol{y}) \ge f(\boldsymbol{x}) + \nabla f(\boldsymbol{x})^\top (\boldsymbol{y} - \boldsymbol{x}) \quad \forall \boldsymbol{x}, \boldsymbol{y} \in \text{dom } f 也就是说梯度为00的点就是全局最小点。
  • 二阶条件:若ff二阶可微分,则ff是凸的当且仅当dom f\text{dom } f是凸集且对任意x∈dom f\boldsymbol{x} \in \text{dom } f ∇2f(x)⪰0\nabla^2 f(\boldsymbol{x}) \succeq 0 若对任意x\boldsymbol{x}有∇2f(x)≻0\nabla^2 f(\boldsymbol{x}) \succ 0,则ff严格凸【反之不然】。
  • Jensen不等式:若ff为凸函数,随机变量XX取值于dom f\text{dom } f且EX\mathbb{E}X存在,则f(EX)≤Ef(X)f(\mathbb{E}X) \le \mathbb{E}f(X)。

除此之外,还可以通过简单凸函数的保凸性运算判断,包括:

  1. 非负加权平均/非负线性组合:若f1,⋯ ,fkf_1,\cdots,f_k为凸函数,ω1,⋯ ,ωk≥0\omega_1,\cdots,\omega_k\geq 0,那么f=ω1f1+⋯+ω1fkf=\omega_1f_1+\cdots+\omega_1f_k也是凸函数。【凸函数集合为凸锥】

  2. 与仿射变换复合:若ff为凸函数,那么g(x)=f(Ax+b)g(x)=f(Ax+b)也是凸函数。

  3. 逐点取最大值与上确界:若f1,⋯ ,fkf_1,\cdots,f_k为凸函数,那么f(x)=max⁡{f1(x),⋯ ,fk(x)}f(x)=\max\{f_1(x),\cdots,f_k(x)\}也为凸函数,其中dom⁡f=⋂i=1kdom⁡fi\operatorname{dom}f=\bigcap_{i=1}^k\operatorname{dom}f_i。【当然这里max⁡\max也可替换为sup⁡\sup】

  4. 部分极小化:若f(x,y)f(x,y)关于(x,y)(x,y)联合为凸函数,那么对于非空集合CC,g(x)=inf⁡y∈Cf(x,y)g(x)=\displaystyle\inf_{y\in C}f(x,y)也为凸函数。【设g(x)>−∞g(x)>-\infty】

  5. 透视函数:若f:Rn→Rf:\R^n\to\R为凸函数,那么其透视函数

    g(x,t)=tf(xt),dom⁡g={(x,t):xt∈dom⁡f,  t>0}g(x, t) = t f\left(\frac{x}{t}\right), \qquad \operatorname{dom} g = \{(x, t) :\frac{x}{t} \in \operatorname{dom} f, \; t > 0\}

    为Rn+1\R^{n+1}上的凸函数。

  6. 与标量函数复合:令f(x)=h(g(x))f(x) = h(g(x)),其中g:Rn→R,h:R→Rg: \mathbb{R}^n \rightarrow \mathbb{R}, h: \mathbb{R} \rightarrow \mathbb{R},那么如果

    • gg凸,hh凸且非降
    • gg凹,hh凸且非升

    则ff是凸函数。

  7. 向量复合:考虑gi:Rn→R,i=1,…,k,h:Rk→Rg_i: \mathbb{R}^n \rightarrow \mathbb{R}, i=1,\dots,k, h: \mathbb{R}^k \rightarrow \mathbb{R}的复合函数f(x)=h(g(x))=h(g1(x),g2(x),…,gk(x))f(x) = h(g(x)) = h(g_1(x), g_2(x), \dots, g_k(x)),那么如果

    • gi,i=1,…,kg_i, i=1,\dots,k凸,hh凸且关于每个分量非降
    • gi,i=1,…,kg_i, i=1,\dots,k凹,hh凸且关于每个分量非升

    则ff是凸函数。

    如果dom⁡h\operatorname{dom} h是Rk\R^k子集,那么需要保证延拓后的h~\tilde{h}(在延拓区域取值+∞+\infty)单调性仍然成立。

复合凸函数的典型例子:

  • exp⁡(g(x))\exp(g(\boldsymbol{x}))是凸函数,如果 gg是凸函数
  • 1g(x)\dfrac{1}{g(\boldsymbol{x})}是凸函数,如果g(x)>0,∀x∈dom gg(\boldsymbol{x}) > 0, \forall \boldsymbol{x} \in \text{dom } g,且gg为凹函数
  • ∑i=1mlog⁡gi(x)\displaystyle\sum_{i=1}^m \log g_i(\boldsymbol{x})是凹函数,如果gi(x)>0,i=1,…,mg_i(\boldsymbol{x}) > 0, i = 1, \dots, m且gig_i为凹函数
  • log⁡∑i=1mexp⁡(gi(x))\displaystyle\log \sum_{i=1}^m \exp(g_i(\boldsymbol{x}))为凸函数,若每个gig_i为凸函数(向量复合)【这也被称为“log-sum-exp”函数,可看作max函数的平滑近似,对gig_i求偏导可得到softmax函数】

凸优化问题

标准的凸优化问题形式上面已经提到,这里就不再重复。【一般的优化问题标准形式就是在此基础上去掉凸函数限制,故同样作略】
下面基于此进行补充:

  1. 最优化问题的解
    • 最优化值:f∗=inf⁡{f0(x)∣fi(x)≤0,i=1,…,m,hi(x)=0,i=1,…,p}f^* = \inf \{f_0(\boldsymbol{x}) \mid f_i(\boldsymbol{x}) \leq 0, i = 1, \dots, m, h_i(\boldsymbol{x}) = 0, i = 1, \dots, p\}
    • 若x\boldsymbol{x}是可行的且f0(x)=f∗f_0(\boldsymbol{x}) = f^*,则x\boldsymbol{x}是最优点/最优解/最小值点
    • 若x\boldsymbol{x}是可行的且f0(x)≤f∗+ϵf_0(\boldsymbol{x}) \leq f^* + \epsilon,则x\boldsymbol{x}是ϵ\epsilon-次优的
    • 若x\boldsymbol{x}是可行的,且fi(x)=0f_i(\boldsymbol{x}) = 0,则称第ii个不等式约束在x\boldsymbol{x}处活跃(active)
    • x\boldsymbol{x}是局部最优的,如果存在R>0R > 0使得x\boldsymbol{x}是如下问题的最优解
    min⁡f0(z)s.t.fi(z)≤0,i=1,…,m,hi(z)=0,i=1,…,p∥z−x∥2≤R\begin{aligned} \min \quad & f_0(\boldsymbol{z}) \\ \text{s.t.} \quad & f_i(\boldsymbol{z}) \leq 0, \quad i = 1, \dots, m, \quad h_i(\boldsymbol{z}) = 0, \quad i = 1, \dots, p \\ & \|\boldsymbol{z} - \boldsymbol{x}\|_2 \leq R \end{aligned}
  2. 凸优化问题的解集
    • 对于凸优化问题,由凸函数的限制可知可行域 ⋂i=0mdom⁡fi∩⋂i=1m{x:fi(x)≤0}∩⋂i=1p{x:ai⊤x=bi}\bigcap_{i=0}^m \operatorname{dom} f_i \cap \bigcap_{i=1}^m \{\boldsymbol{x} : f_i(\boldsymbol{x}) \leq 0\} \cap \bigcap_{i=1}^p \{\boldsymbol{x} : \boldsymbol{a}_i^\top \boldsymbol{x} = b_i\} 为凸集。
    • 令XoptX_{\text{opt}}为凸优化问题的所有最优解组成的集合,记作 Xopt=arg min⁡ f0(x)s.t.fi(x)≤0, i=1,…,mAx=b\begin{aligned} X_{\text{opt}} = \argmin\ &f_0(\boldsymbol{x}) \\ \text{s.t.} \quad & f_i(\boldsymbol{x}) \leq 0,\ i = 1, \dots, m \\ &A\boldsymbol{x} = b \end{aligned} 则XoptX_{\text{opt}}为凸集。
    • 若f0f_0严格凸,则最优解若存在必唯一,即XoptX_{\text{opt}}至多包含一个元素。
  3. 优化问题等价形式 min⁡xf0(x)s.t.fi(x)≤0,i=1,…,mAx=b\begin{aligned} \min_{\boldsymbol{x}} \quad & f_0(\boldsymbol{x}) \\ \text{s.t.} \quad & f_i(\boldsymbol{x}) \leq 0, i = 1, \dots, m \\ & A\boldsymbol{x} = b \end{aligned} 可以等价写作 min⁡xf0(x),s.t. x∈C\min_{\boldsymbol{x}} \quad f_0(\boldsymbol{x}), \quad \text{s.t. } \boldsymbol{x} \in C 其中C={x:fi(x)≤0,i=1,…,m,Ax=b}C = \{\boldsymbol{x} : f_i(\boldsymbol{x}) \leq 0, i = 1, \dots, m, A\boldsymbol{x} = b\}为可行集。
    • 当然,上述问题也可写作无约束形式 min⁡xf0(x)+IC(x)\min_{\boldsymbol{x}} \quad f_0(\boldsymbol{x}) + I_C(\boldsymbol{x}) 其中IC(x)I_C(\boldsymbol{x})为指示函数(IC(x)={0if x∈C∞,if x∉CI_C(\boldsymbol{x}) = \begin{cases}0&\text{if } \boldsymbol{x} \in C\\\infty,&\text{if }\boldsymbol{x} \notin C\end{cases});

      因为CC为凸集时ICI_C为凸函数,所以凸优化问题总可写成无约束形式。

  4. 一阶最优条件:假设凸优化问题中的目标函数f0f_0可微分,则
    • 若x,y∈dom f0\boldsymbol{x}, \boldsymbol{y} \in \text{dom } f_0,有 f0(y)≥f0(x)+∇f0(x)⊤(y−x)f_0(\boldsymbol{y}) \geq f_0(\boldsymbol{x}) + \nabla f_0(\boldsymbol{x})^\top (\boldsymbol{y} - \boldsymbol{x})
    • 令CC为可行集,可行点x∈C\boldsymbol{x} \in C是最优点的等价条件是 ∇f0(x)⊤(y−x)≥0, for all y∈C\nabla f_0(\boldsymbol{x})^\top (\boldsymbol{y} - \boldsymbol{x}) \geq 0, \text{ for all } \boldsymbol{y} \in C 这就是一阶最优条件。直观地,从x\boldsymbol{x}指向任一可行点y\boldsymbol{y}的方向与∇f0(x)\nabla f_0(\boldsymbol{x})的夹角不超过90∘90^\circ,即−∇f0(x)∈NC(x)-\nabla f_0(\boldsymbol{x}) \in N_C(\boldsymbol{x})【法向锥】
    • 如果没有约束(C=RnC=\R^n),那么就退化为∇f0(x)=0\nabla f_0(\boldsymbol{x})=0。
  5. 部分优化
    部分优化一个凸优化问题可以保持其凸性,即若x=(x1,x2)∈Rn1×Rn2\boldsymbol{x} = (\boldsymbol{x}_1, \boldsymbol{x}_2) \in \mathbb{R}^{n_1} \times \mathbb{R}^{n_2},则 min⁡x1,x2f(x1,x2)s.t.g1(x1)≤0g2(x2)≤0⟺min⁡x1f~(x1)s.t.g1(x1)≤0\begin{aligned} & \min_{\boldsymbol{x}_1, \boldsymbol{x}_2} & & f(\boldsymbol{x}_1, \boldsymbol{x}_2) \\ & \text{s.t.} & & g_1(\boldsymbol{x}_1) \leq 0 \\ & & & g_2(\boldsymbol{x}_2) \leq 0 \end{aligned} \quad \Longleftrightarrow \quad \begin{aligned} & \min_{\boldsymbol{x}_1} & & \tilde{f}(\boldsymbol{x}_1) \\ & \text{s.t.} & & g_1(\boldsymbol{x}_1) \leq 0 \end{aligned} 其中f~(x1)=min⁡x2:g2(x2)≤0f(x1,x2)\displaystyle\tilde{f}(\boldsymbol{x}_1) = \min_{\boldsymbol{x}_2 : g_2(\boldsymbol{x}_2) \leq 0} f(\boldsymbol{x}_1, \boldsymbol{x}_2),若左式为凸优化问题则右式也是。

    实际上部分优化的作用就是将约束条件并入目标函数的同时对优化变量进行降维。

  6. 引入等式约束——松弛变量
    引入松弛变量可以将线性不等式约束转换为等式约束加非负约束,即原问题 min⁡f0(x)s.t.ai⊤x≤bi,i=1,…,m\begin{aligned} \min \quad & f_0(\boldsymbol{x}) \\ \text{s.t.} \quad & \boldsymbol{a}_i^\top\boldsymbol{x} \leq b_i, \quad i = 1, \dots, m \end{aligned} 可以等价地转化为 min⁡x,sf0(x)s.t.si=bi−ai⊤x,i=1,…,msi≥0,i=1,…,m\begin{aligned} \min_{\boldsymbol{x}, \boldsymbol{s}} \quad & f_0(\boldsymbol{x}) \\ \text{s.t.} \quad & s_i = b_i - \boldsymbol{a}_i^\top\boldsymbol{x}, \quad i = 1, \dots, m \\ & s_i \geq 0, \quad i = 1, \dots, m \end{aligned}
  7. 放松非仿射等式约束
    凸优化问题中的等式约束需要是仿射的,带非仿射等式约束的问题一般不是凸优化问题。可用以下方法将原问题扩展为凸优化问题:对 min⁡xf0(x)s.t. x∈C\min_{\boldsymbol{x}} f_0(\boldsymbol{x}) \quad\text{s.t.}\ \boldsymbol{x} \in C 及C~⊇C\tilde{C} \supseteq C,扩展问题 min⁡xf0(x) s.t.  x∈C~\min_{\boldsymbol{x}} f_0(\boldsymbol{x}) \quad\text{ s.t. }\ \boldsymbol{x} \in \tilde{C} 称为原问题的放松(relaxation)问题,其中C~\tilde{C}为放松后的约束集合。放松问题的最优值总是小于等于原问题的最优值;若放松问题的解属于CC,则它也是原问题的解。
    • 应用于凸函数hih_i给出的等式约束 hi(x)=0,i=1,…,ph_i(\boldsymbol{x}) = 0, \quad i = 1, \dots, p 可放松为hi(x)≤0,i=1,…,ph_i(\boldsymbol{x}) \leq 0, \quad i = 1, \dots, p,得到凸优化问题。

梯度下降法

迭代算法

对于一个优化问题,如果可以写出最优解的解析表达式,则称其为显式解;但是对于一般情况下,显式解无法直接求出,我们只能通过迭代的方式来逼近最优解,这种方法被称为迭代算法。

  • 迭代算法的具体形式:从一个初始点x\boldsymbol{x}出发,按照某种规则进行迭代,得到一系列的点{x(k)}=x(1),x(2),⋯\{\boldsymbol{x}^{(k)}\}=\boldsymbol{x}^{(1)},\boldsymbol{x}^{(2)},\cdots。算法经过有限步终止时,我们希望得到给定精度的近似最优解。

  • 下面我们考虑迭代算法(点列)的收敛性,其定义为目标函数值趋于最优值,或迭代点趋于某个最优解。常用的收敛准则有以下几种:

    1. 相对最优性差距小于某个阈值,即f(x(k))−f∗max⁡{∣f∗∣,1}≤ϵ\dfrac{f(\boldsymbol{x}^{(k)})-f^*}{\max\{|f^*|,1\}}\leq\epsilon;【其中ϵ>0\epsilon>0为容差,f∗f^*为最优值,其通常未知;若f∗f^*以其估计值代替,则该不等式不再是严格的误差界】
    2. 无约束可微问题中,梯度范数小于某个阈值∥∇f(x(k))∥≤ϵ\|\nabla f(\boldsymbol{x}^{(k)})\|\leq\epsilon;
    3. 约束违反程度小于某个阈值(仅衡量近似可行性)

    当然,满足上述收敛准则并不一定意味着接近最优,这取决于问题的假设。

  • 在实际使用中,上述收敛准则里往往很难直接计算f∗f^*或其近似,因此一般会采用停机准则作为算法的停止条件。常用的停机准则包括:

    • 相邻迭代点的相对误差∥x(k+1)−x(k)∥max⁡{∥x(k)∥,1}≤ϵ\dfrac{\|\boldsymbol{\boldsymbol{x}}^{(k+1)}-\boldsymbol{\boldsymbol{x}}^{(k)}\|}{\max\{\|\boldsymbol{x}^{(k)}\|,1\}} \leq \epsilon.
    • 相邻两次迭代点的目标函数相对误差小于某个阈值∣f(x(k+1))−f(x(k))∣max⁡{∣f(x(k))∣,1}≤ϵ\dfrac{|f(\boldsymbol{x}^{(k+1)})-f(\boldsymbol{x}^{(k)})|}{\max\{|f(\boldsymbol{x}^{(k)})|,1\}} \leq \epsilon.

    这些停机准则是启发式的:相邻迭代变化小可能只是步长过小或迭代停滞,不能单独保证接近最优。因此停机准则通常与梯度范数、可行性残差及最大迭代次数一起使用。

  • 下面我们进一步讨论迭代算法的(渐近)收敛速度。首先定义两种收敛阶:

    • Q-收敛速度(这里的Q表示商,Quotient):对于收敛于x∗\boldsymbol{x}^*的迭代点列{x(k)}\{\boldsymbol{x}^{(k)}\},如果满足

      lim⁡k→∞∥x(k+1)−x∗∥∥x(k)−x∗∥q≜lim⁡k→∞ek+1ek=a\lim_{k\to\infty}\frac{\left\| \boldsymbol{x}^{(k+1)} - \boldsymbol{x}^* \right\|}{\left\| \boldsymbol{x}^{(k)} - \boldsymbol{x}^* \right\|^q}\triangleq\lim_{k\to\infty}\frac{e_{k+1}}{e_k} = a

      其中q>1,a∈(0,+∞)q>1,a\in(0,+\infty)或q=1,a∈[0,1]q=1,a\in[0,1],那么就称{x(k)}\{\boldsymbol{x}^{(k)}\}满足Q-收敛。(默认要求x(k)≠x∗\boldsymbol{x}^{(k)}\neq\boldsymbol{x}^*)特别地,

      • 当q=1,a∈(0,1)q=1,a\in(0,1)时,称为Q-线性收敛;【当然也允许在(0,a](0,a]之间振荡】
      • 当q=1,a=0q=1,a=0时,称为Q-超线性收敛;
      • 当q=1,a=1q=1,a=1时,称为Q-次线性收敛;
      • 当q=2q=2时,称为Q-二次收敛。【同样允许(0,a](0,a]振荡】

      可以通过绘制k−log⁡ekk-\log e_k图判断收敛速度:Q-线性收敛对应直线,Q-次线性收敛对应负对数曲线,而Q-二次收敛就对应开口向下的抛物线。

    • R-收敛速度(R表示根,Root):若存在Q-收敛于00的非负序列{tk}\{t_k\},且有

      ∥x(k)−x∗∥≤tk\|\boldsymbol{x}^{(k)}-\boldsymbol{x}^*\|\leq t_k

      那么就称{x(k)}\{\boldsymbol{x}^{(k)}\}满足R-收敛。【具体的R-收敛形式与{tk}\{t_k\}的Q-收敛形式对应】

      • R-线性收敛的等价条件:存在C>0C>0和0<q<10< q< 1,使∥x(k)−x∗∥≤Cqk\|\boldsymbol{x}^{(k)}-\boldsymbol{x}^*\|\le Cq^k。
    • 当然我们也可以用大OO表示误差的渐近上界,如O(1k),O(1k2)O\left(\dfrac{1}{k}\right),O\left(\dfrac{1}{k^2}\right)等。可以证明,多项式阶的上界不蕴含R-线性收敛。

  • 除了渐近收敛速度外,我们还可以用迭代到指定精度所需步数衡量迭代算法的复杂度。具体而言,我们定义N(ϵ)N(\epsilon)为达到精度ϵ\epsilon所需要的迭代次数,其一般也用大OO表示。

    • 实际上,N(ϵ)N(\epsilon)的渐近函数阶与上面的收敛阶恰好互为反函数关系。比如Q-线性(R线性)收敛对应的N(ϵ)=O(log⁡1ϵ)N(\epsilon)=O(\log\frac{1}{\epsilon})。

梯度下降(GD)算法

在无约束凸优化问题的迭代算法中,最常用的就是梯度下降算法。给定初始点x(0)\boldsymbol{x}^{(0)}后,其具体流程如下:

  1. 计算更新方向为负梯度方向:Δx=−∇f(x)\Delta\boldsymbol{x}=-\nabla f(\boldsymbol{x})
  2. 选择固定步长或通过线搜索确定步长tit_i
  3. 更新:x(i+1)=x(i)+tiΔx(i)\boldsymbol{x}^{(i+1)}=\boldsymbol{x}^{(i)}+t_i\Delta \boldsymbol{x}^{(i)}

重复直至预设停止条件满足,或者达到最大迭代次数。

  • 那么为什么梯度下降算法有效?我们可以考虑函数在x\boldsymbol{x}处的上抛物线包络: g(y)=f(x)+∇f(x)⊤(y−x)+12t∥y−x∥2g(\boldsymbol{y}) = f(\boldsymbol{x}) + \nabla f(\boldsymbol{x})^\top (\boldsymbol{y} - \boldsymbol{x}) + \frac{1}{2t} \|\boldsymbol{y} - \boldsymbol{x}\|^2 其中12t∥y−x∥2\dfrac{1}{2t} \|\boldsymbol{y} - \boldsymbol{x}\|^2可看作一个惩罚项,目的是限制更新幅度。那么当f(x)f(\boldsymbol{x})是L-smooth的(会在后面解释),且t≤1Lt\leq\dfrac1L,则g(y)≥f(y)g(\boldsymbol{y})\geq f(\boldsymbol{y})对任意y\boldsymbol{y}都成立。
    • 于是我们可以求g(y)g(\boldsymbol{y})的最低点: x+=arg min⁡yg(y)=arg min⁡y[f(x)+∇f(x)⊤(y−x)+12t∥y−x∥2]=x−t∇f(x)\begin{aligned} \boldsymbol{x}^+ = \argmin_{\boldsymbol{y}}g(\boldsymbol{y})&= \argmin_{\boldsymbol{y}} \left[f(\boldsymbol{x}) + \nabla f(\boldsymbol{x})^\top (\boldsymbol{y} - \boldsymbol{x}) + \frac{1}{2t} \|\boldsymbol{y} - \boldsymbol{x}\|^2 \right]\\ &= \boldsymbol{x} - t\nabla f(\boldsymbol{x}) \end{aligned} 这便是基于负梯度进行参数更新,可以保证梯度下降算法总会让解更优。更详细的收敛性分析后面会展开。

线搜索方法

对于步长的选择,随意选择的步长ti=tt_i = t并不能保证算法收敛到最优点,并且可能导致算法收敛缓慢。更好的解决方案是采用线搜索,具体包括:

  1. 精确线搜索:t∈arg min⁡s≥0f(x+sΔx)\displaystyle t\in\argmin_{s\geq 0}f(\boldsymbol{x}+s\Delta\boldsymbol{x}),前提是沿当前方向的一维最小值能够取到
    • 其计算代价取决于一维子问题的结构;对一般函数,求一维最小值的计算代价可能较高,因此实际中并不常用
  2. 回溯线搜索
    由Larry Armijo最早于1966年提出,其具体算法如下:设方向Δx\Delta\boldsymbol{x}满足∇f(x)⊤Δx<0\nabla f(\boldsymbol{x})^\top \Delta \boldsymbol{x} < 0(方向导数为负),那么
    • 固定参数0<α≤12,0<β<1,tinit>00 < \alpha \le\dfrac12,0 < \beta < 1,t_{\text{init}} > 0
    • 在每次迭代中,初始化t=tinitt = t_{\text{init}},当 f(x+tΔx)>f(x)+αt∇f(x)⊤Δxf(\boldsymbol{x} + t\Delta \boldsymbol{x}) > f(\boldsymbol{x}) + \alpha t \nabla f(\boldsymbol{x})^\top \Delta \boldsymbol{x} 时,重复缩减步长t=βtt = \beta t,直至不等式不再成立,再更新 x+=x+tΔx\boldsymbol{x}^+ = \boldsymbol{x} + t\Delta \boldsymbol{x} 在梯度下降中,因为Δx=−f(x)\Delta\boldsymbol{x}=-f(\boldsymbol{x}),因此当步长足够小时,回溯一定会停止。
    • 这里α\alpha的含义:实际下降量不少于一阶近似所预测下降量的α\alpha倍(充分下降条件),一般会取一个较小的值(如0.010.01或10−410^{-4})。

算法收敛性分析

首先给出函数L-smooth和m-强凸的定义:

  • L-smooth:设f:Rn→Rf: \mathbb{R}^n \to \mathbb{R}为可微凸函数,存在最优解,且∇f\nabla f为Lipschitz连续:

    ∥∇f(x)−∇f(y)∥2≤L∥x−y∥2,∀x,y\|\nabla f(\boldsymbol{x}) - \nabla f(\boldsymbol{y})\|_2 \le L\|\boldsymbol{x} - \boldsymbol{y}\|_2, \quad \forall \boldsymbol{x}, \boldsymbol{y}

    其中L>0L > 0。

    • ff二阶可微时,条件可简化为0⪯∇2f(x)⪯LI0 \preceq \nabla^2 f(\boldsymbol{x}) \preceq L\boldsymbol{I}。
    • 可以证明,对于固定步长0<t≤1L0 < t \le\dfrac1L的梯度下降算法,有 f(x(k))−f∗≤∥x(0)−x∗∥222tk,k≥1f(\boldsymbol{x}^{(k)}) - f^* \le \frac{\|\boldsymbol{x}^{(0)} - \boldsymbol{x}^*\|_2^2}{2tk},\quad k\geq 1 而对于回溯搜索也有类似结论:取α=12\alpha = \dfrac12时,上式中tt替换为t‾=min⁡{tinit,βL}\underline{t} = \min\{t_{\text{init}}, \frac{\beta}{L}\}即可。

    因此,目标函数值误差f(x(k))−f∗f(\boldsymbol{x}^{(k)}) - f^*收敛阶为O(1k)O\left(\dfrac1k\right),对应N(ϵ)=O(1ϵ)N(\epsilon)=O\left(\dfrac{1}{\epsilon}\right)。

  • m-强凸:若函数ff满足f−m2∥x∥22f-\dfrac{m}{2}\|\boldsymbol{x}\|_2^2为凸函数(m>0m>0),那么就称ff为m-强凸函数。

    • ff二阶可微时,条件可简化为∇2f(x)⪰mI\nabla^2 f(\boldsymbol{x})\succeq m\boldsymbol{I}。
    • 同一函数可以既是L-smooth又是m-强凸,只要0<m≤L0< m\leq L即可。对于这类函数,使用固定步长0<t≤1L0< t\le\dfrac1L的梯度下降算法,有 f(x(k))−f∗≤(1−mt)k(f(x(0))−f∗),k≥1f(\boldsymbol{x}^{(k)}) - f^* \le (1 - mt)^k(f(\boldsymbol{x}^{(0)}) - f^*),\quad k\geq 1 令γ=1−mt∈[0,1)\gamma=1-mt\in[0,1);γ=0\gamma=0时一步迭代即得最优解(比如二次函数)。
      • 当0<γ<10< \gamma< 1时,目标函数值误差以几何速率衰减。m,Lm,L固定时,N(ϵ)=O(log⁡(1ϵ))N(\epsilon)=O\left(\log\left(\dfrac1\epsilon\right)\right)。
  • 实际上,我们还可以将L-smooth且m-强凸函数的梯度下降收敛性与Hessian矩阵的条件数构建联系。由条件数的定义(可见CS127 Chapter 6)可知,这类函数的条件数上界就是Lm\dfrac{L}{m}。对于上述不等式,取t=1Lt=\dfrac1L,当0<ϵ<f(x(0))−f∗0< \epsilon< f(\boldsymbol{x}^{(0)})-f^*时,达到进度ϵ\epsilon精度所需迭代次数

    k≥Lmlog⁡f(x(0))−f∗ϵ.k \ge \frac{L}{m} \log \frac{f(\boldsymbol{x}^{(0)}) - f^*}{\epsilon}.

    也就是说,这类函数梯度下降的收敛速度与条件数以及初始误差有关。

梯度范数停机与算法改进

前面我们提到,对于可微凸函数,可以考虑用梯度范数小于ϵ\epsilon作为停止迭代条件。【在最优解处∇f(x∗)=0\nabla f(\boldsymbol{x}^*)=0】

  • 对此,我们进一步限制ff为m-强凸函数,那么有f(x)−f∗≤∥∇f(x)∥222mf(\boldsymbol{x})-f^*\leq\dfrac{\|\nabla f(\boldsymbol{x})\|_2^2}{2m}【推导略】,于是 ∥∇f(x)∥2≤2mϵ⟹f(x)−f∗≤ϵ\|\nabla f(\boldsymbol{x})\|_2\leq\sqrt{2m\epsilon}\Longrightarrow f(\boldsymbol{x})-f^*\leq\epsilon

目前我们讨论的梯度下降算法对于条件数较小的强凸问题,收敛较快;而对于非强凸或条件数较大时,收敛可能很慢。另一方面,标准梯度法要求目标可微,因此对于非光滑问题(如深度学习反向传播)需采用其他方法。

  • 针对第一个问题,1983年Nesterov提出了一个重要结论:对于任意的一阶最优化算法,可以构造函数ff使得对任意1≤k≤n−121\leq k\leq\dfrac{n-1}{2}(nn为函数维度)和任意x(0)\boldsymbol{x}^{(0)},

    f(x(k))−f⋆≥3L∥x(0)−x∗∥2232(k+1)2f(\boldsymbol{x}^{(k)}) - f^\star \ge \frac{3L \|\boldsymbol{x}^{(0)} - \boldsymbol{x}^*\|_2^2}{32(k + 1)^2}

    也就是说,一阶算法的收敛速度下界就是O(1k2)O\left(\dfrac{1}{k^2}\right),对应N(ϵ)=O(1ϵ)N(\epsilon)=O\left(\dfrac{1}{\sqrt{\epsilon}}\right)。

    • 那么有没有一阶算法能够达到这一下界?有!这便是Nesterov加速梯度法,其引入了动量机制,在机器学习优化中尤为常用。【下面会详细展开】
  • 另外,针对非凸函数,由于其不一定存在全局最优解,所以要想使用梯度下降,需要另外定义ϵ\epsilon-近似驻点:∥∇f(x)∥2≤ϵ\|\nabla f(\boldsymbol{x})\|_2\leq\epsilon。

    • 可以证明,只要函数L-smooth且有下界(inf⁡f>−∞\inf f>-\infty),那么对于固定步长tk≡t∈(0,1L]t_k \equiv t \in (0, \dfrac1L],有 min⁡i=0,…,k∥∇f(x(i))∥2≤2(f(x(0))−finf)t(k+1)\min_{i=0,\dots,k} \|\nabla f(\boldsymbol{x}^{(i)})\|_2 \le \sqrt{\frac{2\left(f(\boldsymbol{x}^{(0)}) - f_{\text{inf}}\right)}{t(k+1)}} 也就是说,其梯度收敛速度为O(1k)O\left(\dfrac{1}{\sqrt{k}}\right),对应N(ϵ)=O(1ϵ2)N(\epsilon)=O\left(\dfrac{1}{\epsilon^2}\right)。【当维数充分高时,这个收敛速度就不可改进】

梯度增强(Gradient Boosting)

可以参见机器学习算法 Ch.7 集成模型,这里就不详细展开了……

近端梯度下降与Nesterov加速

近端梯度下降

上述梯度下降算法都假定目标函数可微。那么目标函数不可微时该如何进行迭代优化呢?这里我们就要对梯度下降算法进行推广,即近端梯度下降。

  • 模型:f(x)=g(x)+h(x)f(\boldsymbol{x})=g(\boldsymbol{x})+h(\boldsymbol{x}),其中gg为可微凸函数,hh为正常闭凸函数(定义域非空且不取−∞-\infty,可取到最小值)。对此,我们考虑单独对gg取上抛物线包络: x+=arg min⁡zgˉt(z)+h(z)=arg min⁡zg(x)+∇g(x)⊤(z−x)+12t∥z−x∥22+h(z)=arg min⁡z12t{∥z−x∥22+2t∇g(x)⊤(z−x)+∥t∇g(x)∥22}+h(z)=arg min⁡z12t∥z−(x−t∇g(x))∥22+h(z)\begin{aligned} \boldsymbol{x}^+ &= \argmin_{\boldsymbol{z}} \bar{g}_t(\boldsymbol{z}) + h(\boldsymbol{z}) \\ &= \argmin_{\boldsymbol{z}} g(\boldsymbol{x}) + \nabla g(\boldsymbol{x})^\top (\boldsymbol{z} - \boldsymbol{x}) + \frac{1}{2t} \|\boldsymbol{z} - \boldsymbol{x}\|_2^2 + h(\boldsymbol{z}) \\ &= \argmin_{\boldsymbol{z}} \frac{1}{2t} \left\{ \|\boldsymbol{z} - \boldsymbol{x}\|_2^2 + 2t\nabla g(\boldsymbol{x})^\top(\boldsymbol{z} - \boldsymbol{x}) + \|t\nabla g(\boldsymbol{x})\|_2^2 \right\} + h(\boldsymbol{z}) \\ &= \argmin_{\boldsymbol{z}} \frac{1}{2t} \|\boldsymbol{z} - (\boldsymbol{x} - t\nabla g(\boldsymbol{x}))\|_2^2 + h(\boldsymbol{z}) \end{aligned}
  • 由此我们可以定义近端映射(有且仅有一个最小值点) proxh,t(x)=arg min⁡z12t∥x−z∥22+h(z)\mathrm{prox}_{h,t}(\boldsymbol{x}) = \argmin_{\boldsymbol{z}} \frac{1}{2t} \|\boldsymbol{x} - \boldsymbol{z}\|_2^2 + h(\boldsymbol{z}) 那么近端梯度下降的算法可表示为:给定初始点x(0)∈dom⁡h\boldsymbol{x}^{(0)}\in\operatorname{dom}h,迭代公式为 x(k)=prox⁡h,tk(x(k−1)−tk∇g(x(k−1))),k=1,2,…\boldsymbol{x}^{(k)} = \operatorname{prox}_{h, t_k} \left( \boldsymbol{x}^{(k-1)} - t_k \nabla g(\boldsymbol{x}^{(k-1)}) \right), \quad k = 1, 2, \dots 也可以改写为类似标准梯度下降的形式: x(k)=x(k−1)−tkGtk(x(k−1))\boldsymbol{x}^{(k)} = \boldsymbol{x}^{(k-1)} - t_k G_{t_k} \left( \boldsymbol{x}^{(k-1)} \right) 其中 Gt(x)=x−prox⁡h,t(x−t∇g(x))tG_t(\boldsymbol{x}) = \frac{\boldsymbol{x} - \operatorname{prox}_{h, t}(\boldsymbol{x} - t\nabla g(\boldsymbol{x}))}{t} 为梯度映射。

    近端映射的直观理解:求解一个距x\boldsymbol{x}不算太远的点,并兼顾使新点的函数值h(z)h(\boldsymbol{z})较小。

  • 使用近端算子proxh,t\text{prox}_{h,t}的优点是其对很多重要的函数hh有显式解,且
    • proxh,t(⋅)\text{prox}_{h,t}(\cdot)只依赖hh和tt,并不依赖于函数gg
    • 尽管光滑部分gg可能很复杂,但其梯度往往不难计算
  • 收敛速度:可以证明,若gg为L-smooth,近端梯度下降的收敛速度与标准梯度下降一致。
  • 近端梯度下降也被称为广义梯度下降,是因为其包含下述特殊情形:
    1. h=0h = 0: 一般梯度下降
    2. h=ICh = I_C: 投影梯度下降
      对于给定非空闭凸集C⊆RnC\subseteq\R^n,可定义投影算子 prox⁡IC,t(x)=arg min⁡z12t∥x−z∥22+IC(z)=arg min⁡z∈C∥x−z∥22\operatorname{prox}_{I_C,t}(\boldsymbol{x}) = \argmin_{\boldsymbol{z}} \frac{1}{2t}\|\boldsymbol{x} - \boldsymbol{z}\|_2^2 + I_C(\boldsymbol{z})= \argmin_{\boldsymbol{z} \in C} \|\boldsymbol{x} - \boldsymbol{z}\|_2^2 于是梯度下降更新步骤为 x+=prox⁡IC,t(x−t∇g(x))≜PC(x−t∇g(x))\boldsymbol{x}^{+} = \operatorname{prox}_{I_C,t}(\boldsymbol{x} - t\nabla g(\boldsymbol{x}))\triangleq P_C(\boldsymbol{x} - t\nabla g(\boldsymbol{x}))
    3. g=0g = 0: 近端最小化算法
      考虑优化问题min⁡xh(x)\displaystyle\min_{\boldsymbol{x}}h(\boldsymbol{x}),其近端最小化算法更新公式为 x+=arg min⁡z12t∥x−z∥22+h(z)\boldsymbol{x}^+ = \argmin_{\boldsymbol{z}} \frac{1}{2t}\|\boldsymbol{x} - \boldsymbol{z}\|_2^2 + h(\boldsymbol{z}) 也就是说,其迭代每一步需求解一个强凸子问题。若该步仅近似求解,误差会进入收敛估计,不能直接套用精确算法的定理。
  • 近端梯度下降的步长选择同样有回溯线搜索方法。具体而言,取0<β<10 < \beta < 1和t0>0t_0 > 0。第kk步从t=tk−1t = t_{k-1}开始,先计算x+=prox⁡h,t(v−t∇g(v))\boldsymbol{x}^+ = \operatorname{prox}_{h,t}(\boldsymbol{v} - t\nabla g(\boldsymbol{v})),若 g(x+)>g(v)+∇g(v)⊤(x+−v)+12t∥x+−v∥22g(\boldsymbol{x}^+) > g(\boldsymbol{v}) + \nabla g(\boldsymbol{v})^\top(\boldsymbol{x}^+ - \boldsymbol{v}) + \frac{1}{2t}\|\boldsymbol{x}^+ - \boldsymbol{v}\|_2^2 则令t←βtt \leftarrow \beta t,重新计算x+\boldsymbol{x}^+并检查;否则接受tk=tt_k = t及x(k)=x+\boldsymbol{x}^{(k)} = \boldsymbol{x}^+。

Nesterov加速算法

这里在近端梯度下降的基础上讨论加速算法,即加速近端梯度算法。考虑复合函数优化问题

min⁡xg(x)+h(x)\min_{\boldsymbol{x}} g(\boldsymbol{x}) + h(\boldsymbol{x})

其中gg可微凸、hh正常闭凸。给定x(0)=x(−1)∈dom⁡h\boldsymbol{x}^{(0)} = \boldsymbol{x}^{(-1)} \in \operatorname{dom} h,则k≥1k\geq 1时,算法迭代公式为

v=x(k−1)+k−2k+1(x(k−1)−x(k−2))x(k)=prox⁡h,tk(v−tk∇g(v))\begin{aligned} \boldsymbol{v} &= \boldsymbol{x}^{(k-1)} + \frac{k - 2}{k + 1} \left( \boldsymbol{x}^{(k-1)} - \boldsymbol{x}^{(k-2)} \right)\\ \boldsymbol{x}^{(k)} &= \operatorname{prox}_{h, t_k} (\boldsymbol{v} - t_k \nabla g(\boldsymbol{v})) \end{aligned}

由此可见,加速近端梯度下降中,趋势的权重随迭代步数变化(逐渐趋向11)

  • 第一步迭代为普通的近端梯度下降,而之后的v\boldsymbol{v}都携带了部分上一步迭代的趋势(动量)
  • 当h=0h = 0时,算法称为加速的梯度下降算法。