菲兹克斯喵

外观

Lesson 50 积分学

约 2839 字大约 9 分钟

2025-4-29

平均分 87.2 (好高)

Karush - Kuhn - Tucker 定理

我们知道 Lagrange 乘子法是在等式约束下优化 ff，我们现在要解决的问题是如何在不等式约束 g≥0g\geq0 下优化 ff.

/Theorem/ (KKT)

(1944 年提出) 设 D={(x,y)∣g(x,y)≥0}D=\{(x,y)|g(x,y)\geq0\}，设 (x0,y0)∈∂D=D−D∘={(x,y)∣g=0}(x_0,y_0)\in\partial D=D-\overset{\circ}{D}=\{(x,y)|g=0\}，并且是光滑点 (∇g(x0,y0)≠(0,0)\nabla g(x_0,y_0)\neq(0,0))，且 (x0,y0)(x_0,y_0) 是 ff 在 DD 上的最大值点，则 ∃λ≤0\exist\lambda\leq0 使得

∇f(x0,y0)=λ∇g(x0,y0)\nabla f(x_0,y_0)=\lambda\nabla g(x_0,y_0)

/Remark/

条件中如果改成 (x0,y0)(x_0,y_0) 是在 ∂D\partial D 上面的最大值点，∂D={g=0}\partial D=\{g=0\}，那么就可以用 Lagrange 乘子法.

上述定理比 Lagrange 乘子法改进的地方在于给出了 λ\lambda 的符号.

/Proof/ (探测 path)

(这是那一年期中考试之后有同学想出来的方法.)

从 P0(x0,y0)P_0(x_0,y_0) 进入 DD 内部 (g>0g>0)，沿着梯度方向 gg 增加最快，考虑路径 p(t)=(x0,y0)+t∇g(x0,y0)p(t)=(x_0,y_0)+t\nabla g(x_0,y_0)，则：

lim⁡t→0+g(p(t))−g(p(0))t=p′(0)∇g(x0,y0)=∇g(x0,y0)>0\lim_{t\to0+}\frac{g(p(t))-g(p(0))}{t}=p'(0)\nabla g(x_0,y_0)=\nabla g(x_0,y_0)>0

所以 ∃r>0\exist r>0，∀0<t<r\forall0<t<r 有：g(p(t))>0g(p(t))>0，表明 p(t)∈Dp(t)\in D.

用 f(P0)f(P_0) 在 DD 上是最大值的条件，得到

lim⁡t→0+f(p(t))−f(p(0))t=p′(0)∇f(x0,y0)=∇f(x0,y0)≤0\lim_{t\to0+}\frac{f(p(t))-f(p(0))}{t}=p'(0)\nabla f(x_0,y_0)=\nabla f(x_0,y_0)\leq0

所以 ∇f(x0,y0)∇g(x0,y0)≤0\nabla f(x_0,y_0)\nabla g(x_0,y_0)\leq0. 由前述，在 ∂D\partial D 上用 Lagrange 乘子法，∃λ\exist\lambda 使得 ∇f(x0,y0)=λ∇g(x0,y0)\nabla f(x_0,y_0)=\lambda\nabla g(x_0,y_0)，因为两边符号相反，所以 λ≤0\lambda\leq0 得证.

KKT 的应用：

/Example/ (均值不等式)

对于 x1,⋯ ,xn≥0x_1,\cdots,x_n\geq0 有：

x1+⋯+xnn≥x1⋯xnn\frac{x_1+\cdots+x_n}{n}\geq\sqrt[n]{x_1\cdots x_n}

固定 x1+⋯+xn=Ax_1+\cdots+x_n=A，来证明 x1⋯xn≤(A/n)nx_1\cdots x_n\leq(A/n)^n. 这个问题变为约束最值：

D={(x1,⋯ ,xn)∣g(x1,⋯ ,xn)=x1+⋯+xn−A=0xi≥0 ,∀i}D=\left\{(x_1,\cdots, x_n)\left|\begin{array}{}g(x_1,\cdots,x_n)=x_1+\cdots+x_n-A=0\\ x_i\geq0\,,\quad\forall i \end{array}\right.\right\}

其中后面一个约束是不等式约束.

令 f=x1⋯xnf=x_1\cdots x_n，hi(x1,⋯ ,xn)=xih_i(x_1,\cdots,x_n)=x_i.

(1) 最值的存在性：

D=g−1[{0}]∩h1−1[[0,+∞)]∩⋯∩hn−1[[0,+∞)]D=g^{-1}[\{0\}]\cap h_1^{-1}[[0,+\infty)]\cap\cdots\cap h_n^{-1}[[0,+\infty)]

其中 {0}\{0\} 和 [0,+∞)[0,+\infty) 皆是 R\R 的闭子集，所以原像集也是闭的，得到 DD 为闭集. 同时，

D⊆[0,A]×⋯[0,A]D\subseteq[0,A]\times\cdots[0,A]

有界，所以 DD compact，最值存在.

(2) 求最值：设 a⃗=(a1,⋯ ,an)\vec{a}=(a_1,\cdots,a_n) 是 ff 在 DD 上面的最大值点，而我们容易发现，DD 的图形包含边界，边界 ∂D={∪\partial D=\{\cup 有一个不等式取等号}\}. 因此 DD 内部就是 hi>0h_i>0，∀i\forall i 严格成立的区域.

要分析 a⃗\vec{a} 点的位置来判断方法 (若 a⃗∈∂D\vec{a}\in\partial D 则不可使用 Lagrange 乘子法)

  1. a⃗∈∂D\vec{a}\in\partial D，此时 f(a⃗)=0f(\vec{a})=0，随意找一个内点都比这个值要大，因此不可能在边界上.

  2. a⃗∈D∘\vec{a}\in\overset{\circ}{D}，可以用 Lagrange 乘子法：∃λ∈R\exist\lambda\in\R 使得 (a1,⋯ ,an,λ)(a_1,\cdots,a_n,\lambda) 满足：

    L=f−λg\mathcal{L}=f-\lambda g

    的临界点方程.

0=∂L∂xi(a⃗)=a1⋯anai−λ0=\frac{\partial\mathcal{L}}{\partial x_i}(\vec{a})=\frac{a_1\cdots a_n}{a_i}-\lambda

可见，aia_i 全同，有 ai=A/na_i=A/n，∀i\forall i，得到最大值点的位置.

下面的例子来源于中国数学家樊畿 (Ky Fan).

提示

这个字在这个位置居然还有一个点……好，正确.——艾神

他的父亲叫樊绮，这使得他们的英文名几乎完全一样.

/Example/

回忆：对称矩阵 AA，求 max⁡∣v⃗∣=1(v⃗TAv⃗)\underset{|\vec{v}|=1}{\max}(\vec{v}^TA\vec{v}) 的问题.

Ky Fan 提问：给定实对称矩阵 An×nA_{n\times n}，对于 q⃗1,⋯ ,q⃗m∈Rm\vec{q}_1,\cdots,\vec{q}_m\in\R^m，要求它们是单位向量并且相互正交，求 f=q⃗1TAq⃗1+⋯+q⃗mTAq⃗mf=\vec{q}_1^TA\vec{q}_1+\cdots+\vec{q}_m^TA\vec{q}_m 的最大值. (这个问题的结果被称为 Ky Fan 不等式)

我们先来用线性代数的语言来改述一下这个问题：令 Q=[q⃗1⋯q⃗m]n×mQ=\begin{bmatrix}\vec{q}_1&\cdots&\vec{q}_m\end{bmatrix}_{n\times m} (将 q⃗i\vec{q}_i 作为列向量). 约束改写为：

QTQ=Im×mQ^TQ=I_{m\times m}

(QQ 是正交矩阵) 在这种约束下，我们的优化函数可以写成 f=Tr(QTAQ)f=\text{Tr}(Q^TAQ). 因此新版本的问题表述是：

约束 QTQ=ImQ^TQ=I_m，求 f=Tr(QTAQ)f=\text{Tr}(Q^TAQ) 的最大值.

约束是 ⟨q⃗i,q⃗j⟩=δij\braket{\vec{q}_i,\vec{q}_j}=\delta_{ij}，一共有 m(m+1)/2m(m+1)/2 个约束. 变元是 q⃗i\vec{q}_i 的所有分量，共 mnmn 个. 设 Q=[q⃗1⋯q⃗m]n×mQ=\begin{bmatrix}\vec{q}_1&\cdots&\vec{q}_m\end{bmatrix}_{n\times m} 是条件极值点，由 Lagrange 乘子法，∃λij\exist\lambda_{ij} (1≤i≤j≤m1\leq i\leq j\leq m)，使得 (q⃗i,λij)(\vec{q}_i,\lambda_{ij}) 满足：

L=∑i=1mq⃗iTAq⃗i−∑i<jλij(2⟨q⃗i,q⃗j⟩−2δij)−∑i=1mλii(⟨q⃗i,q⃗i⟩−1)\mathcal{L}=\sum_{i=1}^m\vec{q}_i^TA\vec{q}_i-\sum_{i<j}\lambda_{ij}(2\braket{\vec{q}_i,\vec{q}_j}-2\delta_{ij})-\sum_{i=1}^m\lambda_{ii}(\braket{\vec{q}_i,\vec{q}_i}-1)

的临界点方程 (其中有一部分约束 ×2\times2 的原因是为了使得对称的形式更好计算，反正没有影响). (q⃗j\vec{q}_j 的分量是 qijq_{ij}，同时为了方便，要求 λij=λji\lambda_{ij}=\lambda_{ji}，这么做的原因是内积对称)

0=∂L∂qij=∂∂qij(q⃗jTAq⃗j−∑s<jλsj⋅2⟨q⃗s,q⃗j⟩−∑j<tλjt⋅2⟨q⃗j,q⃗t⟩−λjj⟨q⃗j,q⃗j⟩)=2∑lAilqlj−∑s<jλsj⋅2qis−∑j<tλjt⋅2qit−λjj⋅2qij=2∑lAilqlj−∑s=1n2qisλsj=2(AQ)ij−2(QK)ij\begin{aligned} 0&=\frac{\partial\mathcal{L}}{\partial q_{ij}}\\ &=\frac{\partial}{\partial q_{ij}}\left(\vec{q}_j^TA\vec{q}_j-\sum_{s<j}\lambda_{sj}\cdot2\braket{\vec{q}_s,\vec{q}_j}-\sum_{j<t}\lambda_{jt}\cdot2\braket{\vec{q}_{j},\vec{q}_t}-\lambda_{jj}\braket{\vec{q}_j,\vec{q}_j} \right)\\ &=2\sum_{l}A_{il}q_{lj}-\sum_{s<j}\lambda_{sj}\cdot2q_{is}-\sum_{j<t}\lambda_{jt}\cdot2q_{it}-\lambda_{jj}\cdot2q_{ij}\\ &=2\sum_{l}A_{il}q_{lj}-\sum_{s=1}^n2q_{is}\lambda_{sj}\\\\ &=2(AQ)_{ij}-2(QK)_{ij} \end{aligned}

(记 K=(λij)1≤i,j≤mK=(\lambda_{ij})_{1\leq i,j\leq m}).

总结：若 QQ 是 ff 的条件极值点，则 ∃\exist 对称矩阵 Km×mK_{m\times m} 使得 AQ=QKAQ=QK. 由 QTQ=Im×mQ^TQ=I_{m\times m}，可知：

QTAQ=QTQK=ImK=KQ^TAQ=Q^TQK=I_mK=K

在此之下，f(Q)=Tr(QTAQ)=TrKf(Q)=\text{Tr}(Q^TAQ)=\text{Tr}K.

将 QQ 任意扩充为 Rn\R^n 的单位正交基 q⃗1,⋯ ,q⃗m,q⃗m+1,⋯ ,q⃗n\vec{q}_1,\cdots,\vec{q}_m,\vec{q}_{m+1},\cdots,\vec{q}_n，写成 Q~\tilde Q，仿照 f=Tr(QTAQ)f=\text{Tr}(Q^TAQ)，来计算 Q~TAQ~=(⟨q⃗i,Aq⃗j⟩)i,j\tilde{Q}^TA\tilde{Q}=(\braket{\vec{q}_i,A\vec{q}_j})_{i,j}.

由 AQ=QKm×mAQ=QK_{m\times m}：

A[q⃗1⋯q⃗m]=[q⃗1⋯q⃗m][λ11⋯λ1m⋮⋱⋮λm1⋯λmm]⟹[Aq⃗1⋯Aq⃗n]=(∑ni=1λi1q⃗i⋯)⟹Aq⃗1,⋯ ,Aq⃗m∈span{q⃗1,⋯ ,q⃗m}⟹⟨q⃗i,Aq⃗j⟩=0 ,1≤j≤m<i\begin{aligned} A\begin{bmatrix} \vec{q}_1&\cdots&\vec{q}_m \end{bmatrix}&=\begin{bmatrix} \vec{q}_1&\cdots&\vec{q}_m \end{bmatrix}\begin{bmatrix} \lambda_{11}&\cdots&\lambda_{1m}\\ \vdots&\ddots&\vdots\\ \lambda_{m1}&\cdots&\lambda_{mm} \end{bmatrix}\\\\ \Longrightarrow\begin{bmatrix} A\vec{q}_1&\cdots&A\vec{q}_n \end{bmatrix}&=\begin{pmatrix} \underset{i=1}{\overset{n}{\sum}}\lambda_{i1}\vec{q}_i&\cdots \end{pmatrix}\\\\ \Longrightarrow A\vec{q}_1,\cdots,A\vec{q}_m&\in\text{span}\{\vec{q}_1,\cdots,\vec{q}_m\}\\\\ \Longrightarrow\braket{\vec{q}_i,A\vec{q}_j}&=0\,,\quad1\leq j\leq m<i \end{aligned}

所以得到 Q~TAQ~\tilde{Q}^TA\tilde{Q} 正交相似于 AA，且有：

Q~TAQ~=(QTAQ00⋆)=(K00⋆)=B\tilde{Q}^TA\tilde{Q}=\left(\begin{array}{c|c} Q^TAQ&0\\\hline 0&\star \end{array}\right)=\left(\begin{array}{c|c} K&0\\\hline 0&\star \end{array}\right)=B

分块对角化. 因此 A,BA,B 正交相似，由 BB 分块对角化，可知 {K\{K 的特征值}⊆{B\}\subseteq\{B 的特征值}={A\}=\{A 的特征值}\}. 进而：f(Q)=TrK=Kf(Q)=\text{Tr}K=K 的 mm 个特征值之和 =A=A 的某 mm 个特征值之和 ≤A\leq A 的最大 mm 个特征值之和.

最终得到定理：

/Theorem/ (Ky Fan)

设 Qn×mQ_{n\times m} 满足 QTQ=ImQ^TQ=I_m，则 f=Tr(QTAQ)f=\text{Tr}(Q^TAQ) 的最大值为 AA 的最大 mm 个特征值之和.

积分学

有很多种积分：Rn\R^n 上的积分 (Riemann 积分的推广)、在几何对象上的积分 (曲线 / 曲面积分)……

对于 Rn\R^n 上的积分 (多重积分)，回忆 Riemann 积分：

∫abf(x)dx=lim⁡P(∑if(ξi)Δxi)\int_a^bf(x)\text{d}x=\lim_P\left(\sum_i f(\xi_i)\Delta x_i\right)

(PP 是全体剖分)

可以将上述积分式解读为 ff 下面图形的面积 (f(x)f(x) 解读为 height)，亦可以解读为 [a,b][a,b] 的带权长度 (f(x)f(x) 解读为权重).

推广至 nn (n=2n=2) 维：Ω={(x,y,z)∣(x,y)∈D,0≤z≤f(x,y)}\Omega=\{(x,y,z)|(x,y)\in D,0\leq z\leq f(x,y)\}. 则整个积分可以视作一个体积：

Vol(Ω)=?\text{Vol}(\Omega)=?

  • 剖分 D=∪DiD=\cup D_i；
  • 选代表点 ξ⃗i∈Di\vec{\xi}_i\in D_i；
  • ∑f(ξ⃗i)⋅area(Di)\sum f(\vec{\xi}_i)\cdot\text{area}(D_i)；
  • lim⁡∑f(ξ⃗i)area(Di)=∬Df\lim\sum f(\vec{\xi}_i)\text{area}(D_i)=\iint_Df.

但是这样的直接推广会遇到问题：area(Di)\text{area}(D_i) 如何定义？同时很多平面区域 EE 无法定义面积.

更严格地定义多重积分：选择矩形面积来作为分割单元.

(1) 对 DD 为矩形 (更高维的情况下是 nn 维矩体) 定义 DD 上函数的积分.

D=[a,b]×[c,d]D=[a,b]\times[c,d]，选择 [a,b][a,b] 的剖分为 ⋃iSi\bigcup_iS_i，[c,d][c,d] 剖分为 ⋃jTj\bigcup_jT_j，则 D=⋃i,jSi×TjD=\bigcup_{i,j}S_i\times T_j. 现在就得到了两种等价的方法：

  1. lim⁡S,T∑i=1n∑j=1mf(ξ⃗ij)∣Si∣∣Tj∣\lim_{S,T}\sum_{i=1}^n\sum_{j=1}^mf(\vec{\xi}_{ij})|S_i||T_j|

    (∣I∣|I| 表示区间长度) 若上述极限存在，则称 ff 在 DD 上可积分，记这个极限为：

    ∬Df(x,y)dA=∬Df(x,y)dxdy=∬Df(x,y)∣dxdy∣=∬Df=∫Df\iint_Df(x,y)\text{d}A=\iint_Df(x,y)\text{d}x\text{d}y=\iint_Df(x,y)|\text{d}x\text{d}y|=\iint_Df=\int_Df

    (有时为了强调“面积”是正的而加上绝对值，而后面的两种属于是简写)

    /bug/

    上面完全套用 Riemann 的方法需要剖分 & 选点，变得比较麻烦.

  2. Darboux 上和和 Darboux 下和：(对于剖分 PP)

    upper sum: U(P,f):=∑i,j∣Si∣⋅∣Tj∣sup⁡Si×Tjflower sum: L(P,f):=∑i,j∣Si∣⋅∣Tj∣inf⁡Si×Tjf\begin{aligned} \text{upper sum: }U(P,f)&:=\sum_{i,j}|S_i|\cdot|T_j|\sup_{S_i\times T_j}f\\\\ \text{lower sum: }L(P,f)&:=\sum_{i,j}|S_i|\cdot|T_j|\inf_{S_i\times T_j}f \end{aligned}

    和一维积分几乎一样.

    注意：要取 sup⁡\sup 和 inf⁡\inf，意味着 ff 必须有界.

/Definition/

称有界函数 ff 在矩形 DD 上可积分，如果对于所有剖分 PP：

inf⁡P(U(P,f))=sup⁡P(L(P,f))\inf_P(U(P,f))=\sup_{P}(L(P,f))

成立. 我们把上式的公共值称为 ∬Df\iint_Df.

/Claim/

ff 在矩形 DD 上可积 ⟺\Longleftrightarrow ∀ε>0\forall\varepsilon>0，∃\exist 一个剖分 PP 使得 U(P,f)−L(P,f)<εU(P,f)-L(P,f)<\varepsilon.

/Theorem/ (Riemann - Lebesgue 积分)

设 DD 是 nn 维矩体 D=[a1,b1]×⋯×[an,bn]D=[a_1,b_1]\times\cdots\times[a_n,b_n]，则 ff 在 DD 上可积 ⟺\Longleftrightarrow ff 在 DD 上有界 / ff 在 DD 上的间断点集的 nn 维 volume 是零.

/Definition/

称 E⊆RnE\subseteq\R^n 的 nn 维 volume 为零，如果 ∀ε>0\forall\varepsilon>0，∃\exist 可数个矩体 I1,I2,⋯I_1,I_2,\cdots，使得：

⋃m=1∞Im⊇E ,∑m=1∞vol(Im)<ε\bigcup_{m=1}^\infty I_m\supseteq E\,,\quad \sum_{m=1}^\infty\text{vol}(I_m)<\varepsilon

/Corollary/

连续函数在矩体上均可积.

因此 nn 维矩体 II 上 ff 的积分为：

∫⋯∫I‾nf(x1,⋯ ,xn)dV\underset{n}{\underline{\int\cdots\int_I}}f(x_1,\cdots,x_n)\text{d}V

当然也有很多简写.

(2) 对于一般的有界区域 EE，以 22 维为例，取矩形 I⊇EI\supseteq E，对于 EE 上的 ff，将 ff 扩充至 II 上：

f~(x⃗)={f(x)x∈E0x∉E\tilde f(\vec{x})=\left\{\begin{array}{ll} f(x)&x\in E\\ 0&x\notin E \end{array}\right.

/Definition/

∬Ef=∬If~\iint_Ef=\iint_I\tilde f

(这样的定义是严格的，但是复杂程度全部集中在 f~\tilde f 上)

沿用 Riemann - Lebesgue 定理：ff 在 EE 上可积 ⟺\Longleftrightarrow f~\tilde f 在 II 上可积 ⟺\Longleftrightarrow f~\tilde f 在 II 上有界，disc(f~)\text{disc}(\tilde f) (间断点集，因为英文是 discontinuous) 是零面积集.

前半句话比较好判断，因为 II 上有界就是 EE 上有界. 但是如何判断间断点集是零面积集？我们引入所谓的示性函数：

/Definition/ (示性函数)

设 ff 在 II 上有定义，f~(x⃗)=f(x⃗)χE(x⃗)\tilde f(\vec{x})=f(\vec{x})\chi_E(\vec{x}).

对于集合 E⊆R2E\subseteq\R^2，示性函数 χE:R2→R\chi_E:\R^2\to\R，有

χE(x⃗)={1x⃗∈E0x⃗∉E\chi_E(\vec{x})=\left\{\begin{array}{ll} 1&\vec{x}\in E\\ 0&\vec{x}\notin E \end{array}\right.

回忆：disc(fg)⊆disc(f)∪disc(g)\text{disc}(fg)\subseteq\text{disc}(f)\cup\text{disc}(g)，因为若 f,gf,g 在 x0x_0 处连续，则 fgfg 在 x0x_0 处连续.

从而，若 x0∈C(f)∩C(g)⊆C(fg)x_0\in C(f)\cap C(g)\subseteq C(fg). 取补集：

disc(fg)=(C(fg))C⊆(C(f)∩C(g))C=disc(f)∪disc(g)\text{disc}(fg)=(C(fg))^C\subseteq(C(f)\cap C(g))^C=\text{disc}(f)\cup\text{disc}(g)

版权归属：physnya

许可证：署名-非商业性-相同方式共享 4.0 国际 (CC-BY-NC-SA-4.0)