https://www.codelast.com/math-concepts-%E6%95%B0%E5%AD%A6%E6%A6%82%E5%BF%B5/
這里記錄了我在學(xué)習(xí)過程中遇到或總結(jié)的一些基礎(chǔ)數(shù)學(xué)概念，保存于此，與需要者共享。
Following are some basic math concepts I read or summarized in my learning process, I wrote them down here to share with those who need them.
（1）奇異函數(shù)
奇異函數(shù)是一種理想化的函數(shù)，它具有一個(gè)或多個(gè)間斷點(diǎn)，在這些點(diǎn)上無法確定函數(shù)或其導(dǎo)數(shù)值。常用的有階躍函數(shù)和沖激函數(shù)。
（2）奇點(diǎn)
所有不滿足整體性質(zhì)的個(gè)別點(diǎn)，在數(shù)學(xué)上都可以稱為奇點(diǎn)。
如果奇點(diǎn)出現(xiàn)在分母極限為0的情況，通常來說就是產(chǎn)生無窮大解的表達(dá)式，在這種情況下數(shù)學(xué)計(jì)算失效。
在復(fù)變函數(shù)中，奇點(diǎn)的定義：若函數(shù)（復(fù)變函數(shù)）f(z)在某點(diǎn)z0不解析，但在z0的任一鄰域內(nèi)都有f(z)的解析點(diǎn)，則z0稱為f(z)的奇點(diǎn)（singular point）。
“奇點(diǎn)”是復(fù)變函數(shù)里的一個(gè)概念。在一個(gè)區(qū)域內(nèi)可導(dǎo)的復(fù)變函數(shù)，稱為這個(gè)區(qū)域內(nèi)的解析函數(shù)，如果一個(gè)復(fù)變函數(shù)在挖掉點(diǎn)z的區(qū)域內(nèi)解析，但在點(diǎn)z處不解析，則z稱為這個(gè)解析函數(shù)的奇點(diǎn)。解析函數(shù)的奇點(diǎn)總是孤立的，奇點(diǎn)按其性質(zhì)，可以分為：可去奇點(diǎn)、極點(diǎn)和本性奇點(diǎn)三大類。
（3）病態(tài)多項(xiàng)式
“病態(tài)多項(xiàng)式”是與病態(tài)代數(shù)方程的概念相關(guān)的。
在代數(shù)方程中，有的多項(xiàng)式系數(shù)有微小擾動(dòng)時(shí)其根變化很大，這種根對(duì)系數(shù)變化的敏感性稱為不穩(wěn)定性（instability），這種方程就是病態(tài)多項(xiàng)式方程。通常重根的方程是病態(tài)的，有幾個(gè)根彼此很靠近，則這些根對(duì)系數(shù)的擾動(dòng)也是敏感的，有時(shí)根看起來分隔得很好，但同樣可能是病態(tài)的——這段話來自《現(xiàn)代應(yīng)用數(shù)學(xué)手冊(cè)：計(jì)算與數(shù)值分析卷》一書。
由于在計(jì)算機(jī)數(shù)值算法中，求根過程總是通過迭代來完成的，而迭代過程又是通過一個(gè)初始解，不斷地修改這個(gè)解，最后達(dá)到某個(gè)收斂標(biāo)準(zhǔn)為止，而一個(gè)病態(tài)多項(xiàng)式的系數(shù)微小變化就會(huì)引起根的很大變化，因此在迭代過程中可能導(dǎo)致求出的根不可信。
病態(tài)多項(xiàng)式的一個(gè)例子：
p(x)=(x−1)(x−2)(x−3)⋯(x−7)=x7−28x6+322x5−1960x4+6769x3−13132x2+13068x−5040
（4）超線性收斂
如果一種方法（這里指算法），是以前一次迭代的一階冪乘以一個(gè)小于1的因子的速度收斂，則稱這種方法為線性收斂（例如二分法），而以高階冪收斂的方法稱為超線性收斂。
具體描述：
設(shè)算法產(chǎn)生點(diǎn)列 {x(k)}，收斂到解 x∗，且x(k)≠x∗,∀k ，則
A）線性收斂：∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥<1 ，當(dāng)k充分大時(shí)成立
B）超線性收斂：limk→∞∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥=0
C）二階收斂：∃α>0 ，當(dāng)k充分大時(shí)有： ∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥2≤α
我們知道上面的符號(hào)||……||是范數(shù)的符號(hào)，范數(shù)可以用來度量向量之間的距離。對(duì)最簡(jiǎn)單的情況——一維向量來說——上面的各個(gè)相減的式子就可以表示兩點(diǎn)之間的距離。
（5）卷積
http://www.codelast.com/?p=994
（6）最小二乘的理論依據(jù)
http://www.codelast.com/?p=1027
（7）Powell算法
http://www.codelast.com/?p=388
（8）黃金比例搜索算法
http://www.codelast.com/?p=434
（9）奇異方程組
行退化或列退化的方程組稱為奇異方程組。
（10）奇異值分解
一種處理奇異問題的方法，有時(shí)能將奇異問題轉(zhuǎn)為非奇異問題來解決。
在很長(zhǎng)時(shí)間內(nèi)，奇異值分解都無法并行處理（雖然 Google 早就有了MapReduce 等并行計(jì)算的工具，但是由于奇異值分解很難拆成不相關(guān)子運(yùn)算，即使在 Google 內(nèi)部以前也無法利用并行計(jì)算的優(yōu)勢(shì)來分解矩陣）。
2007年初，Google 中國(guó)的張智威博士和幾個(gè)中國(guó)的工程師及實(shí)習(xí)生已經(jīng)實(shí)現(xiàn)了奇異值分解的并行算法，這是 Google中國(guó)對(duì)世界的一個(gè)貢獻(xiàn)。
（11）主元
在解線性方程組時(shí)，通過加減乘除，將系數(shù)矩陣的a00，a11，a22，……（即主對(duì)角線上的元素）化為單位矩陣的形式（其他元素均化為零），在每一次計(jì)算過程中，用作除數(shù)的元素即為主元/主元素。如果計(jì)算過程中完全沒有“行交換”或“列交換”，則這種方法稱為“不選主元”的方法。
（12）完全主元法 & 部分主元法
在解線性方程組的選主元法中，如果只有行交換操作，則稱該方法為部分主元法；如果行交換和列交換操作都有，則稱該方法為完全主元法。
（13）矩陣的初等變換
a、交換矩陣的兩行（列）；
b、用一個(gè)不為零的數(shù)乘矩陣的某一行(列)；
c、用一個(gè)數(shù)乘矩陣某一行（列）加到另一行（列）上。
（14）外推法
一種 “根據(jù)已知的數(shù)值推斷已知數(shù)值范圍以外的數(shù)值” 的方法。
（15）Ridders求導(dǎo)算法
http://www.codelast.com/?p=1419
（16）線性/非線性規(guī)劃
第一次看到這個(gè)名詞的時(shí)候，你一定有一種它好高深的感覺，但實(shí)際上它不過是“最優(yōu)化”問題的一種“特例”罷了。當(dāng)最優(yōu)化問題中的自變量的定義域是有限維空間中的一個(gè)子集時(shí)，這種問題就稱為線性/非線性規(guī)劃。舉個(gè)簡(jiǎn)單的例子來說，對(duì)一個(gè)自變量為1維的函數(shù)f(x)=ax+b，自變量的定義域?yàn)椋?, 9.8），它是1維空間的一個(gè)子集，那么，通過最優(yōu)化方法來求解a、b的問題，就稱為線性規(guī)劃。但是要注意，當(dāng)x只能取幾個(gè)值時(shí)，例如x只能取1、5、9.8這幾個(gè)值，則這種最優(yōu)化問題就不叫線性/非線性規(guī)劃了，而是叫組合優(yōu)化。有時(shí)候這些界限劃分得很清晰的概念反而讓人覺得很混淆，我認(rèn)為它們確實(shí)對(duì)理解問題起到了負(fù)面的作用。
平常看到的很多資料中，對(duì)這些類似的概念故弄玄虛的解釋什么的，最讓人不舒服了！
（17）凸集
凸集在最優(yōu)化領(lǐng)域占有重要地位。其數(shù)學(xué)定義是：設(shè)有N維空間的子集D，如果對(duì)于任意的向量（也可以說是N維空間中的點(diǎn)）X1，X2∈D，以及任意的實(shí)數(shù)a∈[0, 1]，都有aX1+(1-a)X2∈D，則稱D為凸集。凸集的幾何意義是：如果D為非空集合，則連接D中任意兩個(gè)點(diǎn)X1、X2的線段仍屬于該集合。
這似乎有點(diǎn)令人費(fèi)解：aX1+(1-a)X2與兩點(diǎn)之間的連線有什么關(guān)系呢？它表示連接這兩點(diǎn)的線段上的任意一點(diǎn)。簡(jiǎn)單推導(dǎo)如下：假設(shè)X為線段X1X2上的任一點(diǎn)，則向量X2X（向量應(yīng)該打上箭頭，但是為了書寫方便，我就省略了）平行于向量X2X1，且0≤ |X2X| ≤ |X2X1| 。因此，存在a∈[0, 1]，使得 X2X = a X2X1，即：X - X2 = a (X1 - X2)，即 X = aX1+(1-a)X2 。由于X是線段X1X2上任一點(diǎn)，因此前面的結(jié)論不言自明。
（18）半正定矩陣
n×n的矩陣M，若對(duì)于任意非零的x∈Rn，有xTMx≥0，則稱M為半正定矩陣。
（19）奇異矩陣
首先，一個(gè)矩陣必須是方陣，才有奇異或非奇異的概念。其次，若該矩陣的行列式為0，則其為奇異矩陣，否則就是非奇異矩陣。
可逆矩陣是非奇異矩陣，非奇異矩陣也是可逆矩陣。
（20）最速下降法/steepest descent，牛頓法/newton，共軛方向法/conjugate direction，共軛梯度法/conjugate gradient，etc.
http://www.codelast.com/?p=2573
（21）水平集
假設(shè)X∈Rn，則集合S = {X∈Rn| f(X) ≤ a}稱為一個(gè)水平集，其中a為常數(shù)。
（22）由兩兩線性無關(guān)的列向量構(gòu)成的矩陣是滿秩的
先看wikipedia的定義，就很容易明白了：兩兩線性無關(guān)的列向量構(gòu)成的矩陣必然是滿秩的。
（23）線性流形
“流形”（manifold）是數(shù)學(xué)中用于描述幾何形體的一個(gè)概念，它是指局部具有歐幾里得空間性質(zhì)的空間。 歐幾里得空間就是最簡(jiǎn)單的流形的實(shí)例。歐幾里得空間也被理解為線性流形。
這個(gè)詞聽起來挺怪的，我想，要記住它，可以從表面含義來看：“流形”——流動(dòng)的形狀，光滑的；“線性”——連續(xù)的。結(jié)合起來，N維歐幾里得空間Rn就是這么回事。
（24）滿秩與正定的一個(gè)關(guān)系
設(shè)C為滿秩矩陣，A為正定的實(shí)對(duì)稱矩陣，則CTAC是正定的。因此可推出：若C是由兩兩線性無關(guān)的向量構(gòu)成的矩陣（則其為滿秩的），則CTAC正定。
（25）二次型
二次型是一些變量上的二次齊次多項(xiàng)式。齊次多項(xiàng)式是指各項(xiàng)的總次數(shù)均相同的多項(xiàng)式 ，例如 x5+ 2x3y2+ 9xy4就是一個(gè)五次的雙變?cè)▁和y）齊次多項(xiàng)式，其各項(xiàng)的總次數(shù)都是5。
（26）正定二次型
設(shè)有實(shí)二次型 f = XTAX，若對(duì)于任何X≠0，都有 f(X)>0，則稱 f 為正定二次型，并且稱對(duì)稱矩陣A為正定的。反之，若 f(X)<0，則稱 f 為負(fù)定二次型。
（27）正定矩陣均可逆，并且其逆也是正定矩陣
（28）柯西不等式/柯西-施瓦茨不等式/Cauchy–Schwarz inequality
相當(dāng)有用的一個(gè)不等式，表達(dá)式如下：
若把這個(gè)式子寫成兩個(gè)向量u，v的形式，則為：
（29）大O和小o：同階無窮小與高階無窮小
大O和小o分別代表同階無窮小與高階無窮小，注意不要弄混了。例如，β與α是同階無窮小，記作β=O(α)；β是比α高階的無窮小，記作β=o(α) 。
（30）稀疏矩陣：元素大部分為0的矩陣
（31）關(guān)于正定矩陣共軛的非零向量組線性無關(guān)
（32）實(shí)對(duì)稱矩陣A正定的充分必要條件是存在可逆矩陣C，使得 A=CTC。由于可逆矩陣是正定矩陣，所以對(duì)稱正定矩陣A滿足：存在正定矩陣D，使得A=DTD
（33）每一個(gè)秩一矩陣都可以化為一個(gè)列向量與一個(gè)行向量之積
例如A為n×n的秩一矩陣，則存在n×1向量u，v，使得A=uvT
（34）駐點(diǎn)及鞍點(diǎn)
駐點(diǎn)：一階導(dǎo)數(shù)為0的點(diǎn)。它包括3種類型：極小點(diǎn)、極大點(diǎn)、鞍點(diǎn)。
鞍點(diǎn)：沿某些方向是極小點(diǎn)；沿另一些方向是極大點(diǎn)，這樣的點(diǎn)稱為鞍點(diǎn)。想像一下馬鞍的形狀：馬鞍凹下去的那部分的最低點(diǎn)，就是鞍點(diǎn)的一個(gè)例子（圖片來源于網(wǎng)絡(luò)，感謝原作者）：
（35）雅可比矩陣（Jacobi matrix）不一定是方陣（n×n的矩陣）
（36）無解的線性方程組被稱為是不相容的，有一或無窮多個(gè)解的線性方程組被稱為是相容的
（37）若一個(gè)矩陣經(jīng)過一系列行初等變換可以變成另一個(gè)矩陣，則稱這兩個(gè)矩陣是行等價(jià)的
（38）一元二次方程ax2+bx+c=0(a≠0)的求根公式