https://www.codelast.com/math-concepts-%E6%95%B0%E5%AD%A6%E6%A6%82%E5%BF%B5/
這里記錄了我在學習過程中遇到或總結(jié)的一些基礎(chǔ)數(shù)學概念，保存于此，與需要者共享。
Following are some basic math concepts I read or summarized in my learning process, I wrote them down here to share with those who need them.
（1）奇異函數(shù)
奇異函數(shù)是一種理想化的函數(shù)，它具有一個或多個間斷點，在這些點上無法確定函數(shù)或其導(dǎo)數(shù)值。常用的有階躍函數(shù)和沖激函數(shù)。
（2）奇點
所有不滿足整體性質(zhì)的個別點，在數(shù)學上都可以稱為奇點。
如果奇點出現(xiàn)在分母極限為0的情況，通常來說就是產(chǎn)生無窮大解的表達式，在這種情況下數(shù)學計算失效。
在復(fù)變函數(shù)中，奇點的定義：若函數(shù)（復(fù)變函數(shù)）f(z)在某點z0不解析，但在z0的任一鄰域內(nèi)都有f(z)的解析點，則z0稱為f(z)的奇點（singular point）。
“奇點”是復(fù)變函數(shù)里的一個概念。在一個區(qū)域內(nèi)可導(dǎo)的復(fù)變函數(shù)，稱為這個區(qū)域內(nèi)的解析函數(shù)，如果一個復(fù)變函數(shù)在挖掉點z的區(qū)域內(nèi)解析，但在點z處不解析，則z稱為這個解析函數(shù)的奇點。解析函數(shù)的奇點總是孤立的，奇點按其性質(zhì)，可以分為：可去奇點、極點和本性奇點三大類。
（3）病態(tài)多項式
“病態(tài)多項式”是與病態(tài)代數(shù)方程的概念相關(guān)的。
在代數(shù)方程中，有的多項式系數(shù)有微小擾動時其根變化很大，這種根對系數(shù)變化的敏感性稱為不穩(wěn)定性（instability），這種方程就是病態(tài)多項式方程。通常重根的方程是病態(tài)的，有幾個根彼此很靠近，則這些根對系數(shù)的擾動也是敏感的，有時根看起來分隔得很好，但同樣可能是病態(tài)的——這段話來自《現(xiàn)代應(yīng)用數(shù)學手冊：計算與數(shù)值分析卷》一書。
由于在計算機數(shù)值算法中，求根過程總是通過迭代來完成的，而迭代過程又是通過一個初始解，不斷地修改這個解，最后達到某個收斂標準為止，而一個病態(tài)多項式的系數(shù)微小變化就會引起根的很大變化，因此在迭代過程中可能導(dǎo)致求出的根不可信。
病態(tài)多項式的一個例子：
p(x)=(x−1)(x−2)(x−3)⋯(x−7)=x7−28x6+322x5−1960x4+6769x3−13132x2+13068x−5040
（4）超線性收斂
如果一種方法（這里指算法），是以前一次迭代的一階冪乘以一個小于1的因子的速度收斂，則稱這種方法為線性收斂（例如二分法），而以高階冪收斂的方法稱為超線性收斂。
具體描述：
設(shè)算法產(chǎn)生點列 {x(k)}，收斂到解 x∗，且x(k)≠x∗,∀k ，則
A）線性收斂：∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥<1 ，當k充分大時成立
B）超線性收斂：limk→∞∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥=0
C）二階收斂：∃α>0 ，當k充分大時有： ∥∥x(k+1)−x∗∥∥∥∥x(k)−x∗∥∥2≤α
我們知道上面的符號||……||是范數(shù)的符號，范數(shù)可以用來度量向量之間的距離。對最簡單的情況——一維向量來說——上面的各個相減的式子就可以表示兩點之間的距離。
（5）卷積
http://www.codelast.com/?p=994
（6）最小二乘的理論依據(jù)
http://www.codelast.com/?p=1027
（7）Powell算法
http://www.codelast.com/?p=388
（8）黃金比例搜索算法
http://www.codelast.com/?p=434
（9）奇異方程組
行退化或列退化的方程組稱為奇異方程組。
（10）奇異值分解
一種處理奇異問題的方法，有時能將奇異問題轉(zhuǎn)為非奇異問題來解決。
在很長時間內(nèi)，奇異值分解都無法并行處理（雖然 Google 早就有了MapReduce 等并行計算的工具，但是由于奇異值分解很難拆成不相關(guān)子運算，即使在 Google 內(nèi)部以前也無法利用并行計算的優(yōu)勢來分解矩陣）。
2007年初，Google 中國的張智威博士和幾個中國的工程師及實習生已經(jīng)實現(xiàn)了奇異值分解的并行算法，這是 Google中國對世界的一個貢獻。
（11）主元
在解線性方程組時，通過加減乘除，將系數(shù)矩陣的a00，a11，a22，……（即主對角線上的元素）化為單位矩陣的形式（其他元素均化為零），在每一次計算過程中，用作除數(shù)的元素即為主元/主元素。如果計算過程中完全沒有“行交換”或“列交換”，則這種方法稱為“不選主元”的方法。
（12）完全主元法 & 部分主元法
在解線性方程組的選主元法中，如果只有行交換操作，則稱該方法為部分主元法；如果行交換和列交換操作都有，則稱該方法為完全主元法。
（13）矩陣的初等變換
a、交換矩陣的兩行（列）；
b、用一個不為零的數(shù)乘矩陣的某一行(列)；
c、用一個數(shù)乘矩陣某一行（列）加到另一行（列）上。
（14）外推法
一種 “根據(jù)已知的數(shù)值推斷已知數(shù)值范圍以外的數(shù)值” 的方法。
（15）Ridders求導(dǎo)算法
http://www.codelast.com/?p=1419
（16）線性/非線性規(guī)劃
第一次看到這個名詞的時候，你一定有一種它好高深的感覺，但實際上它不過是“最優(yōu)化”問題的一種“特例”罷了。當最優(yōu)化問題中的自變量的定義域是有限維空間中的一個子集時，這種問題就稱為線性/非線性規(guī)劃。舉個簡單的例子來說，對一個自變量為1維的函數(shù)f(x)=ax+b，自變量的定義域為（1, 9.8），它是1維空間的一個子集，那么，通過最優(yōu)化方法來求解a、b的問題，就稱為線性規(guī)劃。但是要注意，當x只能取幾個值時，例如x只能取1、5、9.8這幾個值，則這種最優(yōu)化問題就不叫線性/非線性規(guī)劃了，而是叫組合優(yōu)化。有時候這些界限劃分得很清晰的概念反而讓人覺得很混淆，我認為它們確實對理解問題起到了負面的作用。
平常看到的很多資料中，對這些類似的概念故弄玄虛的解釋什么的，最讓人不舒服了！
（17）凸集
凸集在最優(yōu)化領(lǐng)域占有重要地位。其數(shù)學定義是：設(shè)有N維空間的子集D，如果對于任意的向量（也可以說是N維空間中的點）X1，X2∈D，以及任意的實數(shù)a∈[0, 1]，都有aX1+(1-a)X2∈D，則稱D為凸集。凸集的幾何意義是：如果D為非空集合，則連接D中任意兩個點X1、X2的線段仍屬于該集合。
這似乎有點令人費解：aX1+(1-a)X2與兩點之間的連線有什么關(guān)系呢？它表示連接這兩點的線段上的任意一點。簡單推導(dǎo)如下：假設(shè)X為線段X1X2上的任一點，則向量X2X（向量應(yīng)該打上箭頭，但是為了書寫方便，我就省略了）平行于向量X2X1，且0≤ |X2X| ≤ |X2X1| 。因此，存在a∈[0, 1]，使得 X2X = a X2X1，即：X - X2 = a (X1 - X2)，即 X = aX1+(1-a)X2 。由于X是線段X1X2上任一點，因此前面的結(jié)論不言自明。
（18）半正定矩陣
n×n的矩陣M，若對于任意非零的x∈Rn，有xTMx≥0，則稱M為半正定矩陣。
（19）奇異矩陣
首先，一個矩陣必須是方陣，才有奇異或非奇異的概念。其次，若該矩陣的行列式為0，則其為奇異矩陣，否則就是非奇異矩陣。
可逆矩陣是非奇異矩陣，非奇異矩陣也是可逆矩陣。
（20）最速下降法/steepest descent，牛頓法/newton，共軛方向法/conjugate direction，共軛梯度法/conjugate gradient，etc.
http://www.codelast.com/?p=2573
（21）水平集
假設(shè)X∈Rn，則集合S = {X∈Rn| f(X) ≤ a}稱為一個水平集，其中a為常數(shù)。
（22）由兩兩線性無關(guān)的列向量構(gòu)成的矩陣是滿秩的
先看wikipedia的定義，就很容易明白了：兩兩線性無關(guān)的列向量構(gòu)成的矩陣必然是滿秩的。
（23）線性流形
“流形”（manifold）是數(shù)學中用于描述幾何形體的一個概念，它是指局部具有歐幾里得空間性質(zhì)的空間。 歐幾里得空間就是最簡單的流形的實例。歐幾里得空間也被理解為線性流形。
這個詞聽起來挺怪的，我想，要記住它，可以從表面含義來看：“流形”——流動的形狀，光滑的；“線性”——連續(xù)的。結(jié)合起來，N維歐幾里得空間Rn就是這么回事。
（24）滿秩與正定的一個關(guān)系
設(shè)C為滿秩矩陣，A為正定的實對稱矩陣，則CTAC是正定的。因此可推出：若C是由兩兩線性無關(guān)的向量構(gòu)成的矩陣（則其為滿秩的），則CTAC正定。
（25）二次型
二次型是一些變量上的二次齊次多項式。齊次多項式是指各項的總次數(shù)均相同的多項式 ，例如 x5+ 2x3y2+ 9xy4就是一個五次的雙變元（x和y）齊次多項式，其各項的總次數(shù)都是5。
（26）正定二次型
設(shè)有實二次型 f = XTAX，若對于任何X≠0，都有 f(X)>0，則稱 f 為正定二次型，并且稱對稱矩陣A為正定的。反之，若 f(X)<0，則稱 f 為負定二次型。
（27）正定矩陣均可逆，并且其逆也是正定矩陣
（28）柯西不等式/柯西-施瓦茨不等式/Cauchy–Schwarz inequality
相當有用的一個不等式，表達式如下：
若把這個式子寫成兩個向量u，v的形式，則為：
（29）大O和小o：同階無窮小與高階無窮小
大O和小o分別代表同階無窮小與高階無窮小，注意不要弄混了。例如，β與α是同階無窮小，記作β=O(α)；β是比α高階的無窮小，記作β=o(α) 。
（30）稀疏矩陣：元素大部分為0的矩陣
（31）關(guān)于正定矩陣共軛的非零向量組線性無關(guān)
（32）實對稱矩陣A正定的充分必要條件是存在可逆矩陣C，使得 A=CTC。由于可逆矩陣是正定矩陣，所以對稱正定矩陣A滿足：存在正定矩陣D，使得A=DTD
（33）每一個秩一矩陣都可以化為一個列向量與一個行向量之積
例如A為n×n的秩一矩陣，則存在n×1向量u，v，使得A=uvT
（34）駐點及鞍點
駐點：一階導(dǎo)數(shù)為0的點。它包括3種類型：極小點、極大點、鞍點。
鞍點：沿某些方向是極小點；沿另一些方向是極大點，這樣的點稱為鞍點。想像一下馬鞍的形狀：馬鞍凹下去的那部分的最低點，就是鞍點的一個例子（圖片來源于網(wǎng)絡(luò)，感謝原作者）：
（35）雅可比矩陣（Jacobi matrix）不一定是方陣（n×n的矩陣）
（36）無解的線性方程組被稱為是不相容的，有一或無窮多個解的線性方程組被稱為是相容的
（37）若一個矩陣經(jīng)過一系列行初等變換可以變成另一個矩陣，則稱這兩個矩陣是行等價的
（38）一元二次方程ax2+bx+c=0(a≠0)的求根公式