1. 向量范數(shù)

定義

如果 是數(shù)域  上的線性空間，且對于 的任一向量 ,,對應一個實值函數(shù) ,它滿足以下三個條件：

1. 非負性：當時，當時，

2. 齊次性：

3. 三角不等式：

則稱為上向量 的范數(shù)，簡稱向量范數(shù).

1.1 向量的p范數(shù)

向量的范數(shù)的定義,其中,

1.2 向量的1范數(shù)

當時,為向量的1范數(shù),記為

1.3 向量的2范數(shù)

當時,為向量的2范數(shù),記為,

1.4 向量的范數(shù)

當時,為向量的范數(shù),記為,

假設,中最大的一個為,那么有,

因為,

所以有,

又因為,因此可得,

1.5 向量范數(shù)的等價性

前面已經(jīng)指出，在數(shù)域上的線性空間,特別是在上可以定義各種各樣的向量范數(shù)，其數(shù)值大小一般不同．但是，在各種向量范數(shù)之間存在下述重要關系,滿足下面不等式的兩種向量范數(shù)稱為等價的.

定理 設 和  為有限維線性空間的任意兩種向量范數(shù)(它們不限于 -范數(shù)),則存在兩個與向量無關的正常數(shù)和 ,使得不等式

容易驗證,向量的范數(shù)之間有如下的約束關系,

上述定理說明,對于某一個向量,如果它的某一種范數(shù)小(或者大),那么它的另外兩種范數(shù)也小(或者大).范數(shù)的等價性允許我們在分析和計算中選擇最方便的范數(shù)，而不影響問題的本質(zhì)性質(zhì).例如，在數(shù)值分析中，我們可以選擇計算更簡單的范數(shù)來估計誤差，而不影響結果的有效性.

2. 向量序列

設給定了維向量空間中的向量序列,其中.如果每一個分量,當 時都有極限 ,即

記 ,則稱向量序列 有極限 ,或稱  收斂于 ,簡稱收 斂 , 記 為

例如,

是收斂的,因為當 時,,,所以

利用向量范數(shù)的等價性,容易證明下面的定理,

定理 中的向量序列, 收斂到向量   的 充 要 條 件 是 對 任 一 種 范 數(shù)(不帶下標表示向量的任意范數(shù)),序列收斂于零.

3. 矩陣范數(shù)

矩陣空間是一個維的線性空間,將矩陣看作是線性空間中的向量,因此應該也可以定義矩陣的范數(shù),但是需要考慮的是矩陣之間乘法運算.

3.1 矩陣范數(shù)的定義

設,定義一個實值函數(shù) ,它滿足以下四個條件

1. 非負性：當 時，當時， ;

2. 齊次性：

3. 三角不等式;

4. 乘法的相容性,;

則稱為的矩陣范數(shù).

3.2 矩陣序列的極限

同向量序列類似,在定義了矩陣的范數(shù)后,矩陣序列也有極限的概念.設有一個矩陣序列,其中.用記的第行第列的元素,且都有極限 ,則稱有極限,記為,

同樣的,的充要條件是,

3.3 矩陣的常用范數(shù)

下面的幾種范數(shù)都是基于矩陣范數(shù)的定義,

3.3.1 矩陣的范數(shù)

3.3.2 矩陣的范數(shù)

3.3.3 矩陣的F范數(shù)

的元素可以表示為,

其中, 是的共軛.

對角線元素   為,

因此， 的跡為,

這與矩陣的范數(shù)的平方相等.

3.4 矩陣范數(shù)和向量范數(shù)的相容性

如同向量范數(shù)的情況一樣,矩陣范數(shù)也是多種多樣的．但是，在數(shù)值方法中進行某種估計時，遇到的多數(shù)情況是：矩陣范數(shù)常與向量范數(shù)混合在一起使用，而矩陣經(jīng)常是作為兩個線性空間上的線性映射（變換）出現(xiàn)的.因此,考慮一些矩陣范數(shù)時，應該使它能與向量范數(shù)聯(lián)系起來．這可由矩陣范數(shù)與向量范數(shù)相容的概念來實現(xiàn)．

定義,

對于 上的矩陣范數(shù) 和 與 上的同類向量范數(shù),如果,

則稱矩陣范數(shù)與向量范數(shù)是相容的.

例如,取,則有,

則矩陣范數(shù)與向量范數(shù)是相容的.

3.5 由向量范數(shù)導出的矩陣范數(shù)

由向量范數(shù)導出的矩陣范數(shù)（也稱為算子范數(shù)或從屬范數(shù)）是通過將矩陣視為線性算子來定義的。具體來說，給定一個的矩陣，以及在 上定義的向量范數(shù)  ，矩陣范數(shù)定義為：

其中  表示上確界.這一范數(shù)度量了矩陣作為線性映射時可以將向量拉伸的最大程度.

上式經(jīng)過簡化,也可以化簡為,

注意,對于從屬范數(shù),

但是對于一般的矩陣范數(shù),即不是從屬范數(shù),設該矩陣范數(shù)和某向量范數(shù)相容,由于,

對任意的成立,所以.

接下來介紹幾種常見的從屬范數(shù), 設, ,矩陣的1,2,范數(shù)的定義如下,按定義容易證明其正確性,

3.5.1 矩陣的1范數(shù)

矩陣的1范數(shù),也稱為列和范數(shù),即將每列相加,取和最大的列,

3.5.2 矩陣的2范數(shù)

矩陣的2范數(shù),為為的最大特征值的平方根,因此也成為譜范數(shù).

3.5.3 矩陣的范數(shù)

矩陣的范數(shù),也稱為矩陣的行和范數(shù),即將每行相加,取和最大的行,

4. 矩陣的譜半徑

定義 設的個特征值為,稱,

為的譜半徑.

定理  設,則對上的任何一種矩陣范數(shù),都有

設  的屬于特征值 的特征向量為,取與矩陣范數(shù) 相 容 的 向 量 范 數(shù) , 則 由 ,可得

因為,所以,

對于矩陣的任意特征值均成立,因此可得.

推論 設,則.

推論 設,當是Hermite矩陣時,即,矩陣的2范數(shù)等于矩陣的譜半徑.

因為,

同時和由相同的特征值,從而有

同時,,則有,

因此有,

定理  設,對任意的正數(shù),存在某種矩陣范數(shù),使得

需要注意的是,上述定理中構造的矩陣范數(shù)與給定的矩陣密切相關,對另外的矩陣則不一定適用.不同的矩陣,總能找到一個矩陣范數(shù),使得上式成立.

注意上面的兩個定理:

• 矩陣的譜半徑小于任意的矩陣范數(shù);
• 對于任意矩陣,總能找到一個矩陣范數(shù),使得其值小于矩陣的譜半徑加上一個小的正數(shù).