今天我想理解下正定矩陣！

因?yàn)檫@個(gè)矩陣在convex optimization 老是出現(xiàn)~

我們只考慮正定矩陣的原始定義，不考慮某些人對(duì)他的擴(kuò)展。

In linear algebra, a symmetric n × n real matrix M is said to be positive definite if z^TMz is positive for any non-zero column vector z of n real numbers. Here z^T denotes the transpose of z.

因此，正定矩陣是 對(duì)稱的、方陣，這里說(shuō)的是實(shí)矩陣，可以擴(kuò)展到復(fù)數(shù)矩陣，只是把轉(zhuǎn)置換成共軛轉(zhuǎn)置，并且要求那個(gè)二次型結(jié)果是實(shí)數(shù)就可以了。

討論A^TA這種矩陣~

首先這個(gè)矩陣是對(duì)稱矩陣，不管A是什么矩陣，甚至退化成向量，這個(gè)矩陣都是對(duì)稱矩陣，不存在任何例外。

他一定是半正定矩陣：

任意給定一個(gè)非零向量z，那么z^TA^TAz = (Az)^T(Az)，顯然這個(gè)結(jié)果是非負(fù)的！

那什么情況下這種矩陣是正定矩陣呢？什么情況下他是半正定矩陣，并且不是正定矩陣呢？

我們討論下什么情況下這個(gè)二次型等于零。我們從A本身討論，

如果(Az)^T(Az)=0

Az = z1A1 + z2A2 + ... + znAn. 這里假設(shè)A有n列，n可以取任何正整數(shù)，Ai表示矩陣A的第i列，zi表示z的第i個(gè)分量。我們可以把這個(gè)式子看成是A的列向量的線性組合，因?yàn)閦非零，所以，當(dāng)且僅當(dāng)A的列向量線性相關(guān)的時(shí)候Az才有可能為零，如果他們線性無(wú)關(guān)，那么一定存在一個(gè)非零的z，使得Az=0。也就是說(shuō)A^TA是否為正定矩陣，與A的秩是否等于列數(shù)是等價(jià)的。

如果A的列向量線性無(wú)關(guān)，那么A^TA為正定矩陣。

如果A的列向量線性相關(guān)，那么A^TA為半正定矩陣。