學習 tensorflow，caffe 等深度學習框架前，需要先了解一些基礎概念。本文以筆記的形式記錄了一個零基礎的小白需要先了解的一些基礎概念。

人工智能，機器學習和深度學習的關系

人工智能（ArTIficial Intelligence）——為機器賦予人的智能

"強人工智能"（General AI）：無所不能的機器，它有著我們所有的感知（甚至比人更多），我們所有的理性，可以像我們一樣思考

"弱人工智能"（Narrow AI）：弱人工智能是能夠與人一樣，甚至比人更好地執(zhí)行特定任務的技術。例如，Pinterest 上的圖像分類；或者 Facebook 的人臉識別。

強人工智能是愿景，弱人工智能是目前能實現的。

機器學習—— 一種實現人工智能的方法

機器學習最基本的做法，是使用算法來解析數據、從中學習，然后對真實世界中的事件做出決策和預測。

深度學習——一種實現機器學習的技術

機器學習可以通過神經網絡來實現。可以將深度學習簡單理解為，就是使用深度架構（比如深度神經網絡）的機器學習方法。目前深度架構大部分時候就是指深度神經網絡。

一個神經網絡由許多神經元組成，每個圓圈是一個神經元，每條線表示神經元之間的連接。x 表示的輸入數據，y 表示的是輸出數據，w 表示每層連接的權重。w 也就是我們構造完神經網絡之后需要確定的。

最左邊的叫做輸入層，這層負責接受輸入數據。

最右邊的叫做輸出層，我們可以從這層獲取神經網絡輸出數據

輸入層和輸出層之間叫做隱藏層。隱藏層層數不定，簡單的神經網絡可能是 2-3 層，復雜的也可能成百上千層，隱藏層較多的就叫做深度神經網絡。

深層網絡比淺層網絡的表達能力更強，能夠處理更多的數據。但是深度網絡的訓練更加復雜。需要大量的數據，很多的技巧才能訓練好一個深層網絡。

問題：假設計算速度足夠快，是不是深度網絡越深越好？

不是。深度網絡越深，對架構和算法的要求就越高。在超過架構和算法的瓶頸后，再增加深度也是徒勞。

神經網絡由一個個的神經元構成，而一個神經元也由三部分組成。

輸入權值 每個輸入會對應一個權值 w，同時還會有一個偏置值 b。也就是圖中的 w0。訓練神經網絡的過程，其實就是確定權值 w 的過程。

激活函數 經過權值運算之后還會經歷激活函數再輸出。比如我們可以用階躍函數 f 來表示激活函數。

輸出 最終的輸出，感知器的輸出可以用這個公式來表示

神經元可以擬合任意的線性函數，如最簡單擬合 and 函數。

and 函數真值表如上圖所示。取 w1 = 0.5；w2 = 0.5 b = -0.8。激活函數取上面示例的階躍函數 f 表示?？梢则炞C此時神經元能表示 and 函數。

如輸入第一行，x1 = 0，x2 = 0 時，可以得到

y 為 0，這就是真值表的第一行。

在數學意義上，可以這樣理解 and 函數的神經元。它表示了一個線性分類問題，它就像是一條直線把分類 0（false，紅叉）和分類 1（true，綠點）分開

而實際上，神經元在數學上可以理解為一個數據分割問題。神經元是將神經網絡轉換成數學問題的關鍵。比如需要訓練神經網絡做一個分類器，那么在數學上可以將輸入的參數（x1，x2...，xn）理解為 m 維坐標系（設 x 是 m 元向量）上的 n 個點，而每個神經元則可以理解為一個個擬合函數。取 m 為 2，放在最簡單的二維坐標系里面進行理解。