李理：從Image Caption Generation理解深度學(xué)習3

def feedforward(self, a):
"""Return the output of the network if a is input."""
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a)+b)
return a

# sizes = [784, 30, 10]
def __init__(self, sizes):
self.num_layers = len(sizes)
self.sizes = sizes
self.biases = [np.random.randn(y, 1) for y in sizes[1:]]
self.weights = [np.random.randn(y, x)for x, y in zip(sizes[:-1], sizes[1:])]

class Network(object):
  def update_mini_batch(self, mini_batch, eta):
    # mini_batch是batch大小，eta是learning rate

    nabla_b = [np.zeros(b.shape) for b in self.biases]
    # 構造和self.biases一樣大小的向量，比如前面的例子 sizes=[784,30,10]，則
    # nabla_b是兩個(gè)向量，大小分別是30和10

    nabla_w = [np.zeros(w.shape) for w in self.weights]
    # 構造和self.weights一樣大小的矩陣，比如前面的例子 sizes=[784,30,10]，則
    # nabla_w是兩個(gè)矩陣，大小分別是30*784和10*30

    for x, y in mini_batch: #對于每個(gè)訓練樣本x和y
 delta_nabla_b, delta_nabla_w = self.backprop(x, y)
 # 用backprop函數計算損失函數對每一個(gè)參數的偏導數。
 # backprop函數下面會(huì )詳細講解

 nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
 # 把返回的對b偏導數累加到nabla_b中

 nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
 # 把返回的對w的偏導數累加到nabla_w中

    self.weights = [w-(eta/len(mini_batch))*nw
  for w, nw in zip(self.weights, nabla_w)]
    # 計算完一個(gè)batch后更新參數w

    self.biases = [b-(eta/len(mini_batch))*nb
 for b, nb in zip(self.biases, nabla_b)]
    # 更新b
...
 def backprop(self, x, y):
    # 輸入是x和y，返回損失函數C對每個(gè)參數w和b的偏導數
    # 返回的格式是兩個(gè)元組，第一個(gè)是b的偏導數，第二個(gè)是w的。
    nabla_b = [np.zeros(b.shape) for b in self.biases]
    # 構造和self.biases一樣大小的向量，比如前面的例子 sizes=[784,30,10]，則
    # nabla_b是兩個(gè)向量，大小分別是30和10

    nabla_w = [np.zeros(w.shape) for w in self.weights]
    # 構造和self.weights一樣大小的矩陣，比如前面的例子 sizes=[784,30,10]，則
    # nabla_w是兩個(gè)矩陣，大小分別是30*784和10*30

    # feedforward
    activation = x
    activations = [x] # 用一個(gè)list保存所有層的激活，下面backward會(huì )有用的
    zs = [] # 同樣的用一個(gè)list保存所有層的加權累加和z，下面也會(huì )用到。

    #下面這段代碼在feedward也有，不過(guò)那里是用來(lái)predict用的不需要保存zs和activations
    for b, w in zip(self.biases, self.weights):
 z = np.dot(w, activation)+b
 zs.append(z)
 activation = sigmoid(z)
 activations.append(activation)

   # backward pass
  #1. 首先計算最后一層的錯誤delta，根據公式BP1，它是損失函數對a_L的梯度乘以σ'(z_L)
    #  sigmoid_prime就是σ'(z_L)，而∂C/∂a_L就是函數cost_derivative，對于MSE的損失函數，
    #  它就是最后一層的激活activations[-1] - y
    delta = self.cost_derivative(activations[-1], y) * \
 sigmoid_prime(zs[-1])
    # 2. 根據公式BP3,損失對b的偏導數就是delta
    nabla_b[-1] = delta
    # 3. 根據公式BP4,損失對w的偏導數時(shí)delta_out * activation_in
    #  注意，我們的公式BP4是elementwise的，我們需要寫(xiě)成矩陣向量的形式
    #  那怎么寫(xiě)呢？我們只需要關(guān)心矩陣的大小就行了。
    #  假設最后一層有m(10)個(gè)神經(jīng)元，前一層有n(30)個(gè)，
    #  則delta是10*1, 倒數第二層的激活activations[-2]是30*1
    #  我們想求的最后一層的參數nabla_w[-1]是10*30，那么為了能夠正確的矩陣乘法，
    #  只要一種可能就是 delta 乘以 activations[-2]的轉置，其實(shí)也就是向量delta和activations[-2]的外積
    nabla_w[-1] = np.dot(delta, activations[-2].transpose())

    # 接下來(lái)從倒數第二層一直往前計算delta，同時(shí)也把對w和b的偏導數求出來(lái)。
    # 這里用到一個(gè)比較小的trick就是python的下標是支持負數的，-1表示最后一個(gè)元素，-2是倒數第二個(gè)
    # l表示倒數第l層，2就表示倒數第2層，num_layers - 1就表示順數第2層（也就是第1個(gè)隱層）
    # 比如我們的例子：sizes=[784, 30, 10]，那么l就是從2到3（不包含3），l就只能是2，頁(yè)就是第1個(gè)（也是唯一的一
    # 個(gè)）隱層   
    for l in xrange(2, self.num_layers):
 # 倒數第l層的z
 z = zs[-l]
 # 計算σ'(z_l)
 sp = sigmoid_prime(z)
 # 根據BP2，計算delta_l,注意weights[-l+1]表示倒數第l層的下一層
 delta = np.dot(self.weights[-l+1].transpose(), delta) * sp
 # 同上，根據BP3
 nabla_b[-l] = delta
 # BP4，矩陣乘法參考前面的說(shuō)明
 nabla_w[-l] = np.dot(delta, activations[-l-1].transpose())
    return (nabla_b, nabla_w)