In [1]:
from IPython.display import Image
In [2]:
def show(id, w=5):
    return Image('./pics/class1/{}.jpg'.format(id), width=w*100)
In [3]:
show(0)
Out[3]:
In [4]:
show(1)
Out[4]:
In [5]:
show(2)
Out[5]:
In [6]:
show(3)
Out[6]:

sigmoid

  • good for final layer, output layer
  • e.g. probability
In [7]:
show(4)
Out[7]:

Rectifier

  • important
In [8]:
show(5)
Out[8]:
In [9]:
show(6)
Out[9]:
In [10]:
show(7)
Out[10]:

very common

In [11]:
show(8)
Out[11]:
In [12]:
show(9)
Out[12]:

perceptron

In [13]:
show(10)
Out[13]:

cost function C

  • goal: to minimize C
    • only choice is to control weights
In [14]:
show(11)
Out[14]:
In [15]:
show(12)
Out[15]:
  • curse of deminsionality
  • gradient descent
  • stochastic gradient descent

back propagation

In [16]:
show(13, w=8)
Out[16]: