stonechina0616

梯度下降法：

x,w,b---->z=w1x1+w2x2+...+wnxn+b---->a=sigmoid(z)---->l(a,y)

逆序推导

1.l(a,y)求导

    da=-y/a+(1-y)/(1-a)

2.z求导

    dz=dl(a,y)/dz                [第二个dz为z的变化量]

        =(-y/a+(1-y)/(1-a))*a(1-a)

        =a-y

3.w求导

    dw1=dl/dw1=x1*dz

    wn同理

    db=dz

4.更新

    w1=w1-alpha*dw1

    b=b-alpha*db

综上  w+=alpha*x*(y-a)

w=w+alpha*xT*[yT-sigmoid(x*w)]