神经网络中偏置b的作用

在神经网络中,常见的数学表达式如下:
y=wx+b

其中此处的b为偏置,在此处中b的作用是什么?是否可以不要该参数?

考虑二维的情形,如果不使用偏执b,则:
y=wx
则y为一个经过原点(0,0)直线,由于w可以取任意实数,具体来说y表示经过平面坐标(0,0)的直线簇

然而这样的直线簇y是很难满足实际情形的

考虑上图,我们就不可能使用一条通过(0,0)的直线将数据分开,当然你可以通过平移所有的数据,将其移动到一定的范围,然后通过一条通过原点的直线做到分类。

但是通过处理样本数据(移动)来满足无偏置的函数是很难的,我们不知道具体应该移动多少才能实现,因此为我们的神经网络函数y增加偏置,通过移动函数本身来实现对数据的分类则相对容易实现。

因此从数学的角度来说,增加偏置b,二维平面坐标系中为上下移动y,同理当在高纬度空间中,增加高纬度的b,则是相应地上下移动某个维度上的y,其核心仍然是通过移动高纬度的函数y来满足对于高维度样本数据的区分,因此偏置b在神经网络中不可少,且很重要。

微信 OR 支付宝 扫描二维码
为本文作者 打个赏
pay_weixin    pay_weixin
金额随意 快来“打”我呀~
喜欢 0

这篇文章还没有评论

发表评论