第583章 激活函数[1/2页]

天才一秒记住本站地址：[妙书坊]https://m.miaoshufangxs.com最快更新！无广告！

    激活函数是什么？——用故事和比喻讲解

    故事比喻：门卫老张的筛选机制

    想象一个大型科技公司的总部大楼，每天有很多人想进公司。但并不是所有人都能进去，只有符合某些条件的员工才能进入工作，而其他人要被拦在门外。

    这座大楼的门口站着一个门卫——老张。他的任务是检查进来的人，决定谁能进，谁不能进。他的决策规则就像神经网络中的“激活函数”！

    第一种情况：老张完全放行（恒等函数）

    有一天，老张心情很好，他决定：“今天所有人都能进！”

    ?

    不管是正式员工、游客，还是快递小哥，只要有人过来，老张就让他们进大楼。

    ?

    这就像是**“线性函数”或“恒等函数”**（Identity

    Function），没有任何筛选，数据怎么进来，就怎么传递出去。

    问题：

    ?

    如果门口有太多人，会导致办公楼人满为患，甚至干扰员工工作（信息过载）。

    ?

    这种情况下，神经网络可能无法学习复杂的特征，因为它没有任何“过滤”或“激活”机制。

    第二种情况：老张只让合格员工进（ReLU

    激活函数）

    第二天，公司老板告诉老张：“从现在开始，只有正式员工能进，其他人一律不准进！”

    ?

    于是，如果有人出示正式员工证，老张就让他进去。

    ?

    但如果是游客、闲杂人等，老张直接摇头：“不行，回去吧！”

    这就像ReLU（修正线性单元）激活函数：

    ?

    如果输入是正数（正式员工），就直接通过，传递给下一层神经网络。

    ?

    如果输入是负数（闲杂人等），直接变成

    0，相当于拒绝进入。

    优点：

    ?

    过滤掉无用信息（负数变成

    0，相当于屏蔽了一些干扰）。

    ?

    计算简单，速度快，不会引入复杂的计算。

    问题：

    ?

    万一是一个优秀但没证件的实习生呢？

    他可能也被老张拦在门外了（ReLU

    会把所有负数信息直接清零）。

    第三种情况：老张有点犹豫（Sigmoid

    激活函数）

    有一天，老张觉得：“或许我不该这么绝对，可能有些游客也是未来的潜在客户，不该完全拒之门外。”

    于是，他制定了一套打分系统：

    ?

    正式员工（高分）：直接进！

    ?

    游客（中等分）：可以进去看看，但不能随意走动。

    ?

    陌生人（低分）：抱歉，不能进！

    这就像Sigmoid

    激活函数，它的输出介于

    0

    到

    1

    之间，相当于一种概率衡量：

    ?

    高于

    0.5

    的人（高分）：大概率被接受。

    ?

    低于

    0.5

    的人（低分）：大概率被拒绝。

    优点：

    ?

    可以平滑地过滤数据，避免“全进或全不进”这样极端的情况。

    ?

    适用于二分类问题（比如邮件是垃圾邮件还是正常邮件）。

    问题： <

第583章 激活函数[1/2页]

『加入书签，方便阅读』