深度学习笔记(13) Softmax分类

深度学习笔记(13) Softmax分类


1. Softmax 回归

有一种logistic回归的一般形式,叫做 Softmax回归
能在试图识别某一分类时做出预测
或者说是多种分类中的一个,不只是识别两个分类

假设不单需要识别猫,而是想识别猫,狗和小鸡
把猫加做类1,狗为类2,小鸡是类3
如果不属于以上任何一类,就分到“其它”或者说“以上均不符合”这一类,把它叫做类0

用大写的C来表示输入会被分入的类别总个数
建立一个神经网络,其输出层有4个,或者说C个输出单元
因此n,即输出层也就是L层的单元数量,等于4,或者一般而言等于C
则输出层单元的数字代表这4种类型中每个的概率

做到这一点的标准模型要用到Softmax层,以及输出层来生成输出
对于L层,得到的z值
在这里插入图片描述用这个元素取幂方法来计算 t:
在这里插入图片描述
把四个数字加起来得到176.3
最终 a[l] = t / 176.3
第一个节点输出 e5/176.3=0.842,也就是概率84.2%

Softmax激活函数的特殊之处在于
因为需要将所有可能的输出归一化,就需要输入一个向量,最后输出一个向量
Softmax分类器还可以代表的决策边界


2. 练一个Softmax分类器

简单来说就是用临时变量t将它归一化,使总和为1,于是这就变成了a[L]
注意到向量z中,最大的元素是5
而最大的概率也就是第一种概率,Softmax把向量z变成这个向量
在这里插入图片描述
在Softmax分类中,一般用到的损失函数是来训练这个神经网络
这就意味着,如果试图将它变小
因为梯度下降法是用来减少训练集的损失的
要使它变小的唯一方式就是使 -log y ^ \widehat{y} y 1 变小,即需要使 y ^ \widehat{y} y 1 尽可能大
整个训练集的损失
在这里插入图片描述


参考:

《神经网络和深度学习》视频课程


相关推荐:

深度学习笔记(12)Batch归一化网络
深度学习笔记(11)超参数调试
深度学习笔记(10)优化算法(二)
深度学习笔记(9) 优化算法(一)
深度学习笔记(8) 实践层面(三)


谢谢!

氢键H-H CSDN认证博客专家 机器人软件 运动控制 深度学习
一位永远相信美好的事情即将发生,从事自动化机器人软件开发,不忘初心,牢记使命,为实现中华民族伟大复兴而奋斗的社会主义接班人。
©️2020 CSDN 皮肤主题: 我行我“速” 设计师:Amelia_0503 返回首页
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值