MNIST 数据集入门
MNIST 数据集简介
数字手写体识别数据集，常用来作为Deep Learning入门的基础数据集。它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为 28 * 28。此数据集是以二进制存储的，不能直接以图像格式查看。
数据集大小：~12MB
caffe详解之反向传播算法
前向传播与反向传播
- 反向传播（back-propagation）是计算深度学习模型参数梯度的方法。总的来说，反向传播中会依据微积分中的链式法则，按照输出层、靠近输出层的隐含层、靠近输入层的隐含层和输入层的次序，依次计算并存储模型损失函数有关模型各层的中间变量和参数的梯度。反向传播回传误差（只在训练过程中实现）
- 反向传播对于各层中变量和参数的梯度计算可能会依赖各层变量和参数的当前值。对深度学习模型按照输入层、靠近输入层的隐含层、靠近输出层的隐含层和输出层的次序，依次计算并存储模型的中间变量叫做正向传播（forward-propagation）。前向传播求损失（训练与测试均需要）
反向传播公式推导
在这里，我们先按照周志华《机器学习》的反向传播理解思路进行公式推导，对后面深入理解深度神经网络中的反向传播预热！
caffe详解之优化算法总结
常见优化算法总结
前面我们介绍了卷积神经网络中主流的数据层，卷积层，全连接层，池化层，激活函数层，归一化层，dropout层,softmax层。分析每一层的配置及意义的目的主要是为了便于设计出适合自己的网络。然后根据自己的任务需要定义合适的损失函数。当搭建出自己的网络并确定网络的损失函数后，下一个关键问题便是训练网络，训练网络的前提需要确定优化算法。下面我们针对常见的深度学习优化算法进行梳理：
caffe详解之Solver文件配置
solver配置说明
前面我们介绍了卷积神经网络中主流的数据层，卷积层，全连接层，池化层，激活函数层，归一化层，dropout层,softmax层。分析每一层的配置及意义的目的主要是为了便于设计出适合自己的网络。然后根据自己的任务需要定义合适的损失函数。当搭建出自己的网络并确定网络的损失函数后，下一个关键问题便是训练网络，下面我们将重点集中到训练网络的过程。
caffe详解之损失函数
【转】Caffe中的损失函数解析
导言
在有监督的机器学习中，需要有标签数据，与此同时，也需要有对应的损失函数（Loss Function）。
在Caffe中，目前已经实现了一些损失函数，包括最常见的L2损失函数，对比损失函数，信息增益损失函数等等。在这里做一个笔记，归纳总结Caffe中用到的不同的损失函数，以及分析它们各自适合的使用场景。
