TensorBoard简介

TensorBoard是Tensorflow自带的一个强大的可视化工具，也是一个web应用程序套件。在众多机器学习库中，Tensorflow是目前唯一自带可视化工具的库，这也是Tensorflow的一个优点。学会使用TensorBoard，将可以帮助我们构建复杂模型。

这里需要理解“可视化”的意义。“可视化”也叫做数据可视化。是关于数据之视觉表现形式的研究。这种数据的视觉表现形式被定义为一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。例如我们需要可视化算法运行的错误率，那么我们可以取算法每次训练的错误率，绘制成折线图或曲线图，来表达训练过程中错误率的变化。可视化的方法有很多种。但无论哪一种，均是对数据进行摘要(summary)与处理。

通常使用TensorBoard有三个步骤：

• 首先需要在需要可视化的相关部位添加可视化代码，即创建摘要、添加摘要；
• 其次运行代码，可以生成了一个或多个事件文件(event files)；
• 最后启动TensorBoard的Web服务器。

完成以上三个步骤，就可以在浏览器中可视化结果，Web服务器将会分析这个事件文件中的内容，并在浏览器中将结果绘制出来。

如果我们已经拥有了一个事件文件，也可以直接利用TensorBoard查看这个事件文件中的摘要。
TensorBoard视图如下所示：

前言

首先，我们从一个直观的例子，讲解如何实现Tensorflow模型参数的保存以及保存后模型的读取。
然后，我们在之前多层感知机的基础上进行模型的参数保存，以及参数的读取。该项技术可以用于Tensorflow分段训练模型以及对经典模型进行fine tuning（微调）

Tensorflow卷积神经网络实现

1
2
3
4
5

from __future__ import division, print_function, absolute_import

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

导入数据集

1
2
3

# Import MNIST data
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("./data/", one_hot=False)

Extracting ./data/train-images-idx3-ubyte.gz
Extracting ./data/train-labels-idx1-ubyte.gz
Extracting ./data/t10k-images-idx3-ubyte.gz
Extracting ./data/t10k-labels-idx1-ubyte.gz

Tensorflow多层感知机Eager API

1
2
3
4

from __future__ import print_function

import tensorflow as tf
import tensorflow.contrib.eager as tfe

设置 Eager API

1
2

# Set Eager API
tfe.enable_eager_execution()

多层感知机简介

多层感知机模型

这里定义含有两个隐含层的模型，隐含层输出均为256个节点，输入784（MNIST数据集图片大小28*28），输出10。

K-Means算法简介

K-MEANS算法是输入聚类个数k，以及包含 n个数据对象的数据库，输出满足方差最小标准k个聚类的一种算法。属于一种经典的无监督学习算法。
示意图如下所示：

k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。

基本步骤：

（1） 从 n个数据对象任意选择 k 个对象作为初始聚类中心；

（2） 根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；

（3） 重新计算每个（有变化）聚类的均值（中心对象）；

（4） 计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤（2）。

随机森林简介

随机森林是一种集成学习方法。训练时每个树分类器从样本集里面随机有放回的抽取一部分进行训练。预测时将要分类的样本带入一个个树分类器，然后以少数服从多数的原则，表决出这个样本的最终分类类型。[^4]

设有N个样本，M个变量(维度)个数，该算法具体流程如下：

1. 确定一个值m，它用来表示每个树分类器选取多少个变量；
2. 从数据集中有放回的抽取 k 个样本集，用它们创建 k 个树分类器。另外还伴随生成了 k 个袋外数据，用来后面做检测。
3. 输入待分类样本之后，每个树分类器都会对它进行分类，然后所有分类器按照少数服从多数原则，确定分类结果。

重要参数：

1. 预选变量个数 (即框架流程中的m)；
2. 随机森林中树的个数。

最近邻算法简介

k近邻模型的核心就是使用一种距离度量，获得距离目标点最近的k个点，根据分类决策规则，决定目标点的分类。[2]

距离度量(L1范数)：

K值选择：这里k为10。

分类决策规则：k近邻的分类决策规则是最为常见的简单多数规则，也就是在最近的K个点中，哪个标签数目最多，就把目标点的标签归于哪一类。

Logistic 回归 简介

Logistic模型

线性回归简述

在这里，我们仅仅讨论单变量的线型回归模型。不对回归算法进行过多的展开。重点放在Tensorflow的学习上。
下图展示的分别是：单变量线性回归模型的公式；学习的参数；损失函数（采用的均方误差）；目标函数的优化求解（SGD）。