深度信念网络

深度信念网络（DBN）

把多个RBM堆积在一起，然后用贪婪的方式进行训练，就得到了所谓的深度信念网络。它是一个可以对训练数据进行深层表达的图形模型。他们在可视向量x和隐藏向量hk之间建立模型：

其中可用下图来阐述：

无监督训练通过RBM来完成，过程如下：

1.把第一层作为一个RBM训练

2.把第一层得出的结果作为第二层的输入

3.训练第二层

4.通过迭代得到足够的层数

5.对参数进行微调

在这个教程里，我们专注于用有监督的梯度下降来完成微调的过程。

Justifying Greedy-Layer Wise Pre-Training

做这样一个算法有什么用呢，例如一个两层的DBN，logp（x）可以被写成下面的形式：

深度信念网络,布布扣,bubuko.com

原文：http://www.cnblogs.com/Iknowyou/p/3633792.html