用于训练RBM的算法被称作对比发散CD(contrastive divergence) 算法 。对比发散CD算法,目前已经成为训练RBM的标准算法。训练过程如下图所示。
RBM问题实质:
RBM求解目标可认为是让RBM网络表示的Gibbs分布与输入样本的分布尽可能地接近。
RBM问题最终可以转化为极大似然来求解。
RBM功能:
深信任网络DBN和深玻尔兹曼机DBM,由多层神经元组成,已经应用于许多机器学习任务中,能够很好地解决一些复杂问题,在一定程度上提高了学习性能。深神经网络由许多受限玻尔兹曼机RBM堆栈构成,RBM的可见层神经元之间和隐层神经元之间假定无连接。深神经网络用层次无监督贪婪预训练方法分层预训练RBM,将得到的结果作为监督学习训练概率模型的初始值,学习性能得到很大改善。无监督特征学习就是将RBM的复杂层次结构与海量数据集之间实现统计建模。通过无监督预训练使网络获得高阶抽象特征,并且提供较好的初始权值,将权值限定在对全局训练有利的范围内,使用层与层之间的局部信息进行逐层训练,注重训练数据自身的特性,能够减小对学习目标过拟合的风险,并避免深神经网络中误差累积传递过长的问题。RBM由于表示力强、易于推理等优点被成功用作深神经网络的结构单元使用,在近些年受到广泛关注,作为实际应用,RBM的学习算法已经在MNIST和NORB等数据集上显示出优越的学习性能。RBM的学习在深度神经网络的学习中占据核心的地位。
RBM应用场景:
玻尔兹曼机BM及其模型已经成功应用于协同滤波、分类、降维、图像检索、信息检索、语言处理、语音识别、时间序列建模、文档分类、非线性嵌入学习、暂态数据模型学习和信号与信息处理等任务。
受限玻尔兹曼机RBM在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同,受限玻尔兹曼机可以使用监督学习或无监督学习的方法进行训练。
结语:
受限玻尔兹曼机RBM是一种可通过输入数据集学习概率分布的随机生成神经网络。它是一种玻尔兹曼机BM的变体,限制玻尔兹曼机RBM和玻尔兹曼机BM相比,主要是加入了“限制”。所谓的限制就是,将完全图变成了二分图。RBM算法在人工智能之机器学习、降维、分类、协同过滤、特征学习和主题建模等领域有着广泛应用。