基于自然梯度的概率主组件分析在线学习算法
摘 要:对于主组件分析模型,传统方法利用特征值分解的方法求解,其计算复杂度为O(ND2),其中N 表示数据规模,D 表示数据的维度.概率主组件分析是从概率的角度理解主组件分析模型,此时可以使用期望最大化算法迭代求解,其计算复杂度为O(NDM),其中M 表示选取的维度,对于大规模高维数据可有效提高模型效率.但是,在参数更新过程中,概率主组件模型的期望最大化算法需要遍历整个数据集才能更新一次参数,参数更新较慢,同时该算法很难扩展到大规模数据集.本文提出基于自然梯度的概率主组件分析在线学习算法,通过结合概率主组件分析的自然梯度,实现在线增量学习模型.进一步将降维后的数据通过全连接神经网络进行分类,并通过实验证明,该方法在降维效果及算法运行效率上有明显提高.
论文下载: