简介：生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互...
简介：长短期记忆（long short-term memory,LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说就是比普通RNN在更长的序列中有更好的表现。基本原理：LSTM是一种特殊的RNN，主要通过三个门控逻辑实现(遗忘、输入、输出)。包含三个阶段：...
简介：循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。基本原理：传统神经网络的结构比...
简介：卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooli...
简介： 混沌神经网络是由于神经网络是高度非线性动力学系统，而混沌又具有上述的特性，因此神经网络与混沌密切相关，所以混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一。广泛研究的混沌神经网络模型是在Hopfield神经网络中引入了一个具有混沌特性的负反馈项，进而得到了混沌神经网络模型，因此...
简介：反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络和Hopfield网络。Elman网络是两层反向传播网络，隐层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐层内的另...
简介：BP（Back Propagation）网络是1986年由Rumelhart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习...
简介：PCA（principle component analysis），即主成分分析法，是一个非监督的机器学习算法，是一种用于探索高维数据结构的技术，主要用于对数据的降维，通过降维可以发现更便于人理解的特征，加快对样本有价值信息的处理速度，此外还可以应用于可视化（降到二维）和去噪。基本原理：数据从...
简介：K均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，是非监督学习算法的一种，其算法思想大致为：先从样本集中随机选取K个样本作为簇中心，并计算所有样本与这k个"簇中心"的距离，对于每一个样本，将其划分到与其距离最近的"簇中心"所在的簇中，对于新...
简介：层次聚类算法 （Hierarchical Clustering Method）又称为系统聚类法、分级聚类法。层次聚类算法又分为两种形式：（1）凝聚层次聚类：首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。（2）分裂层次聚类：首先将所有对象置于一个簇中，然后逐...
简介：邻近算法，或者说K最邻近（KNN，K-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。基本原理：KNN算法的核心思想是，如果...
简介：逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。基本原理：逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)，一种逻辑函数为：主要应用：分类相关案例：逻辑回归详解和应用视频教程-尚学堂 (b...
简介：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y=wx+e，e为误差服从均值为0的正态分布。基本原理：线性回归就是假设输出y和输入x之间存在线性关系 即为样本x的每一个特征与对应权重相乘就和就是y的值，θ 代表线性模...
简介：支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等...
简介：决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。基本原理：决策树算法首先要进行的是特征选择，特征选择决定了使用哪些特征来做判断。在训练数据集中，...