1. 什么是HMM模型HMM模型，又叫隐马尔可夫模型，主要用于求解序列的隐状态。HMM是一个生成模型，通过隐状态之间的转移矩阵和隐状态到观测状态的发射矩阵决定隐状态和观测状态的联合分布。HMM模型有三个假设，第一个是观测独立性假设，序列每个时刻的观测状态仅与序列在该时刻的隐状态有关，即 P(o_1, ...

1. 什么是主题模型看了几天LDA主题模型，说实话到现在依然很懵。。。但是为了加深记忆，还是把一些自己的理解做一下记录。主题模型是从语料库中挖掘出隐含的信息，比如文档的主题分布，每个主题的词语分布。主题模型的厉害之处在于它是无监督学习的，也就是不需要有标记过的数据。主题模型不需要知道有哪些主题，只需 ...

1. 什么是L1正则化L1正则化就是在对数似然函数后面加上模型参数的绝对值和： Obj=L(X,Y,\Theta)+\lambda\sum_{i}|w_i|其中$\lambda$调整正则项影响因子，$w_i$是模型参数。L1正则化可以看作是对参数加上拉普拉斯先验分布，然后求最大似然转换成求最大后验。 ...

1. 什么是优化器在机器学习和深度学习中，我们经常需要寻找一组最佳参数使得模型在损失函数上达到最小值。这组参数可以是使用直接求解一步到位，一般是令导数为0然后得到参数的最优解；可以是使用迭代方法，每次迭代使参数往最优解靠近。优化器在求解参数的步骤一般是：(1) 求出损失函数对参数的梯度(2) 使用负 ...

1. 什么是GBDTGBDT又叫梯度提升树，使用CART决策树作为基学习器，利用Boosting的集成思想训练模型。与AdaBoost不同，每轮学习GBDT不会根据训练结果调整样本权重，而是希望求得一个学习器$h_m$使得目标函数达到最小，即： h_m=arg\min_{h_m}\sum_i L(y ...

1. 什么是图卷积神经网络卷积神经网络（CNN）是深度学习中使用最频繁的神经网络之一，但它存在一个缺陷，就是它只能处理欧几里得空间内的图结构而不能处理更一般的图结构。针对这一缺陷，人们提出了能处理更一般图结构的卷积神经网络，称为图卷积神经网络（GCN）。当存在一个图结构，图有$N$个顶点，$M$条边 ...

1. 什么是谱聚类谱聚类算法是一种聚类算法，算法思想是首先将样本特征降维，然后对降维后的样本采用其他聚类算法进行聚类。 2. 如何求解由于谱聚类算法有几种版本，这里讲解最常用的版本。已知有$N$个样本，每个样本都有一个$M$维向量$x_i$，则可以对这些样本计算出一个相似矩阵$W$，计算方式如下： ...

1. 什么是Bagging（随机森林）Bagging的思想是均匀地、有放回地从大小为D的数据集采样出M个样本构成数据集，总共采样N次用于分别训练N个模型，在预测阶段使用这N个模型共同决定样本的分类或回归结果。在这里，随机森林是一个很好的例子。随机森林就是学习N棵决策树共同决定样本的预测结果。随机森林 ...

1. 什么是决策树决策树是一个判别模型，可以用于分类，也可以用于回归。在决策树的每层会选取一个特征对数据点进行划分，一般的决策树是按层扩展的，即决策树第$i$层的节点都是使用同一个特征进行划分，但也有按节点扩展的，即每个节点内部自己决定特征进行扩展。当达到最大深度或节点内部都可以归为同一类时，该节点 ...

1. 什么是偏差偏差表示模型的期望输出与真实值之间的误差，以回归任务为例，偏差可以表示为： bias^2=(E_D[f_D(x)]-y)^2其中，$f_D$表示由数据集$D$学习到的模型，每次采样得到一个数据集$D$，都可以训练得到一个模型$f_D$，对这些模型求期望，可以得到该模型的期望输出$E_ ...