前言迁移学习是一种利用已有知识去辅助解决未知领域的问题的学习方法，主要是想要做到我们人类轻易就能做到的“举一反三”。万事万物皆存在联系，如果我们学会骑自行车，自然骑摩托车是容易学会的。很多时候，我们有两个相关的任务，两个相关数据集，其中一个数据集是有大量标注数据的，而另一个数据集却只有少量标注数据， ...

前言前面介绍了基本的图神经网络和门控图神经网络，其中门控图神经网络将RNN，LSTM，GRU等处理序列的模型引入到了图神经网络当中，那么我们能否把CNN的卷积思想也引入到图神经网络当中呢，答案自然是可以的。使用卷积思想的图神经网络又称为图卷积神经网络（GCN），主要可以分为基于空域的图卷积神经网络和 ...

前言在处理序列时，我们有RNN和Transformer等序列深度模型；在处理图像时，我们有CNN等利用卷积提取局部特征的深度模型。当我们处理一般的图结构时，由于其结构即不是序列那种线性结构，也不是图像中像素点的排列是有规律的，所以很难使用RNN或CNN对图结构建模。图神经网络就是一种在更一般的图结构 ...

前言在推荐系统中，主要可以分为两个步骤：召回和排序。召回负责从全数据中返回用户的兴趣候选集，排序负责对候选集进行兴趣程度排序，从而返回Top K的推荐结果。 向量化召回向量化召回是指对用户和物品分别通过复杂的映射得到它们的特征表征向量，这些向量是在同一个特征空间内的，所以可以通过内积的方式得到它们的 ...

前言普通的哈希函数是为了建立索引，提高数据查询速度；或是为了数据加密，防止数据篡改。哈希函数一般是不具有相似相邻性的，即原来的状态是相邻或相似的，通过哈希映射后依然是相邻或相似的。而在数据查重或索引时，这种相似相邻的性质能够起到很大的作用，比如在推荐领域，我们经常使用余弦距离作为评价指标判断用户是否 ...

前言在推荐领域的算法中，最经典的莫过于协同过滤算法，协同过滤算法的思想是相利用兴趣的相似性去推荐具有相似兴趣或内容的物品。协同过滤算法争对计算相似度对象的不同，主要可以分为基于用户，基于物品，基于内容，基于模型四种方法。 基于用户的协同过滤基于用户的方法主要是利用用户的兴趣聚类形成兴趣群体，从兴趣群 ...

背景现如今，人工智能领域很多领域都是基于深度学习，深度学习的基础就是神经网络可以以任意精度拟合任意函数，神经网络的这种能力也被称为万能近似定理。 原理万能近似原理是这样的：给定一个线性变换和一个具有“挤压”性质的激活函数，只需要一个隐藏层，神经网络便能以任意精度拟合任意函数。这里具有“挤压”性质的激 ...

FM算法和DNN我们知道FM算法可以通过组合两两特征，从而处理一部分的非线性情况，我们可以称之为低阶特征组合。对于高阶特征组合，我们也可以使用FM算法，只是会使得计算复杂度大大增加。我们知道DNN作为深度学习的代表，可以很好地组合特征，拟合任意函数。我们可以认为DNN可以任意组合特征，无论是高阶还是 ...

sigmoidsigmoid函数的公式如下： \sigma(z)=\frac{1}{1+e^{-z}}这个函数有以下两个问题：(1) 非零均值(2) 梯度消失对于第(2)个问题比较好理解，因为sigmoid函数的梯度的最大值是0.25，随着网络层数的增多，sigmoid函数的梯度连乘容易使得梯度值非 ...

综述在基于策略的模型中，使用多条采样路径的平均收益近似得到基准线，这种近似方法会使得方差较大，这里的方差是指用平均数近似期望的方差，而且要求每次更新参数都需要采样数量较多的路径，无法实现单次更新或单步更新；在基于值函数的模型中，需要对所有动作的期望收益求最大值来得到一个策略，这种方法当动作空间很大时 ...