计算广告|3.相关方法

最优化Optimization

什么是最优化问题

无约束最优化问题:

minf(x)minf(x)

带约束最优化问题:

minf(x)s.t.g(x)0,h(x)=0\begin{aligned} min f(x) \\ s.t. \textbf{g}(x)\leqslant 0,\textbf{h}(x)=0 \end{aligned}

无约束优化问题一般思路

目标函数不可/不易求导

目标函数易求导

批处理梯度法的问题与拟牛顿法

梯度法zigzag更新过程

牛顿法

拟牛顿法

BFGS和L-BFGS方法

BFGS(Broyden,Fletcher,Oldfarb,and Shanno)

L(Limited memory)- BFGS

Trust-Region方法

方法思想

上述子问题虽非凸优化,但是满足KKT条件

对于LR模型收敛速度经常好于L-BFGS

带约束优化:拉格朗日法

原问题(Primary Problem)==> 拉格朗日对偶函数(Lagrangian dual function) ==> 对偶问题(Dual problem)

信息检索Information Retrieval

文档的表示与相似度量

词袋(Bag of Words,BoW)表示

TF-IDF

向量空间模型

倒排索引

文档集

关键词(Term)

倒排链

统计机器学习Statistical Machine Learning

贝叶斯学习

P(ΘX)=P(XΘ)P(Θ)P(X)P(\Theta | X ) = \frac{P(X | \Theta)P(\Theta)}{P(X)}

贝叶斯公式

若干模型估计方法

指数族分布

归一化形式:P(xΘ)=h(x)g(Θ)exp{ΘTu(x)}P(x|\Theta)=h(x)g(\Theta)exp\left \{ \Theta^Tu(x) \right \}

若干重要指数族分布

指数族贝叶斯学习

共轭先验:使先验分布与后验分布形式一致的先验分布

指数族分布共轭先验,一般形式:

p(Θη)=exp{χTΘvg(Θ)b(χ,v)))}p(\Theta|\eta)=exp\left \{ \chi ^{T} \Theta-vg(\Theta)-b(\chi ,v))) \right \}

其中η={χ,v}\eta=\left \{ \chi, v \right \}为超参数(hyperperameter)

指数族后验部分的超参数:

χ~=χ+Ni=1u(xi)\tilde{\chi} = \chi + \sum_{N}^{i=1}u(x_i)

v~=v+N\tilde{v} = v + N

指数族分布(二)

最大似然估计:lng(θML)=1Ni=1Nu(xi)-\triangledown ln \textbf{g}(\theta_{ML} )=\frac{1}{N}\sum_{i=1}^{N}u(x_i)

混合模型:P(xω,Θ)=k=1Kwkh(x)g(Θk)exp{ΘkTu(x)}P(x|\omega , \Theta)=\sum_{k=1}^{K}w_kh(x)g(\Theta_k)exp\left \{ \Theta_{k}^{T}u(x) \right \}

深度学习Deep Learning

深度学习是什么?

基于规则的系统

传统机器学习

深度学习(表示学习)

全连接多层感知机(Multi-layer Perceptron, MLP)

深度学习的工程本质

浅层模型与深度模型

优化方法是关键

数据的作用

几种重要的神经网络结构

CNN(Convolutional Neural Networks, 卷积神经网络)

RNN(Recurrent Neural Networks,递归神经网络)

GAN(Generative Adversarial Network,生成对抗网络)

深度学习优化基础设施

GPU方案

并行计算方法

开源框架

数据运营三板斧 – 用户增长

用户增长的基础:用户转化漏斗

用户转化漏斗示例

漏斗的设计原则与作用

转化漏斗相关常见度量

找到增长的障碍:多维度报表分析

通过漏斗发现问题

在多维度报表中找到症结

数据魔方(Data Cube)

驱动新产品特征:利用A/B测试

为什么需要A/B测试?

A/B测试并不是万能的


返回首页