Attention机制变体的介绍与对比

介绍Attention机制多种变体，对进行对比。包括hard attention和soft attention的对比，global attention 和 local attention的对比，bahdanau attention 和 luong attention的对比。

2021-09-06

机器学习

注意力机制 Hard Attention Soft Attention Global Attention Local Attention Bahdanau Attention Luong Attention

Attention机制的基本思想与实现原理

从人类注意力机制，到编码器-解码器框架的缺陷，引入注意力机制的必要性。详细介绍了Attention的基本思想，Attention Value的计算方法。

2021-09-01

机器学习

注意力机制编码器-解码器

基于Encoder-Decoder框架实现Seq2Seq模型

分别介绍了Encoder-Decoder框架和Seq2Seq模型的结构，完成的工作，以及两者之间的关系。最后给予Encoder-Decoder的框架实现了Seq2Seq的模型，方便大家理解。

2021-08-26

机器学习

编码器-解码器 Seq2Seq

GAN的开山之作：Generative Adversarial Nets

GAN是最近几年最火热的研究方向之一，本文讲解生成对抗网络第一次被提出的论文《Generative Adversarial Nets》

2021-03-11

机器学习

GAN 生成对抗网络

Google多任务学习模型MMoE

MMoE是Google实践多目标学习的一个实验成果，本文对《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》论文进行了讲解，是一篇结合自己理解的论文笔记。

2020-11-11

机器学习

Multi-Task Learning MTL MMoE

阿里CVR预估模型ESMM

ESMM是阿里巴巴践行多目标任务优化模型的一个实践成果，算法紧密结合阿里的电商场景，是一个非常巧妙的模式。本文通过介绍CVR预估过程中存在的问题和挑战，讲解了阿里ESMM算法的模型结构、损失函数以及创新算法。

2020-11-06

机器学习

ESMM Multi-Task Learning MTL CVR

多任务学习(Multi-Task Learning)

本文介绍为了满足业务上的多目标学习，实践多任务学习的多种方法的介绍和优缺点对比，讨论了多任务学习的实现机制以及多任务学习的有效性。

2020-10-25

机器学习

Multi-Task Learning MTL 多目标学习多任务学习

五大经典算法|5.回溯法&分支界定法

本文讲解回溯法和分支界定法的概念、基本思路，以及在经典问题中的实际应用，配合代码，直观明了。

2020-05-10

程序开发

五大经典算法回溯法分支界定法

五大经典算法|4.动态规划

动态规划是面试中最经常考到的问题，它是功过拆解问题，定义问题状态和状态之间的关系，是的问题能够用递推的方式来解决。本文讲解动态规划的概念、基本思路，以及在经典问题中的实际应用，配合代码，直观明了。

2020-04-25

程序开发

五大经典算法动态规划

五大经典算法|3.分治法

分治算法是一种把复杂问题分成多个相似的子问题，不断拆解，化成若干个小的子问题，对简单的子问题求解，原问题的解就是把子问题的解合并。本文讲解分治算法的概念、基本思路，以及在经典问题中的实际应用，配合代码，直观明了。

2020-04-20

程序开发

五大经典算法分治算法