Attention机制变体的介绍与对比 介绍Attention机制多种变体,并对其进行对比。包括hard attention和soft attention的对比,global attention 和 local attention的对比,bahdanau attention 和 luong attention的对比。 2021-09-06 机器学习 #注意力机制 #Hard Attention #Soft Attention #Global Attention #Local Attention #Bahdanau Attention #Luong Attention
Attention机制的基本思想与实现原理 从人类注意力机制,到编码器-解码器框架的缺陷,引入注意力机制的必要性。详细介绍了Attention的基本思想,Attention Value的计算方法。 2021-09-01 机器学习 #注意力机制 #编码器-解码器
基于Encoder-Decoder框架实现Seq2Seq模型 分别介绍了Encoder-Decoder框架和Seq2Seq模型的结构,完成的工作,以及两者之间的关系。最后基于Encoder-Decoder的框架实现了Seq2Seq的模型,方便大家理解。 2021-08-26 机器学习 #编码器-解码器 #Seq2Seq
GAN的开山之作:Generative Adversarial Nets GAN是最近几年最火热的研究方向之一,本文讲解生成对抗网络第一次被提出的论文《Generative Adversarial Nets》 2021-03-11 机器学习 #GAN #生成对抗网络
Google多任务学习模型MMoE MMoE是Google实践多目标学习的一个实验成果,本文对《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》论文进行了讲解,是一篇结合自己理解的论文笔记。 2020-11-11 机器学习 #Multi-Task Learning #MTL #MMoE
阿里CVR预估模型ESMM ESMM是阿里巴巴践行多目标任务优化模型的一个实践成果,算法紧密结合阿里的电商场景,是一个非常巧妙的模式。本文通过介绍CVR预估过程中存在的问题和挑战,讲解了阿里ESMM算法的模型结构、损失函数以及创新算法。 2020-11-06 机器学习 #ESMM #Multi-Task Learning #MTL #CVR
多任务学习(Multi-Task Learning) 本文介绍为了满足业务上的多目标学习,实践多任务学习的多种方法的介绍和优缺点对比,讨论了多任务学习的实现机制以及多任务学习的有效性。 2020-10-25 机器学习 #Multi-Task Learning #MTL #多目标学习 #多任务学习
五大经典算法|5.回溯法&分支限界法 本文讲解回溯法和分支限界法的概念、基本思路,以及在经典问题中的实际应用,配合代码,直观明了。 2020-05-10 程序开发 #五大经典算法 #回溯法 #分支限界法
五大经典算法|4.动态规划 动态规划是面试中最经常考到的问题,它是通过拆解问题,定义问题状态和状态之间的关系,使得问题能够用递推的方式来解决。本文讲解动态规划的概念、基本思路,以及在经典问题中的实际应用,配合代码,直观明了。 2020-04-25 程序开发 #五大经典算法 #动态规划
五大经典算法|3.分治法 分治算法是一种把复杂问题分成多个相似的子问题,不断拆解,化成若干个小的子问题,对简单的子问题求解,原问题的解就是把子问题的解合并。本文讲解分治算法的概念、基本思路,以及在经典问题中的实际应用,配合代码,直观明了。 2020-04-20 程序开发 #五大经典算法 #分治算法