张浩在路上

ChatGPT模型的三层理解，1）训练流程：白话讲解模型是怎么训练出来的；2）模型实现：基于论文讲解模型训练的细节；3）发展脉络：从模型演进的视角看其创新点和贡献。

吴恩达日前在DeepLearning.AI平台分享了2022年AI趋势预测，第一就是多模态AI将起飞。本文介绍多模态机器学习的定义、发展历史、主要任务和挑战，以及目前SOTA的CLIP模型。

MLOps是机器学习时代的DevOps，它是一组用于数据科学家和运维人员之间协作和沟通的最佳实践，其目标是减少技术摩擦，使模型在尽可能短的时间内将想法投入生产，同时尽可能降低风险。

Web 3.0代表互联网的下一个时代，目前并没有明确定义，我们将它描述为基于区块链技术的去中心化的互联网技术的合集，有新的技术、新的范式、新的组织形式以及对应的价值观世界观。

元宇宙是目前非常火的概念，它到底是“割韭菜”还是“新赛道”？下结论前不妨让子弹飞一会儿。阅读了一些研报以后，解开了我关于“什么是元宇宙？”、“为什么需要元宇宙？”的疑问，重点调研了实现元宇宙的关键技术和产业生态，梳理成本文。

介绍强化学习的概念定义、基本思想、分类和应用场景，讲解强化学习中的经典算法：基于表格的Q-Learning算法、基于价值的Deep Q Network、基于策略的Policy Gradient以及结合了Value-Based和Policy-Based的Actor Critic算法。

本文梳理机器学习管道，从一个业务问题开始，分别讲解定义问题、数据收集和整合、预处理和可视化数据、模型训练和优化、模型评估和模型部署环节的主要工作和关键技术。

本文梳理预训练技术的原理和发展脉络，着重讲解了几个具有代表性的模型，第一代的预训练模型：NNLM,word2vec,Glove，和第二代的预训练模型：ELMo,GPT,Bert。这是一个正在井喷的研究方向，简单描述了目前预训练技术的几个延伸方向以及应用到下游任务的方案。

本文基于论文《Attention Is All You Need》对其中提出的Transformer模型架构进行了拆解，分析了其设计思路和优势。

介绍Self-Attention和Multi-Head Attention，这两个的深入理解是理解transformer的前提。