Jiayue Cai's Blog

自然语言处理的发展

Natural Language Processing

Last updated on 2019-5-19… 原文链接，本文仅挑重点进行了梳理，并在关键部分增加了个人理解。早期的词袋 -> 13年的word2vec -> 18年的BERT 任务与框架本质上，自然语言理解NLU的核心问题其实就是如何从语言文字的表象符号中抽取出来蕴含在文字背后的真实意义，并将其用计算机能够读懂的方式表征出来——当然这通...

Posted by Jiayue Cai on December 10, 2018

自动机器学习总览

A Survey on Automated Machine Learning

Last updated on 2020-6-19… 元学习博客链接强化学习博客链接深度强化学习博客链接 AutoML论文整理：链接。本文综述方面的内容绝大部分来自于2018年末的论文《Taking Human out of Learning Applications: A Survey on Automated Machine Learning》，文...

Posted by Jiayue Cai on December 7, 2018

强化学习总览

A Survey on Reinforcement Learning

Last updated on 2018-12-07… 元学习博客链接深度强化学习博客链接自动机器学习博客链接强化学习本身是一个非常通用的人工智能范式，在直觉上让人觉得非常适合用来模拟各种时序决策任务，如语音、文本类任务。当它和深度神经网络这种只要给我足够层和足够多的神经元，可以逼近任何函数的非线性函数近似模型结合在一起简直完美，无怪乎 DeepMind...

Posted by Jiayue Cai on December 2, 2018

feed流与广告投放

Feed stream and Ad serving

Last updated on 2018-11-25… 由于拿到了百度feed流推荐算法的offer，提前整理一些网上资料了解一下。介绍 feed流 Feed，源自早期的RSS。是一种呈现内容给用户并持续更新的方式。用户可以选择订阅多个资源，网站提供feed网址，用户将feed网址登记到阅读器里，在阅读器里形成的聚合页就是feed流。换句话说，Feed流商业产品是...

Posted by Jiayue Cai on November 25, 2018

数据竞赛Top解决方案开源整理

Data competition Top Solution

Last updated on 2019-3-20… 感谢来自电子科大的Smile同学的分享，个人只做了一些校正和补充。数据竞赛 2018科大讯飞AI营销算法大赛 Rank1：https://zhuanlan.zhihu.com/p/47807544 2018 IJCAI 阿里妈妈搜索广告转化预测 Rank...

Posted by Jiayue Cai on November 15, 2018

强化学习在推荐系统中的应用

Recommending System with Reinforcement Learning

Last updated on 2018-11-15… 以下内容转载自《强化学习在美团“猜你喜欢”的实践》。>原文链接其实这篇挺重要的，文章写的粗细有度，部分内容需要加深理解。介绍 “猜你喜欢”是美团流量最大的推荐展位，位于首页最下方，产品形态为信息流，承担了帮助用户完成意图转化、发现兴趣、并向美团点评各个业务方导流的责任。经过多年迭代，目前“猜你喜欢”...

Posted by Jiayue Cai on November 15, 2018

探索序列模型的本质

For Series Data

Last updated on 2018-11-18… 序列数据如文本、语音、视频等，这类数据的样本间存在顺序关系，每个样本和它之前的样本存在关联。比如说，在文本中，一个词和它前面的词是有关联的；在气象数据中，一天的气温和前几天的气温是有关联的。理论上 Simple RNN（或者叫 Vanilla RNN）就已经是图灵完备的了，能够模拟任何程序。但是实践中总是不尽如人意，因为存...

Posted by Jiayue Cai on November 4, 2018

注意力与增强RNN

Attention and Augmented Recurrent Neural Networks

Last updated on 2018-10-29… 循环神经网络是深度学习的主要内容之一，可以处理文本、音频和视频等序列数据；可用于将序列分解为高级理解、注释序列，甚至从头开始生成新序列。原英文链接：https://distill.pub/2016/augmented-rnns/ RNN与LSTM 1.RNN网络示意图：放大一点： 2.传统的RNN设计...

Posted by Jiayue Cai on October 28, 2018

元学习总览

Meta Learning | 个人总结

Last updated on 2018-12-07… 强化学习博客链接深度强化学习博客链接自动机器学习博客链接自研一第二学期以来，研究元学习有小半年时间，但是出于某种不可抗力，我的研究方向突然变更为自动机器学习（Auto ML）。粗略上来讲，自动学习包含了元学习、强化学习、自动超参数优化等内容。所以，这篇算是给自己这段时间的研究的一个交代吧…（祭...

Posted by Jiayue Cai on October 24, 2018

神经机器翻译学习大纲

From Neural Machine Translation

Last updated on 2018-10-23… 由于拿到了腾讯AI Lab的实习offer，所以查找了如下大纲。以下内容转载自北邮研究生LXM的博客，作为个人的学习大纲，不定期增删改。>原文链接 NMT大纲（到2017年6月）主要作为研究目录，不深入探讨每个模块。网络架构设计神经图灵机利用记忆机制(attent...

Posted by Jiayue Cai on October 23, 2018