Jiayue Cai's Blog

Know more, Do more, Be more

知识蒸馏在推荐系统的应用

Logits蒸馏方法、特征蒸馏方法、精排蒸馏、召回/粗排蒸馏

Last updated on 2020-05-29… 本篇整理自《知识蒸馏在推荐系统的应用》 推荐系统中,复杂模型推上线时,模型响应速度太慢,当流量大的时候撑不住,而知识蒸馏(Knowledge Distilation)则是解决方法之一。 一般知识蒸馏采取Teacher-Student模式:将复杂模型作为Teacher,Student模型结构较为简单,用Teacher...

强化学习的泛化能力问题

环境随机化、鲁棒性优化、启发式正则、sim2real

Last updated on 2020-05-17… 本篇整理自《炼丹感悟:On the Generalization of RL》 目前大部分强化学习论文使用的主要基准任务实际上都是偏弱的,比如MuJoCo或者Atari,更不用说前两年MARL用的multiagent-particle-envs。 在偏弱的实验环境里,模型跑出来的结果看起来尚可,模型的许多问题暴露得不...

两个互联网世界

商业价值观、起始阶段、商业化阶段、投资并购阶段

Last updated on 2020-4-18… 《浪潮之巅》、《腾讯传》、《增长五线》 本文将从中美互联网的商业价值观、起始阶段、商业化阶段、投资并购阶段四个部分进行对比分析,侧重点会放在中国。 商业价值观 中美商业价值观差异的根源是人生观的差异。 二战期间,美国向战争国出售了大量的军火,大发军火财,战后经济迅速崛起,美国人很快就到达了小康甚至富裕阶段,这...

搜索广告之自动化创意

召回、匹配、排序、展示

Last updated on 2020-03-16… 与一般推荐场景不同,搜索广告是一种具有严格限制性的推荐,本文在参考搜狗公司舒鹏在去年年初分享的一篇《深度学习新技术在搜狗搜索广告中的深化应用》的基础上作了一些补充,从自动化广告创意的业务场景切入,着重探究其背后的一些技术发展。 往期相关传送门:《搜索与竞价广告》、《feed流与广告投放》 背景知识 跟信息流广告或...

影响力研究

影响结果与法则、正面技巧、负面技巧、高情商说话

Last updated on 2020-2-28… 借着最后一个寒假,加上本篇一共连续写了三篇非技术博客,有点不务正业的感觉了。下篇博客切回正轨~ 现代社会中,无论事业上还是生活上的成功,都取决于我们影响他人的能力。比如,如何让消费者购买你的产品?如何让朋友认同你的观点?如何让孩子听你的话? 爱因斯坦、金斯伯格、德鲁克、小布什总统、米娅·哈姆等人为什么能在全世界拥有广...

资本世界初探

资本周期、行业角色、资本故事

Last updated on 2020-3-18… 职业人生(如下图)大致有这么几个阶段:卖体力、卖技术、卖资源、卖信息差。我们大多数人都处于第一或第二阶段,即通过卖体力或者卖技术获得原始积累的阶段,然后大多数人也在原始积累中结束了一生。 作为90后,我们有幸借由互联网窥见了高速发展的中国,以及冷酷的资本世界。我们一边努力工作的同时,一边还饱受某些企业家类似“工作996,生活...

互联网金融的调研与思考

聚焦蚂蚁金服与微信支付

Last updated on 2020-3-15… 《互联网金融生态系统2020》、《“中国式”互联网金融:技术基础与基本模式》、《拥抱2020年代|从网贷到金融科技,10年探索留下了什么?》 自2013年以来,相关互联网金融的创新实践活动愈演愈烈,一系列标志性事件打破了传统金融竞争格局与商业模式,尤其是在中共十八届三中全会提出的“普惠金融”及2014年国务院政府工作报...

推荐系统的发展与简单回顾

表示学习、深度学习、强化学习、知识图谱、多任务学习

Last updated on 2020-5-16… 结合百度和支付宝两段推荐系统相关的实习经历,本篇针对 工业界的模型发展 做了简单梳理与回顾。 表示学习和深度学习在推荐系统中的应用是目前工业界比较成熟的,但是与强化学习、知识图谱、多任务学习相结合是比较少的, 一方面此类技术与推荐结合才刚刚开始探索,背后有太多问题需要人力去挖掘和探索;另一方面在公司的业务中敢不敢上这种前沿课题...

C++高阶数据结构

Follow My Heart

Last updated on 2019-10-30… 强化学习本质就是动态规划,Graph Embedding本质就是图论(dfs的DeepWalk,bfs的GCN),掌握本质才能迸发出大的创新。 趁着秋招刚结束的余热,写这篇博客一方面为了复习跟备忘,另一方面为了督促自己学习。(弥补自己大一当时没坚持下来的遗憾…) ACM相关PDF整理 数学结构 Hash表 【...

DeepGBM 针对在线任务的GBDT2NN

CatNN、GBDT2NN

Last updated on 2019-09-29… 《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》,发表在 KDD 2019 视频、代码 介绍 CTR数据特征: 通常包含离散和连续两种特征 数据会实时增加,分布随之变化 问题的思考出发...