京东在数据挖掘方面对推荐技术的优化

京东在数据挖掘方面对推荐技术的优化

JD.COM集团公司副总裁张晨总结:JD.COM是一家以互联网技术的科研推动的网上零售公司。零售是它的遗传基因，零售最根本的是做好对用户的服务项目。JD.COM可以通过各种方式方法来大大改善服务体验。

物流已经成为JD.COM的竞争优势。2020年618期间，会有很多商品当天送达。要按照互联网大数据的方法，让货运的物流更快捷。比如通过分析一个小区的消费偏好，可以提前判断什么商品最受欢迎，放在小区周边的配送站。当客户提交订单时，他们可以被交付，这可以改善用户的感受。

提升用户体验的第二个层面是互联网大数据的精准投放。库存周转率是零售企业决定一件商品是否畅销的判别因素之一，在JD.COM提高库存周转率就是要准确地交付商品。商品的“定向促销”体现了这一理念。商城系统部推荐检索部刘说:“在目前推荐位的情况下，可以保证再提高40%和50%的效率，因为商品在人性化首页发布的时间太长，太快了。”

张晨觉得信息量越大，后期利用价值越大。由于JD.COM的商品大部分属于直销，货源充足，质量有保证，销售真实，这使得JD.COM成为互联网公司中数据信息最好的企业之一。用这些高质量的数据信息去服务有思想的用户反而是一件无止境的工作，有太多的关键点需要挖掘。"

JD中有两种关键类型的数据信息。COM:用户的个人行为数据信息和基于内容的数据信息。JD.COM将根据用户的个人行为数据建立用户画像，比如他们是否有孩子，是否是男性，在JD.COM生活多久，他们的营销有多敏感，他们是在家里还是在公司买的东西多，购买率是多少？JD.COM会根据用户的个人行为进行推荐，这些行为大部分是根据线下的数据信息计算出来的。此外，系统软件还会根据用户即时的个人行为继续进行推荐，比如区分用户喜欢访问软毛牙刷、声波电动牙刷、声波频率的声波电动牙刷等类别。

JD.COM推荐系统根据“共现引流矩阵”的方法，可以衡量商品对商品、用户对用户商品、商品对商品的相似指数值。比如用户对某个商品的评分比较高，访问比较高，购买比较高。按照这种方法，可以找到更贴近他们要求和喜好的产品，推荐给客户。除了这个基本的优化算法，JD.COM还将继续使用先进的优化算法来提高推荐的实际效果。

JD.COM将继续基于一些实体模型进行推荐，如用户的消费力实体模型、周期时间商品购买实体模型、LDA实体模型等。比如现在JD.COM有很多第三方店，会出现“一品多商”的问题，所以JD.COM会拿拍照等等做文章。

排名方面，JD.COM会进行二次估算，先估算CTR(点击量)，再估算CVR(转化率)，从而进行排名。是怎么做到的？对于每一种商品，JD.COM都觉得自己具备了知名品牌、中心语、品类、扩张特性等指标值，可以用销量来衡量。每个商品中间都有一个购物网，每个商品的pagerank也可以应用。这个指标值不仅考虑了总数问题，还考虑了网络结构关联。考虑的指标值还包括评价数、五星好评、访问深度等。举一个具体的例子，如果一个用户购买了产后塑身产品，那么孕妇装的重量会急剧减少，尽管有连接的数量，因为从逻辑上来说，它是先在怀孕期间制造，然后再瘦身。

JD.COM人性化与整理服务平台部高级总监邹宇向冷启动用户分享解决方案。说白了，“冷启动”是指系统软件中没有个人行为数据信息的新用户。这个时候JD。COM的方法是基于物以类聚的分类规则。例如根据社交媒体协会推荐。如果自然没有这种东西，很可能会找到一种更粗糙的分组群体的方法，比如性别，年龄，地域。在自然界最极端的情况下，根本没有这种事。然后根据最近的网络热点，进行类型多样化和推荐的对策，把每个品类最时尚的产品放在一起推荐给新用户看看。这其实就是整个揭穿的过程，然后，基于用户的交互反馈，逐渐收敛用户主要信息的内容。

非常重视实验和监督，以快速确定优化算法的好坏

JD.COM推荐服务平台部总监刘思哲详细介绍，在推荐系统中，JD.COM非常重视实验和监督。JD.COM是优化算法和框架的分离，框架可以管理高层项目。优化算法就是尝试各种特性，数据信息，标准，以及每天总流量的实际效果。

JD。COM推荐的实验系统软件，配有外部网页。总流量立即生效，总流量比例可以随机分配。只要简单的改变一个线上实验，它的总流量就可以秒级升级，第二天甚至马上就能看到结果。JD有两种常用策略。COM的分离。第一个是任意的，每次更新看到的结果很可能是不同的。比如十组实验，每一版都有10%的几率出现；第二是相对论是固定的。一旦看到第一个结果，确保后面看到的所有结果都是这样的。JD.COM实验系统软件的适用版本号将返还给纽约。一旦出现不匹配，数据工程师可以找到相关的版本号和管理权限。

除了实时实验，JD.COM实验系统软件也适用于离线调试平台。关键参数可以是一个或几个SKU，也可以是类。可以回忆不同实验的结果，可以准确定位不同实验的实际效果。这样，数据工程师就可以在测试几个小案例的基础上，快速找到自己的优化算法，在削减总流量之前，找出问题出在哪里，或者什么是好的。

不断完善迭代更新，提高推荐系统的使用价值

刘思璇认为算法优化必须逐步迭代更新。上一个优秀的优化算法一下子提升50%的实际效果不太可能，技术工程师之间的相互交流有助于提高算法优化的实际效果。

根据数据和信息的发现，JD.COM还会发现，有些用户从来不会点所有的推荐和广告，也就是对这个东西根本不感兴趣。有可能JD.COM也可能对这个用户隐藏推荐系统。“如果用户能够深度参与到推荐系统中，自然可能是潜意识的。这时候推荐系统才真正保证了完美。”

邹宇觉得互联网大数据在JD.COM的使用价值越来越大。比如互联网技术展示广告的点击量一般能达到千分之一就很不错了，转化率更低，一般0.0%。而JD.COM的检索转化率比这类广告高出几个数量级。因此，JD.COM的数据和信息将变得越来越有价值，JD的有效性。COM的推荐系统在促进业务流程发展方面将变得越来越关键。