京东内部大调整!自有品牌京造成功“上位”

京东内部大调整!自有品牌京造成功“上位”,第1张

京东活动系统 是一个可在线编辑、实时编辑更新和发布新活动,并对外提供页面访问服务的系统。其高时效性、灵活性等特征,极受青睐,已发展成京东几个重要流量入口之一。近几次大促,系统所承载的pv已经达到数亿级。随着京东业务的高速发展,京东活动系统的压力会越来越大。急需要一个更高效,稳定的系统架构,来支持业务的高速发展。本文主要对活动页面浏览方面的性能,进行探讨。

活动页面浏览性能提升的难点:

1 活动与活动之间差异很大,不像商品页有固定的模式。每个页面能抽取的公共部分有限,可复用性差。

2 活动页面内容多样,业务繁多。依赖大量外部业务接口,数据很难做到闭环。外部接口的性能,以及稳定性,严重制约了活动页的渲染速度、稳定性。

经过多年在该系统下的开发实践,提出“页面渲染、浏览异步化”的思想,并以此为指导,对该系统进行架构升级改造。通过近几个月的运行,各方面性能都有显著提升。在分享"新架构"之前,先看看我们现有web系统的架构现状。

以京东活动系统架构的演变为例,这里没有画出具体的业务逻辑,只是简单的描述下架构:

2第二步,一般是在消耗性能的地方加缓存,这里对部分查库 *** 作加redis缓存

3对页面进行整页redis缓存:由于活动页面内容繁多,渲染一次页面的成本是很高。这里可以考虑把渲染好的活动内容整页缓存起来,下次请求到来时,如果缓存中有值,直接获取缓存返回。

以上是系统应用服务层面架构演进的,简单示意。为了减少应用服务器的压力,可以在应用服务器前面,加cdn和nginx的proxy_caxhe,降低回源率。

4整体架构(老)

除了前3步讲的“浏览服务”,老架构还做了其他两个大的优化:“接口服务”、静态服务

1访问请求,首先到达浏览服务,把整个页面框架返回给浏览器(有cdn、nginx、redis等各级缓存)。

2对于实时数据(如秒杀)、个性化数据(如登陆、个人坐标),采用前端实时接口调用,前端接口服务。

3静态服务:静态资源分离,所有静态js、css访问静态服务。

要点:浏览服务、接口服务分离。页面固定不变部分走浏览服务,实时变化、个性化采用前端接口服务实现。

接口服务:分两类,直接读redis缓存、调用外部接口。这里可以对直接读redis的接口采用nginx+lua进行优化( openresty ),不做详细讲解。 本次分享主要对“浏览服务”架构

在讲新架构之前先看看新老架构下的新能对比

击穿cdn缓存、nginx缓存,回源到应用服务器的流量大约为20%-40%之间,这里的性能对比,只针对回源到应用服务器的部分。

2015双十一, 浏览方法tp99如下:(物理机)

Tp99  1000ms左右,且抖动幅度很大,内存使用近70%,cpu 45%左右。

1000ms内没有缓存,有阻塞甚至挂掉的风险。

2新架构浏览服务新能

本次2016 618采用新架构支持,浏览tp99如下(分app端活动和pc端活动):

移动活动浏览tp99稳定在8ms, pc活动浏览tp99 稳定在15ms左右。全天几乎一条直线,没有性能抖动。

新架构支持,服务器(docker)cpu性能如下

cpu消耗一直平稳在1%,几乎没有抖动。

对比结果:新架构tp99从1000ms降低到 15ms,cpu消耗从45%降低到1%,新架构性能得到质的提升。

why!!!

下面我们就来揭开新架构的面纱。

1  页面浏览,页面渲染 异步化

再来看之前的浏览服务架构,20%-40%的页面请求会重新渲染页面,渲染需要重新计算、查询、创建对象等导致 cpu、内存消耗增加,tp99性能下降。

如果能保证每次请求都能获取到redis整页缓存,这些性能问题就都不存在了。

即:页面浏览,与页面渲染 异步。

理想情况下,如果页面数据变动可以通过 手动触发渲染(页面发布新内容)、外部数据变化通过监听mq 自动触发渲染。

但是有些外部接口不支持mq、或者无法使用mq,比如活动页面置入的某个商品,这个商品名称变化。

为了解决这个问题,view工程每隔指定时间,向engine发起重新渲染请求-最新内容放入redis。下一次请求到来时即可获取到新内容。由于活动很多,也不能确定哪些活动在被访问,所以不建议使用timer。通过加一个缓存key来实现,处理逻辑如下:

好处就是,只对有访问的活动定时重新发起渲染。

  整理架构(不包含业务):

 view工程职责 :

  a直接从缓存或者硬盘中获取静态html返回,如果没有返回错误页面。(文件系统的存取性能比较低,超过   100ms级别,这里没有使用)

  b根据缓存key2是否过期,判断是否向engine重新发起渲染。(如果,你的项目外面接口都支持mq,这个      功能就不需要了)

  engine工程职责 :渲染活动页面,把结果放到 硬盘、redis。

  publish工程、mq 职责 :页面发生变化,向engine重新发起渲染。 具体的页面逻辑,这里不做讲解

Engine工程的工作 就是当页面内容发生变化时,重新渲染页面,并将整页内容放到redis,或者推送到硬盘。

View工程的工作,就是根据链接从redis中获取页面内容返回。

3view 工程架构 ( 硬盘  版)

 

两个版本对比

aRedis版

优点:接入简单、 性能好,尤其是在大量页面情况下,没有性能抖动 。单个docker tps达到 700。

缺点:严重依赖京东redis服务,如果redis服务出现问题,所有页面都无法访问。

b硬盘版

优点:不依赖任何其他外部服务,只要应用服务不挂、网络正常 就可以对外稳定服务。

在页面数量不大的情况下,性能优越。单个docker tps达到 2000。

缺点:在页面数据量大的情况下(系统的所有活动页有xx个G左右),磁盘io消耗增加(这里采用的java io,如果采用nginx+lua,io消耗应该会控制在10%以内)。

解决方案:

a 对所有页面访问和存储 采用url hash方式,所有页面均匀分配到各个应用服务器上。

b 采用nginx+lua  利用nginx的异步io,代替java io。

现在通过nginx+lua做应用服务,所具有的高并发处理能力、高性能、高稳定性已经越来越受青睐。通过上述讲解,view工程没有任何业务逻辑。可以很轻易的就可以用lua实现,从redis或者硬盘获取页面,实现更高效的web服务。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶qun:694549689,里面有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。

1具有1-5工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加。

2在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。

3如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的可以加。

通过测试对比,view工程读本地硬盘的速度,比读redis还要快(同一个页面,读redis是15ms,硬盘是8ms)。所以终极版架构我选择用硬盘,redis做备份,硬盘读不到时在读redis。

这里前置机的url hash是自己实现的逻辑,engine工程采用同样的规则推送到view服务器硬盘即可,具体逻辑这里不细讲。后面有时间再单独做一次分享。 

优点:具备硬盘版的全部优点,同时去掉tomcat,直接利用nginx高并发能力,以及io处理能力。各项性能、以及稳定性达到最优。

缺点:1、硬盘坏掉,影响访问。2方法监控,以及日志打印,需使用lua脚本重写。

无论是redis版、硬盘版、openresty+硬盘版,基础都是页面浏览与页面渲染异步化。

优势:

1、所有业务逻辑都剥离到engine工程,新view工程理论上永远无需上线。

2、灾备多样化(redis、硬盘、文件系统),且更加简单,外部接口或者服务出现问题后,切断engine工程渲染,不再更新redis和硬盘即可。

3、新view工程,与业务逻辑完全隔离,不依赖外部接口和服务,大促期间,即便外部接口出现新能问题,或者有外部服务挂掉,丝毫不影响view工程正常访问。

4、性能提升上百倍,从1000ms提升到10ms左右。详见前面的性能截图。

5、稳定性:只要view服务器的网络还正常,可以做到理论上用不挂机。

6、大幅度节省服务器资源,按此架构,4+20+30=54个docker足以支持10亿级pv。(4个nginx proxy_cache、20个view,30个engine)

 从事开发已有近10载,一直就像寄生虫一样吸取着网络上的资源。前段时间受“张开涛”大神所托,对活动系统新架构做了一次简单整理分享给大家,希望能给大家带来一丝帮助。第一次在网上做分享,难免有些没有考虑周全的地方,以后会慢慢的多分享一些自己的心得,大家一起成长。最后再来点心灵鸡汤。。。

2018年,京东市值在离最高点蒸发400多亿后,股价最低时缩成了一个拼多多。在遭遇了一系列“黑天鹅”后,京东掉队了吗?还能重回高光时刻吗?京东的未来又在哪里?

2018年,我们观察到一系列切换赛道的故事。

在家电领域,彩电大王TCL剥离彩电业务,瞄准三星,对标京东方,显示器面板成为TCL核心业务。

阿里巴巴创立平头哥半导体公司,发力芯片领域。

华为发力5G车联网平台,欲在自动驾驶这个产业链上分一杯羹。

雷军在小米年会上表示,启动手机+AIOT双引擎战略(人工智能+物联网平台),5年内投入超过100亿。小米要丢掉速胜论,打持久战!

这一年,马化腾提了三个著名问题——关于新零售的、关于产业互联网的、关于ofo死亡的,引发业界深度思考。

这一年,阿里、腾讯、百度、小米、京东都不约而同调整了组织构架。

就在周一,中国2018年重磅经济数据出炉:GDP突破90万亿大关,GDP增速66%。国家发改委主任何立峰几天前透露,2018年,中国人均GDP接近1万美元。

这一系列动向都在说明一件事,新的产业周期和消费周期来了。每一次迭代,都会淘汰很多既得利益者。而换道超车时,原来很成功的,不代表以后也会成功。股价缩水并不能代表什么。在换道期,判断一个企业有没有掉队,关键看未来战略规划是不是符合新的产业周期,看大势把握得准不准,能否顺势而为;考验的是企业从头学起,快速迭代的能力。

那么,在新一轮产业周期和消费周期下,京东在下一盘怎样的棋?

徐雷首秀:电商经济“慢时代”到来

这几天,京东商城、京东数科、京东物流分别召开了2018年度总结表彰大会。

在京东商城年会上,京东商城CEO徐雷说,过去一年,是京东 历史 上内外部环境变化最剧烈的一年。

2018年12月21日,刘强东亲自签发京东商城组织架构调整公告,多达10位高管将跳过他直接向京东商城轮值CEO徐雷汇报。各大业务整合重组,确定了前、中、后台的组织模式,这使得纵向垂直一体化的组织构建迭代到积木化的前中后台。原三大事业群总裁王笑松、闫小兵和胡胜利继续担当要职,同时一批业务能力突出的高管升任中、前台的负责人。

这家拥有强烈创始人基因的公司,在经历十几年高速增长后,进入大变局时期。徐雷说,互联网人口红利、网络零售红利消失,“增量”变得很难,在饱和的存量市场,竞争会更加残酷。

而年会透露的最重要信号是,京东商城要以客户为中心迎接四个变化,第一条就是从单纯追求数字,到追求有质量增长的变化。

“这四大变化,每一项都不亚于对于组织进行彻底重写,尤其是超过3万人的大型商业组织。这个过程会异常痛苦。”徐雷说。

更多的品类、更高的商品质量、更快的配送速度、更省钱,更……这是去年双11,徐雷在总结电商10年时,对未来电商平台走向的一个判断。

潮水退去,并不是说电商经济不行了,而是存量竞争时期才是真正高手过招的时候。经济高速增长时,企业最佳策略是扩张;经济放缓时,把东西做好才能走得更远;没有增量时,存量竞争会更加激烈;存量竞争激烈时,自然会倒逼品质提升。

徐雷这番话,是对电商经济“慢时代”的正确判断,采取的也是最正确姿势。

目前正是年货购置高峰期,不妨来个小测试,你可以在几家电商平台试试,看谁家的年货更全更优质,谁家的快递服务更快更棒?

京东与华为、阿里、腾迅PK的王牌是什么?

任正非说,应对未来的挑战,大家都在找路,但如果慢慢找来找去找不到,追兵也就到了。

这涉及一个关键问题,决定中国未来十年、二十年经济发展的变量是什么?

工业化、城市化、技术创新?

2018年,阿里和腾讯在产业互联网上都进行了巨大投入。2017年,阿里云工业互联网平台落地广东,要深度再造ET工业大脑。

阿里凭借ET工业大脑向工业互联网进军。现实是,中国工业信息化水平很多还在20,25时代,带有C端基因的互联网巨头进军工业互联网,推进速度绝对不会像消费互联网那么快速,而它的复杂性也远超想象,一不小心就可能沦为一个卖云的了,这就和初衷大相径庭了。

那京东未来发展的变量靠什么?

在1月19日召开的京东物流2019年展望大会上,京东物流CEO王振辉说,物流行业迎来最好的发展时代。

这话不是指京东物流开放业务在2018年收入远超目标,同比增长超100%的漂亮成绩单,而是指物流业到了一个 历史 最好机遇期。

2018年11月,召开的一场国务院常务会议上,鼓励 社会 资本参与到现代物流体系建设中,确保全 社会 物流总费用与GDP比率明显下降。

2017年,中国 社会 物流总费用达121万亿,占GDP比例146%,尽管这一数值已经五连降,但依然是发达国家2倍。如果降低1个百分点,就能带来万亿级新增效益。

这一方面通过现代物流和供应链体系变革,推动制造业降本增效,产业升级。在人口红利消失后,传统行业终于走到必须依赖效率红利,依靠每个经营环节更精细化、数字化来提高人均产出的时候了。

另一方面,这个号召 社会 力量广泛参与的中国现代物流体系建设,将和电子商务、移动支付、云计算一样,成为新的 社会 基础设施。

一场新的“铁公基”建设势必会掀起,但这和之前政府主导的“4万亿投资”截然不同,在市场主导下, 社会 物流这个碎片化行业要高度集中化,要有带头大哥出来整合资源,以高度集中化,规模化推动 社会 物流成本降低。

这个时候,京东物流进军 社会 物流,做大做强自己,是最好时机。传统电商物流只有4000亿,而整个 社会 物流高达12万亿规模,这也是京东“B计划”的最佳的战场。

去年10月举行的全球智能物流峰会上,王振辉就说,未来得供应链者得天下。未来5-10年,京东物流将构建全球智能供应链基础网络(GSSC),目前已经建立起京东供应链、京东快递、京东冷链、京东快运、京东跨境、京东云仓六大产品体系,为 社会 提供全面的智能物流解决方案。

这个GSSC体系一旦建成,将成为整个京东集团的核心竞争力。

2018年,京东物流服务客户总数超过20万家,其中合作费用上亿元以及上千万客户近百家;还上线个人快递业务;获得高瓴资本、红杉、招商局、腾讯、中国人寿、国开母基金等多家机构总计25亿美元的中国物流行业最大单笔融资;同时京东物流还密集投资了20多家智能物流领域的 科技 公司。

在海外布局上,京东在泰国建成东南亚地区最先进、最完整的智能仓储物流中心;在印尼建成当地最大的电商物流网络。

京东物流目前估值852亿人民币,它在10年时间快速搭建起一个巨无霸,也真正说明,物流是干出来的,不是吹出来的。 中国物流门槛很低,但水很深,只有深度扎根探底,才能站稳脚跟。这个赛道上现在扎满了巨头,顺丰、菜鸟,盖洛普、传化、京东……京东物流如何加深加宽护城河,如何在供应链创新上发力,2019年将是关键一年。

进军智慧城市,靠谱吗?

智慧城市是城市化的必然结果,同样也被视为新的 社会 基础设施之一。

整个智慧城市的规划规模有多大?粗略统计4万亿!建设投资6000亿!全国超过500个城市都在建智慧城市。

为什么智慧城市这么热?因为它几乎融合了目前所有最先进技术,物联网、5G、人工智能,云计算,区块链…… 如果不到这里抢吃技术红利,抢吃政策红利,还去哪里?

在这个赛道上,几乎所有互联网巨头都到场了。阿里和腾讯至少在上海、重庆、雄安等城市正面交锋过。现在,在获得国家政策红利密集轰炸的海南自贸区,两家又狭路相逢。

京东在智慧城市领域入局较晚,但步子迈的相当快,其核心能力是城市计算。2018年2月,京东成立城市计算事业部,并请来在微软亚洲研究院做了12年城市计算业务的郑宇执掌这一全新部门。

我们可以把京东城市看成一家创业公司,来看看它成长速度多快——

基于京东城市计算平台的“城市 *** 作系统”的大数据和AI能力,京东城市在为北京、上海、广州、雄安、南京、成都等30多座城市,提供交通、规划、环保、能源、城市信用、公共安全、电子政府7大领域的智能城市解决方案。

这个“超级大盘”上,处处是血拼的硬仗。目标选择上,京东城市直奔各大厂商激烈角逐的新一线城市;建设模式上,既推出了福州三坊七巷“信用城市”这样的“单品爆款”,又有宿迁这样的“烟囱改造”模式,还有雄安这种“顶层设计”模式。

京东城市还集结了一个由中国工程院院士潘云鹤领衔、超强版院士阵容的京东智能城市研究院,加速产学研的效率和速度。

这个快速发展的业务板块现在归在京东数科旗下,但从组织构架上,京东城市整合了整个京东集团在电商、物流大数据、云计算、人工智能等方面的技术优势,在集团内部属于一级事业部,其战略地位之重要,由此可见一斑。

承担了京东战略升级重任的京东数科,2018年实现赢利,收入结构发生了根本性转变, 科技 服务收入比2017年翻了3倍。京东数科目前已完成B轮融资,公司估值超过1300亿。

2018年9月,京东金融改名为京东数科,强调 科技 输出,专注于数字 科技 服务。京东数科CEO陈生强表示,京东数科最终要形成系统的金融 科技 能力和产业数字化能力,这将是京东数科的核心能力。

科技 在京东已经被提到前所未有的高度。在京东2017年会上,刘强东明确提出:“ 未来12年京东只有三样东西:技术!技术!技术!” 2018年三季度财报显示,京东用于技术研发投入达345亿元,同比增长超96%,2018年前三季度技术研发投入864亿元,已超过2017年全年的665亿元。

2019年,以区块链、人工智能为核心的金融 科技 会变得更成熟,这也为京东数科爆发式增长奠定底层逻辑。

从刘强东到徐雷,变局是必然。如何应对未来产业巨变,如何在群象中突围,让我们静观其变。

财联社|新消费日报(研究员 梁又匀)讯, 据媒体消息,京东已于近期调整组织架构,将京东京造单独成立事业群,成为独立的业务单元,目前与京东零售处在一个级别。有媒体称,京东京造负责人依旧由京东集团高级副总裁王笑松担任。

京东自有品牌业务正式上线于2018年1月,此前在京东内部已有积累。此次获得“提拔”的京东京造为自营品牌之一,在京东拥有独立旗舰店,主打全品类大众商品,已覆盖家居日用、家用电器、个护美妆、生活百货、数码配件、食品饮料等个领域。

公开资料显示,王笑松2008年加入京东,历任3C事业部总裁、大快消事业群总裁、生鲜事业部负责人,曾推动成立京东线下生鲜超市7FRESH。2020年4月,王笑松出任京东自有品牌业务部负责人,直接向京东CEO徐雷汇报。

京东自有品牌发展史

早在2013年,京东刚刚取得虚拟运营商牌照、仍未上市时,就已试水推出了自有品牌dostyle,主要产品为耳机、充电器、音响等电子产品,特色是价格低廉。但相较于获得发展迅速、大牌云集的自营业务,自有品牌业务发展相对缓慢。

同一时期,当当、聚美优品也开始做自有品牌,主要集中在化妆品、服装等成本低、需求量大的品类,但很快也沉寂下去。

2015年,京东在几年的开发中,逐渐积累出5个自有品牌,包括箱包、化妆品、服装、3C数码等品类。尽管自有品牌的工作一直在推进,但始终进展艰难,京东平台上为人们所熟知的仍然是各类三方知名大牌。

尽管有诸多失败案例,但自有品牌的模式并非跑不通,网易严选、小米有品、淘宝心选主打高品质、高性价比产品逐渐吸引到一批忠实用户,打出了名气。2018年,京东重启自有品牌,推出“京造”。

同年8月京东上线8个自有品牌,包括八享时、佳佰、LATIT、京选、京觅等。

到了2020年初,在京东京造首次召开的合作伙伴大会上,京东集团副总裁常斌对媒体表示:京东的自有品牌是一个品牌群,有不同品类,服务于不同目的。其中, 京东京造定位在生活方式上,是京东自有品牌的最强火车头。

据常斌介绍,除了线上渠道,京造还进入了京东之家等数千家线下门店,并拓展出企业采购、第三方商场等业务场景,未来还会继续服务于下沉市场和全渠道。此外,海外市场也在计划之中。

京东京造:互联网ODM

国内电商平台,不论是京东,还是当当网、网易、小米、淘宝,在产品研发制造上,主要采用的是ODM代工模式,即依靠自身所掌握的技术和设计,委托工厂加工生产,获得低价贴牌商品后,通过自有渠道对外销售。

早期的自有品牌研发模式,仍然采取传统的零售商品研发策略。在热销品类中,自己摸索研发、交给工厂生产,尽管能获得低价商品,但产品质量、影响力、辨识度远不如市场上的成熟品牌。

但这一模式随着平台的发展、技术的进步得到改变,运用数据分析用户喜好、进行更精准营销成为电商平台普遍的推销手段。成立于2016年的网易严选给了其他品牌较大的启发,其“严选模式”,以消费者需求为中心,通过大数据反向推动供应商、商品以及物流升级。

这样一来,平台就可以掌握除了工厂成本之外大部环节的议价权,既能把控产品质量、避免假货泛滥,也能提升物流的成本和效率,在产品营销推广时更加精准,完全掌握商品利润。

重启自有品牌之后, “京造”依托京东积累的用户消费大数据,作为产品功能、参数研发参考,向制造商定制生产。

据公开数据显示,2018年双十一前夕,京造已拥有近400款SPU、上千余款SKU的商品在售。2020年初,京造的品类已达25个,拥有8000个SKU;在300多家供应商中,大牌供应商占1/3左右。

2020年12月,京东自有品牌发布了“产业带CEO计划”。王笑松表示,京东自有品牌正在向优质工厂开放京东在选品、品牌孵化、用户运营、渠道渗透、供应链孵化等方面的能力,共创“以用户为中心”的C2M产业链模式,以及更多“用户所想”的产品和服务。

王笑松还表示,京东自有品牌还会针对不同品类和不同人群推出差异化商品,小众品牌会越来越多,希望通过这种方式形成品牌矩阵,拓展深度和宽度。

2020年,京东自有品牌整体销售额约为30亿元。2021年在订单和用户数量上,自有品牌预计将增长3倍。

众所周知,京东集团有“三驾马车”:零售、物流和 科技 。据公司2021半年报数据显示,京东零售实现营收232556亿元,经营利润5987亿元,反哺物流、京喜、京东房产以及海外业务等。

如今,刘强东正式将京东京造提升到与零售相当的位置,或许说明经过三年的运作,自有品牌路线已基本跑通。尽管从销售规模上看,自有品牌还远不及零售业务,但 刘强东期待的“以供应链为基础的技术与服务企业”似乎在自有品牌模式上体现得更为明显。

以上就是关于京东活动系统--亿级流量架构应对之术全部的内容,包括:京东活动系统--亿级流量架构应对之术、京东变局!蒸发400多亿后,京东的未来在哪里、京东内部大调整!自有品牌京造成功“上位”等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/8837408.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-22
下一篇 2023-04-22

发表评论

登录后才能评论

评论列表(0条)

保存