一年一度的双十一狂欢夜已经到来。这个独特的传统节日,因为电商的疯狂营销,被赋予了独特的意义。从以往的数据信息来看,双十一当天各服务平台的交易额和交易量都在创造各种大的数字奇迹顺丰,而且每年都保持高速增长。
触目惊心的数据信息背后也有难以想象的挑战,尤其是零点后的十几分钟内,数百万顾客同时在进行着同样的购买流程。搜索、多看、提交订单、支付的每个阶段都必须保证分布式系统的可扩展性,扩展、数据冗余、多活动、降级、防DDos等技术必须渗透到相关的服务平台架构中。
对于双十一这样的分布式系统浏览场景,很多大中小电商都没有相应的运维管理能力,所以才开始依靠技术专业的云服务商来处理这个复杂的问题。其中,腾讯云已经为客户提供了11.11电商解决方案,关键能力包括可扩展扩展、抗刷单等。美丽说、聚美优品、Dangdang.com、货源充足、微品汇、小红书app、楚楚街等知名电商服务平台都根据自己的云服务器搭建了自己的业务流程架构。为了掌握腾讯云电商解决方案的关键技术,InfoQ记者采访了其杰出架构师罗志。
电子商务架构
每个家电厂商都有自己的业务流程特点和技术栈,实际实现框架也不一样;但是,在我看来,有些规律是可以遵循的。这里对不同的电子商务结构进行分类并详细介绍。每个电子商务业务流程的架构大体相似,都是四层,分别是访问层、逻辑层、缓存层和数据库查询层。
近年来,随着限时抢购和限时秒杀的盛行,规定电子商务的后台管理必须能够在集中的时间内解决大量的请求。因此,对接入层和逻辑层的按需、即时、快速并行扩展提出了更高的要求。此外,由于国内羊毛灰生产猖獗,电商业务流程对腾讯云基于互联网大数据的意向客户识别——天语系统软件的要求越来越高。
考虑到电子商务的业务流程架构,基于对接入层特性的分析,在以往的非云架构中,业务流程总是选择接入管理中心。尽管BGP接入是可用的,但最终还是受到物理距离的限制。因此,覆盖远离接入管理中心的区域仍然存在问题。这个问题在手机APP浏览的时候越来越突出。因此,拟考虑如何在全国范围内复用云计算平台各可用段强大的内网专线传输能力,根据端口转发等技术完成国家多接入管理中心的接入能力。
但根据业务流程架构的物理排列,大致可以分为两类:传统型和繁荣型电子商务。在传统电子商务中,现有的IDC是在初创阶段应用的,所以只将其接入层、逻辑层和缓存层部署在云计算平台上,充分重用了云计算平台的BGP接入和可扩展性。此外,腾讯云与腾讯云之间的专属IDC大数据中心连接,通过专线运输,转化为IT混合云。
以小红书app为代表的蒸蒸日上的电商,因为是在腾讯云上已经全面开发的业务流程架构,将所有业务流程架构部署在云端,充分享受云带来的低运维管理成本和低架构成本,将所有关键资金投入到市场拓展中。
如果一个电商客户选择另一家的云服务器或者可选IDC,那么我认为IT混合云是更好的发展前景,无论是双云混合还是现有的IDC云。如果是双云架构,建议使用双云容灾备份,重点考虑一主一备。如果是搭建IT混合云,重点考虑的是灵活利用云的扩展性和BGP多接入连接点。
如何保证扩展性和伸缩性
可扩展(AutoScaling)根据业务流程需求和对策自动调整云计算服务器。根据定时执行、周期时间或监控对策,可以适当提高或降低和配备CVM箱,以确保业务流程的稳定和健康运行。
目前腾讯云可扩展请求的响应速度为5-10分钟,扩展时间取决于客户镜像系统的大小,一般在10分钟以内。此外,并发扩展的数量很大,而且没有限制。每个人的完成都是基于业务流程无状态层,可以自定。
整体架构如下:
这里可以给大家举一个客户数据分析分享的例子。江苏盛瑞面临三大挑战:
要扩大上千台的业务规模,海量视频的后台管理必须稳定。以前需要两个以上的运维管理人员晚上加班才能进行人工扩容。花了半天时间,费力的设备总数特别大。我们期待能找到一个收费更精准的云服务平台,这样才能省钱。
经过大家的努力,我们终于完成了2.5小时进行两次全自动扩容,共扩容接近3000台顶级网络服务器,从此有了全自动扩容;全线无通病,无人工服务,顺利度过高峰期。
尝试全面监控服务
对于显示器,我们会充分考虑云主机的CPU利用率、运行内存利用率、硬盘利用率以及阿里云数据库、Memcached高速存储等各种云服务器的负载和性能参数,并根据可视化的数据图表进行展示。
在设计方案和完成监控器时,我们考虑到必须应用配备了各种指标值的告警开放阈值,并且每个对策可以与不同的云产品相关联。报警对策设置为默认后,会自动关联到对策,然后应用自定义的报警接收者和推送方式。关于自定义报警安全通道服务项目,人人嵌入了报警报告套接字,让客户可以根据监控脚本进行自定义报警。根据报警上报套接字,他们可以将报警内容上报至云监控,服务平台会立即将消息推送给客户。
另外,不仅是monitor,云API也基本涵盖了所有可以通过API方法对外提供服务的云产品,并且不断迭代更新。新产品发布的时候,都是和发布的API匹配的。所有套接字均采用https方式对外开放,根据签名系统验证调用者的真实身份,充分保证了API征集的安全系数和合理性、合法性。在调整方面,腾讯云提供了专门的云API调整工具,方便开发者快速调整API套接字,并提供多种编码实例,供合作开发设计参考。
电子商务业务流程中不可或缺的照片处理
作为电商,照片的应用需求是绕不过去的;从技术上来说,需要存储和识别商品信息。这里最重要的是说一下大家的照片内容识别技术:DeepEye内容识别模块。
DEEP是由SNG优图实验室和TEG网络信息安全部共同开发的图像识别技术模块。基于海量信息和深度神经网络技术的研发,deep致力于打造高可用、高精度的照片内容检测识别技术,解决方案级别达到100亿元。对制造业各类商品的UGC照片/视频数据信息进行了正面色情检查,改变了网络信息安全行业依靠人工服务寻找意图内容的方式,升级为设备自动检测人工服务辅助的AI模式。
DeepEye技术在黄色识别上的准确率为99.95%,在多项业务流程评测中保持行业领先地位;腾讯接入了包括Qzone、头像图片、Q群、微信朋友圈等绝大多数图片视频业务流程,大大降低了业务流程管控风险;并与腾讯云合作打造了润捷黄简、天宇等知名品牌,为外部客户提供多媒体系统内容测试服务。到目前为止,它已经连接了数十家行业模型企业,包括汽车快视频、Dianping.com、JD.COM商城、同花顺、宇都等。,很大程度上解决了人力资源审批问题,获得五星好评。
在这里,重访DeepEye技术的创始人集团:SNG优图实验室是不得已而为之。这个人工智能技术群是腾讯企业合理布局前沿技术的一块金牌。优图集团从2013年成立至今,已经从屈指可数的几个人发展成为业务规模近百人的优化算法研发部门。2020年,从原社交网络平台部走出,创办优图实验室,主要从事深度学习、人工智能算法、音频分析等人工智能技术行业前沿技术的产品研发和产品的落地。事实上,除了图像内容识别能力,该团的人脸识别、语音识别技术等能力在国际比赛中创造了吉尼斯纪录。
日益重要的安全生产技术
电商常见的困惑有三种:故意刷销量、流量劫持、DDos攻击。在这里,我把其中的两个分享给大家。
要解决意向刷销量的问题,必须积累意向用户数据库,做出合理判断,并加以解决。意向积累客户必须长期奋战,收集IMEI、QQ、手机微信、手机号、身份z号、IP等多方面信息内容;根据互联网大数据,要确保一处为恶,多处认定。
关于DDoS攻击的解决方案,我觉得要说说锤子科技的这个例子。2016年锤子坚果手机发布会被攻击,导致直播间临时瘫痪,达到几十G的攻击。锤子商城一度遭遇全方位偏瘫风险。
这时腾讯云介入,在锤子官网网站域名的DNS配置中增加了一个CNAME,将域名相对解析为大禹。CNAME会先将总客户流量的请求路由到大禹的加速点,再由大禹的加速点进行清洗过滤,再吐回原站,从而成功解决攻击。
从启动应急预案、访问客户网站,到开始清理,13分钟内,数十g的总进攻流量被大禹系统软件成功清理,使锤头科技官网得以恢复,保证了现场新品发布后274万在线客户的流畅观看。
未来发展趋势
又是一个电商快乐的一年,可以做的事情很多。腾讯的很多表达能力和很多云计算技术客户的要求是一致的。可以整合很多电商,电商遇到的转型发展问题,最新的行业发展趋势。腾讯云电商解决方案还提供多元化的产品和服务。
比如很多电商都尝试过“直播间”的方式,腾讯云的视频解决方案可以提供多方位、系统化的服务支持。适合24小时内直播应用的快速连接,拥有细致的直播间能力,完成流畅的客户体验,这将为大量电商服务平台尝试“直播间电商”方式提供很大概率。
在人工智能技术方面,腾讯云基于滕循18年的社交媒体互联网大数据工作经验,提供精准的图像识别能力,能够精准识别不良内容,识别准确率达99.95%,节省客户95%的人力资源;此外,腾讯云提供智能语音系统服务,每日视频语音审核时长提升31倍,服务满意度提升23%,资源、机械、设备、人力成本全面提升。
腾讯云智能语音系统服务项目应用后,佳缘视频语音质检业务流程普及率从3%提升至100%,质检效率提升31倍。与传统人工服务方式相比,同样的录音通话总次数,质检成本仅为原来的10%。
作者简介
腾讯云杰出架构师罗志。2006年加入滕循,先后在滕循集团承担系统运维、DBA、手游运维管理、手游运营整体规划、腾讯云售前服务架构师团队等工作。在这个阶段,重点是协助合作伙伴评估、整体规划和重建系统软件架构,并创建至少在未来2-3年内考虑其业务流程发展趋势所必需的cloud空架构整体解决方案。
2020年11月11日的序幕已经拉开。喜悦的背后,更重要的是提供技术服务平台,保证服务项目。在这个11.11,腾讯云已经为美丽说、聚美优品、当当网、货源充足、微品汇、小红书app、楚楚街等知名电商服务平台提供了电商解决方案。,并在架构部署、扩展性和伸缩性、监控服务、照片处理、安全防护等方面做了最重要、最完善的工作。感受腾讯云重点技术服务项目,去官网查询使用。只需要两步!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)