阿里巴巴副总裁、阿里云基础设施负责人周明表示，为支撑交易峰值，其在张北、乌兰察布、河源、南通、杭州在内的五大超级数据中心合力支撑。在杭州数据中心内，全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理双11的海量计算工作，这些服务器的网线连起来，可以绕地球一周。
自2010年“去IOE”开始，阿里发展出互联网海量交易支付的架构与技术；2015年提出“中台”战略，阿里迈向移动化、数据化；2017年达摩院成立，开启阿里双11智能时代；2019年核心系统100%上云，让积累多年的双11技术，通过阿里云实现技术红利发展。
程立表示，双11催生出的数字创新工程仍在持续进化。十二年来，双11交易峰值屡创新高，2019年以544万笔/秒再创世界纪录，是2009年第一次双11的1360倍。2020年双11，预计500万商家、1400万款商品和8亿国内消费者参与其中，将成为史上最大规模的双11。支撑2020双11的，是全新的阿里巴巴数字原生商业 *** 作系统。
数字原生，包含云原生、AI原生、区块链原生、IoT原生、5G原生等新技术。程立说：“正如 *** 作系统是任何应用生态的基础一样，数字原生商业 *** 作系统，将是数字时代的商业新基础设施，打开商业应用创新的无限可能。”
在阿里云完成了全球最大规模的云原生实践后，万笔交易的资源成本比4年前下降80%；数字供应链与物流系统实现大协同，消费者签收今年第一单用时仅约10分钟。阿里经济体还孵化出全球首个AI实时翻译直播间，为双11服装车间提效超5倍的工业视觉AI，以及能听会说的虚拟主播等商业新物种。阿里云虚拟主机管理是通过云服务器（Elastic Compute Service，简称ECS）来实现的。
云服务器是阿里云提供的性能卓越、稳定可靠、d性扩展的IaaS（Infrastructure as a Service）级别云计算服务。
使用阿里云虚拟主机管理，将拥有以下优势的计算机资源。
1、无需自建机房，无需采购以及配置硬件设施。
2、分钟级交付，快速部署，缩短应用上线周期。
3、快速接入部署在全球范围内的数据中心和BGP机房。
4、成本透明，按需使用，支持根据业务波动随时扩展和释放资源。
5、提供GPU和FPGA等异构计算服务器、d性裸金属服务器以及通用的x86架构服务器。
6、支持通过内网访问其他阿里云服务，形成丰富的行业解决方案，降低公网流量成本。
7、提供虚拟防火墙、角色权限控制、内网隔离、防病毒攻击及流量监控等多重安全方案。
8、提供性能监控框架和主动运维体系。
9、提供行业通用标准API，提高易用性和适用性。这个问题过于庞大，无法简要回答，我就随便说几句吧
单纯对比单机服务器的话，反而云并不占优势,因为云服务器靠云架构发挥威力。笼统的说，云架构是靠大量低配机器来做到对外高可用性。绝大多数小型系统上云，仅仅带来的是维护的简易化。免除了高技术要求的服务器工程师的工作。
云服务器单机性能弱，因为他是虚拟机，已经在虚拟化过程中损失了一些性能。所以，高磁盘io系统不宜直接用云。或者说需要针对性使用ssd等磁盘来抵消虚拟化过程带来的磁盘性能下降。
传统服务器，系统直接运行在底层硬件，因此单机性能较好，但是其他方面：费电、占地方、占专用宽带、占专门供电、占备用电源、占静电地板、占用高技能要求的工程师维护、需配套路由器、防火墙、交换机、专用存储、正版付费软件维护等等一些列要求。企业使用传统服务器，需要配备较多的人力物力设施。
导读： 全文将围绕以下三方面内容介绍阿里云Elasticsearch技术。
01
阿里云Elasticsearch业务
1 业务规模
阿里云Elasticsearch业务（简称ES），从2017年至今已经服务了几千个客户，数据规模达20PB，在公共云上拥有10000+集群，10W+节点规模，是一个成熟的云原生服务。
2 Elasticsearch在日志场景通常会遇到的问题
在企业的数字化转型过程中会生成大量日志数据，企业通过Elasticsearch满足日志检索、存储、归档审计的需求，而这些需求归根结底都会落到成本的增加，体现在以下三个方面：
3 风险解读
在正常情况下，流量到ES协调节点，然后将数据写入Data Node；当流量变成正常情况的10倍时，对ES集群的压力就变得很大，一系列问题会接踵而来。
这种情况可以通过集群扩容的方式进行缓解，但扩容的同时又会产生新的问题：
① 稳定性风险
② 运维复杂度风险
③ 成本风险
--
02
阿里云Elasticsearch日志Serverless服务
1 日志Serverless服务能力解读
基于上述问题和风险，阿里云引入了 两个新功能 ：
① Indexing Service
Indexing Service是一个超大的ES集群阵列，专做Indexing Build，每个客户可灵活使用， 它具有以下特性：
图中灰色虚线内是用户的ES集群，当流量洪峰到来时，用户可以将流量转发至Indexing Service的SLB中进行build index，然后通过segment merge的方式，回到用户ES集群的Data Node。这样通过外部的云上d性服务，减轻了用户ES集群压力，实现秒级d性扩缩容的需求。
② 智能海量存储引擎
2 日志Serverless服务价值解读
① Serverless日志写入服务：Indexing Service
通过读写分离架构，ES集群的数据写入在云端服务进行托管加速，为用户实例和云端服务搭建桥梁，依托云端d性计算能力，突破本地集群的物理资源限制。
对比开源ELK生态：
② Serverless日志存储服务：智能海量存储引擎
基于计算存储分离架构及多层存储介质混合，提供可靠的海量d性低成本存储并保证查询性能，无须提前预留集群存储容量，根据实际数据的存储量按量计费。
3 Elasticsearch日志Serverless服务发布
全球范围内首个在云上提供Serverless能力的云原生Elasticsearch服务， 其核心价值体现在三个方面：
4 真实案例收益
①客户场景描述
汽车 行业的IT系统，大多是分批建设，技术架构及系统复杂有 历史 包袱，IDC、多云架构比较普遍。新兴的业务部门，一方面需要满足政策合规要求，一方面希望对整体日志数据进行价值挖掘，通常会遇到如下问题：
②方案构架及价值点
--
03
阿里云Elasticsearch技术演进之路
阿里云Elasticsearch技术演进图
Elasticsearch未来的发展会继续在云原生Serverless上进行演进和迭代，在日志场景下优化成本，通过服务化的能力提升日志场景中的ES产品的易用性，帮助客户解决日志场景下前置日志链路上的问题。
同时，与ES社区就Elasticsearch TSDB时序引擎进行共建，相信很快可以在未来的ES新版本中推出TSDB能力。
今天的分享就到这里，谢谢大家。
分享嘉宾：赵弘扬 阿里云 高级产品专家
出品平台：DataFunTalk
01/ 分享嘉宾
02/ 报名看直播 免费领PPT
04/ 关于我们
欢迎转载分享评论，转载请私信。
本篇总结了阿里小蜜从2017-2020年的演进过程，更偏向架构体系上的介绍，不对具体技术做详细介绍。具体技术部分会放在后面的文章中。来自2017年的分享 拆开阿里小蜜的内核，看智能人机交互的实现逻辑
阿里小蜜主要对接的机器人有客服、助理、聊天，根据不同场景的需求采用不同的机器人。后面有说到小蜜主要应用的3大领域场景：智能导购（助理）、智能服务（偏问答）、智能聊天（聊天）。阿里小蜜将对话系统分成两层：
具体思路如下：
通常我们将意图识别作为分类问题来解决；在阿里小蜜中，也存在对话领域语义意图不完整的情况，因此除了传统的文本特征之外，还加入了实时、离线等用户本身的行为以及用户本身相关的特征，通过深度学习方案构建模型，对用户意图进行预测。
另外，在基于深度学习的分类预测模型上，阿里小蜜有两种具体的选型方案：一种是多分类模型，一种是二分类模型。（但是没有详细介绍分别在什么场景下用多分类或者二分类？）对于多分类和二分类的优缺点衡量如下：
主流的智能匹配技术分为如下3种：
智能导购对应的是任务型机器人，技术架构如下：
智能导购的意图理解主要是用户想要购买的商品以及商品对应的属性，相对于传统的意图理解面临的挑战有：
基于以上问题，阿里小蜜通过品类管理和属性管理维护了一个意图堆。以下分别是品类管理和属性管理的架构图，方法都大同小异。
品类识别采用了基于知识图谱的识别方案和基于语义索引及dssm的判别模型：
阿里小蜜的语义索引是结合搜索点击数据和词向量构造的，主要包括下面几步：
我的理解是，语义索引是一种召回方式。
具体样本构造
属性管理的思路可以直接参考品类管理，具体架构图如下：
部分细节需要说明的是，品类关系在智能导购中主要考虑的关系是：上下位关系和相似关系。（补充：在知识图谱构建中实体与实体之间的关系，包括但不限于上下位、顺承、时序等。）
上下位关系计算的2种方案：
相似性计算的2种方案：
这里只总结下阿里小蜜如何定义action、state、reward：
智能服务对应的是问答型机器人，小蜜采用基于知识图谱构建与检索模型。
基本的挖掘框架流程如下：
基于知识图谱匹配的优缺点：
基于检索模型的对话匹配的流程：
检索模型整体流程如图：
智能聊天对应聊天型机器人，目前主要有两种技术：
内容主要来自于 2018 - 阿里小蜜这一年，经历了哪些技术变迁？
算法方面本质上变化不大，新增了一些功能模块。
通过对话管理系统的控制，面向不同的领域场景采用不同的领域技术：
与2017年相比，增加了Rec Bot和MC Bot。另外，随着阿里小蜜平台的扩展，部分领域存在难以获得或者标注数据量不足的问题，因此开始引入迁移学习。
应用背景：（从各分享文章推测，阿里小蜜平台应该是2018年推广到其他业务）
基于机器阅读理解模型的在线问答流程如下图所示：
具体说明：
2019-01 - 未来已来！阿里小蜜AI技术揭秘
整体架构体系上基本没什么变化，相比之前，2019的分享在任务型机器人中新增了slot，应该是在动作判断中采用意图+slot去做决策。
2019-09 - 干货 | 阿里云小蜜对话机器人背后的核心算法
从2019年下半年开始的分享内容有了很大的改动，主要体现在：
内容来自于 2021-01 达摩院Conversational AI研究进展及应用 。由于是2021年初的分享，所以放在了2020年。
2020年的分享与2019年下半年的分享内容比较相似了，持续在技术深度上探索。改动点在：
阿里云致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。
阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录。
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。
扩展资料：
阿里云主要产品：
1、d性计算：
云服务器ECS：可d性扩展、安全、稳定、易用的计算服务
块存储：可d性扩展、高性能、高可靠的块级随机存储
专有网络VPC：帮您轻松构建逻辑隔离的专有网络
负载均衡：对多台云服务器进行流量分发的负载均衡服务
d性伸缩：自动调整d性计算资源的管理服务
资源编排：批量创建、管理、配置云计算资源
容器服务：应用全生命周期管理的Docker服务
高性能计算HPC：加速深度学习、渲染和科学计算的GPU物理机
批量计算：简单易用的大规模并行批处理计算服务
E-MapReduce：基于Hadoop/Spark的大数据处理分析服务
2、数据库：
云数据库RDS：完全兼容MySQL，SQLServer，PostgreSQL
云数据库MongoDB版：三节点副本集保证高可用
云数据库Redis版：兼容开源Redis协议的Key-Value类型
云数据库Memcache版：在线缓存服务，为热点数据的访问提供高速响应
PB级云数据库PetaData：支持PB级海量数据存储的分布式关系型数据库
云数据库HybridDB：基于GreenplumDatabase的MPP数据仓库
云数据库OceanBase：金融级高可靠、高性能、分布式自研数据库
数据传输：比GoldenGate更易用，阿里异地多活基础架构
数据管理：比phpMyadmin更强大，比Navicat更易用
3、存储：
对象存储OSS：海量、安全和高可靠的云存储服务
文件存储：无限扩展、多共享、标准文件协议的文件存储服务
归档存储：海量数据的长期归档、备份服务
块存储：可d性扩展、高性能、高可靠的块级随机存储
表格存储：高并发、低延时、无限容量的Nosql数据存储服务
4、网络：
CDN：跨运营商、跨地域全网覆盖的网络加速服务
专有网络VPC：帮您轻松构建逻辑隔离的专有网络
高速通道：高速稳定的VPC互联和专线接入服务
NAT网关：支持NAT转发、共享带宽的VPC网关
2018年6月20日，阿里云宣布联合三大运营商全面对外提供IPv6服务。
5、大数据：
MaxCompute：原名ODPS，是一种快速、完全托管的TB/PB级数据仓库解决方案。
QuickBI：高效数据分析与展现平台，通过对数据源的连接，和数据集的创建，对数据进行即席的分析与查询。并通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。
大数据开发套件：提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能，拥有强大的OpenAPI为数据应用开发者提供良好的再创作生态
DataV数据可视化：专精于业务数据与地理信息融合的大数据可视化，通过图形界面轻松搭建专业的可视化应用，满足您日常业务监控、调度、会展演示等多场景使用需求
关系网络分析：基于关系网络的大数据可视化分析平台，针对数据情报侦察场景赋能，如打击虚假交易，审理保险骗赔，案件还原研判等
推荐引擎：推荐服务框架，用于实时预测用户对物品偏好，支持A/BTest效果对比
公众趋势分析：利用语义分析、情感算法和机器学习，分析公众对品牌形象、热点事件和公共政策的认知趋势
企业图谱：提供企业多维度信息查询，方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务
数据集成：稳定高效、d性伸缩的数据同步平台，为阿里云各个云产品提供离线(批量)数据进出通道
分析型数据库：在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索
流计算：流式大数据分析平台，提供给用户在云上进行流式数据实时化分析工具
6、人工智能：
机器学习：基于阿里云分布式计算引擎的一款机器学习算法平台，用户通过拖拉拽的方式可视化的 *** 作组件来进行试验，平台提供了丰富的组件，包括数据预处理、特征工程、算法组件、预测与评估
语音识别与合成：基于语音识别、语音合成、自然语言理解等技术，为企业在多种实际应用场景下，赋予产品“能听、会说、懂你”式的智能人机交互体验
人脸识别：提供图像和视频帧中人脸分析的在线服务，包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块
印刷文字识别：将中的文字识别出来，包括身份z文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景
7、云安全：
服务器安全（安骑士）：由轻量级Agent和云端组成，集检测、修复、防御为一体，提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能，保障服务器安全
DDoS高防IP：云盾DDoS高防IP是针对互联网服务器（包括非阿里云主机）在遭受大流量的DDoS攻击后导致服务不可用的情况下，推出的付费增值服务，用户可以通过配置高防IP，将攻击流量引流到高防IP，确保源站的稳定可靠
Web应用防火墙：网站必备的一款安全防护产品。通过分析网站的访问请求、过滤异常攻击，保护网站业务可用及资产数据安全
加密服务：满足云上数据加密，密钥管理、加解密运算需求的数据安全解决方案
CA证书服务：云上签发Symantec、CFCA、GeoTrustSSL数字证书，部署简单，轻松实现全站>
数据风控：凝聚阿里多年业务风控经验，专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险
绿网：智能识别文本、、视频等多媒体的内容违规风险，如涉黄，暴恐，涉政等，省去90%人力成本
安全管家：基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务，为云上用户建立和持续优化云安全防御体系，保障用户业务安全
云盾混合云：在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系
态势感知：安全大数据分析平台，通过机器学习和结合全网威胁情报，发现传统防御软件无法覆盖的网络威胁，溯源攻击手段、并且提供可行动的解决方案
先知：全球顶尖白帽子和安全公司帮你找漏洞，最私密的安全众测平台。全面体检，提早发现业务漏洞及风险，按效果付费
移动安全：为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务，并可对应用进行安全增强，提高反破解和反逆向能力。
8、互联网中间件：
企业级分布式应用服务EDAS：以应用为中心的中间件PaaS平台、
消息队列MQ：ApacheRocketMQ商业版企业级异步通信中间件
分布式关系型数据库服务DRDS：水平拆分/读写分离的在线分布式数据库服务
云服务总线CSB：企业级互联网能力开放平台
业务实施监控服务ARMS：端到端一体化实时监控解决方案产品
9、分析：
E-MapReduce：基于Hadoop/Spark的大数据处理分析服务
云数据库HybirdDB：基于GreenplumDatabase的MPP数据仓库
高性能计算HPC：加速深度学习、渲染和科学计算的GPU物理机
大数据计算服务MaxCompute：TB/PB级数据仓库解决方案
分析型数据库：海量数据实时高并发在线分析
开放搜索：结构化数据搜索托管服务
QuickBI：通过对数据源的连接，对数据进行即席分析和可视化呈现。
参考资料：
百度百科-阿里云
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）