SQLSERVER怎么搭建服务器集群实现负载均衡(服务器负载均衡如何实现)

SQLSERVER怎么搭建服务器集群实现负载均衡(服务器负载均衡如何实现),第1张

市面上存在两种数据库负载均衡的思路:1

基于数据库连接的负载均衡:例如总共有100个数据库连接,50个连接登录到数据库机器A,另外50个连接登录到数据库机器B,这样每个连接中接下来的所有请求全都是发往同一台数据库机器的

这种数据库负载均衡的思路模拟了WEB上的负载均衡方法,但是由于WEB连接是短时间连接(连接建立后,获取需要的HTML等资源后,连接马上被关闭),而数据库连接是长时间连接(连接建立后,可长时间保持,客户可不停向数据库发送SQL请求,数据库做出回答,如此不断循环直到连接被人为或因错而断开为止),因此这种数据库负载均衡思路存在着明显的缺点:有可能会发生绝大部分的请求压力都集中到某台数据库机器上去,从而使得负载均衡效果失效

2

基于批处理请求的负载均衡:在建立数据库连接的时候,会同时与每台数据库服务器建立连接,之后针对客户端的每次请求,都会根据负载均衡算法,独立地选出某个数据库节点来执行这个请求

此种思路符合数据库长时间连接的特征,不存在上面所述的基于连接的负载均衡方法的缺点

市面上的负载均衡厂商,既有基于连接的,也有基于批处理请求的,用户需仔细辨别才能找到自己想要的合适产品

1、负载均衡是一种技术,指通过某种算法实现负载分担的方法。、

通俗的讲就是统一分配请求的设备,负载均衡会统一接收全部请求,然后按照设定好的算法将这些请求分配给这个负载均衡组中的所有成员,以此来实现请求(负载)的均衡分配。

2、F5是负载均衡产品的一个品牌,其地位类似于诺基亚在手机品牌中的位置。除了F5以外,Radware、Array、A10、Cisco、深信服和华夏创新都是负载均衡的牌子,因为F5在这类产品中影响最大,所以经常说F5负载均衡。

扩展资料

负载均衡的主要应用:

1、DNS负载均衡最早的负载均衡技术是通过DNS来实现的,在DNS中为多个地址配置同一个名字,因而查询这个名字的客户机将得到其中一个地址,从而使得不同的客户访问不同的服务器,达到负载均衡的目的。

DNS负载均衡是一种简单而有效的方法,但是它不能区分服务器的差异,也不能反映服务器的当前运行状态。

2、代理服务器负载均衡 使用代理服务器,可以将请求转发给内部的服务器,使用这种加速模式显然可以提升静态网页的访问速度。

3、地址转换网关负载均衡 支持负载均衡的地址转换网关,可以将一个外部IP地址映射为多个内部IP地址,对每次TCP连接请求动态使用其中一个内部地址,达到负载均衡的目的。

4、协议内部支持负载均衡除了这三种负载均衡方式之外,有的协议内部支持与负载均衡相关的功能,例如>

5、NAT负载均衡NAT(Network Address Translation网络地址转换)简单地说就是将一个IP地址转换为另一个IP地址,一般用于未经注册的内部地址与合法的、已获注册的Internet IP地址间进行转换。

Windows2003DatacenterEditionSP1MSDNVOL 数据中心
针对要求最高级别的可扩展性、实用性和可靠性的企业而设计的 Windows Server 2003 数据中心版使您可以为数据库、企业资源规划软件、大容量实时事务处理以及服务器合并提供使命关键的解决方案。
数据中心版可在最新硬件上使用,它同时有 32 位版本和 64 位版本,从而保证了最佳的灵活性和可扩展性。各组织机构可从优化了的高效结构中获益,这种优化是为了运行要求极为严格的应用程序和服务而进行的。
独到之处
与 Windows Server 2003 企业版的主要区别:支持更强大的多处理方式和更大的内存。另外,Windows Server 2003数据中心版只通过 Windows数据中心项目提供,该项目提供了来自 Microsoft 和合格的服务器供应商(如原始制造商 (OEM))的硬件、软件和服务集成。
在较高级别上,Windows Server 2003数据中心版提供以下支持:
■ 64位版本支持 64 路对称多处理器 (SMP) ;32位版本支持 32路对称多处理器 (SMP)
■ 支持 8 节点集群
■32 位版本支持 64 GB RAM,64 位版本支持 512 GB RAM
可靠性
依靠Microsoft迄今为止提供的最稳定的服务器开展业务
如今各组织都期望技术能为其带来稳固的商业价值。他们希望系统始终能够正常运行并始终可以响应,同时他们需要一定水平的安全性以迎接当今的挑战。Windows Server 2003 数据中心版包括的新功能及改进措施使得该产品成为 Microsoft 有史以来最可靠的为企业设计的服务器 *** 作系统,是 Microsoft 对可信赖计算承诺的最佳体现。
这些改善后的措施包括对 Windows 2000 Server 引入的一些技术(如网络负载平衡、服务器群集和活动目录服务)的改进。另外,Microsoft 还准备将新技术引入 Windows Server 2003 数据中心版版中,例如保护网络不受恶意或不合理设计的代码破坏的新的公共语言运行库。
Microsoft 在安全领域也取得了飞跃发展,其中包括 Internet Information Services 60 (IIS 60)、公共密钥架构 (PKI) 和 Kerberos 的新增和改进的安全性,以及对智能卡及体温测定技术的支持。
由于有了分支办公室域控制器中更为有效的同步、复制和凭证缓存技术,活动目录的性能和灵活性如今在不可靠的广域网 (WAN) 连接上也更快、更可靠了。
Windows 数据中心项目
Microsoft 开发了Windows Datacenter 项目,为客户提供一系列经过彻底测试并证明高度可靠的合格服务器。Windows Datacenter 项目提供确保应用程序最长运行时间所需的支持。对 OEM 的认证仅由 Microsoft 进行,这些 OEM 生产的硬件必须成功通过严格的兼容性测试,OEM 才有权获得许可证和支持 Windows Server 2003 数据中心版。
Windows Server 2003数据中心版的独特之处,在于其 *** 作系统只有已经装载在OEM系统上之后才是可 *** 作的。该软件不能单独获得。
Windows Datacenter 项目提供:
■单独的支持,由来自 OEM 和 Microsoft 的人员组成的联合支持小组提供。
■ 软、硬件方面严格的系统测试和资格审查以确保两者达到最佳的协同工作状态。
■协调维护以及针对软硬件更新的更改控制。
■严格的可靠性保证,通过针对此程序而设计的新的 Microsoft 认证支持中心 (MCSC) 标准获得。
与某些供应商提供的专用系统不同,Windows Server 2003 数据中心版可以从许多出售高端、基于 Intel 的系统(可以运行贵公司现有应用程序)的供应商处获得。客户可在这些供应商的许多平台和服务中进行选择,并根据自己的特定要求选择最好的供应商。
Windows Datacenter 项目包括一个资格审查过程以及 Datacenter 硬件兼容列表,该列表扩展和增强了 Microsoft 现在的硬件兼容性要求。这就确保了所有服务器组件在高要求环境中一起测试,从而保证整个系统正常运行,而不会发生配置组件间的软、硬件冲突。
Windows硬件质量实验室的角色
Windows 硬件质量实验室 (WHQL) 存在的目的在于确保 OEM 生产出合格的硬件和软件,而这些软、硬件必须能与 Microsoft 的产品和技术进行有效且最优化的相互作用。OEM 产品必须通过相应的硬件兼容性测试。如果成功通过测试,它们将被列入硬件兼容性列表,获得“Designed for Windows”徽标。
客户看到硬件和软件产品上的 Windows 徽标时,就会明白该产品满足与 Windows *** 作系统兼容的 Microsoft 兼容性标准。旨在与 Windows Server 2003 数据中心版一起使用的硬件必须按照硬件设计指南的规范进行设计。
客户收到通过了 Windows Datacenter 项目验证的服务器时会知道,他们收到的整个配置均已经过了严格的硬件组件和核心级软件产品测试。Windows Server 2003 数据中心版只能由愿意进行此项额外测试和配置控制的 OEM 来销售。
OEM 必须承担的测试确保下列组件将在运行 Windows Server 2003 数据中心版的服务器上顺利地运行:
■ 所有硬件组件。
■所有硬件驱动程序。
■所有工作在核心级的软件,包括防病毒软件、磁盘和磁带管理、备份软件以及相似类型的软件。
联合支持队伍
Windows Server 2003 数据中心版的联合支持队伍由来自 OEM 和 Microsoft 的支持人员共同组成,以确保硬件供应商和 Microsoft 之间的紧密协作。这样就形成了单独的来支持关键型业务的解决方案。Datacenter 联合支持队伍可访问所有的 OEM Datacenter 硬件兼容列表硬件配置和 Windows Server 2003数据中心版源代码,从而可以迅速重现、隔离并解决问题。
提高效率
提高 IT 效率,改善整个企业中的员工交流和协作能力
组织指望计算机技术能改进整个企业的生产力,一线的技术工人想获得强大且更易于使用的工具,而后方的管理人员也希望有部署更快、管理更简便灵活的服务。
Windows Server 2003 数据中心版和 Windows Server 2003 家族的其他成员有许多相同的功能,可以提高组织和员工的效率。Windows Server 2003 具有增强的系统管理和存储功能,从而可以提高 IT 管理员和用户的效率。Microsoft 已在改进易管理性方面取得了长足进步。Windows Server 2003 家族中新的基于任务的设计使查找和执行公用任务变得更加简单。对 Microsoft 管理控制台 (MMC) 和 活动目录的改进提高了性能,简化了管理。
Windows Server 2003 家族包括多种重要的新的自动管理工具,包括有助于自动部署的 Microsoft 软件更新服务 (SUS) 和服务器配置向导。新的组策略管理控制台 (GPMC) 简化了组策略的管理,从而让更多组织可以更好地使用活动目录服务并利用其强大的成本节约功能。此外,命令行工具使管理员可以从命令控制台执行大多数任务。
Windows Server 2003 家族中其他新的管理和系统管理功能包括:域重命名、跨域和跨森林管理以及策略结果集 (RSoP)。增强的 Windows 管理规范 (WMI) 提供程序和命令行工具使管理员可以对服务器任务进行更为细致的控制。
Windows Server 2003 在显著降低系统管理员压力的同时,简化了存储和备份。实现这个目的的文件服务新功能和改进功能有很多,包括卷影子复本服务,它可在指定时间点备份联网共享。
另外,文件和打印服务也由于添加了基于 Web 的分布式创作和版本 (WebDAV) 远程文档共享技术而有所改进。对分布式文件系统 (DFS) 和加密文件系统 (EFS) 的增强使得文件共享和存储变得强大而灵活。Windows Server 2003 数据中心版中添加了对 64 位打印和打印群集的支持。
Windows Server 2003 数据中心版还支持在已验证的硬件平台上进行 64 位计算,从而使处理器密集型和内存密集型应用程序得以更快完成。这包括对 Intel Itanium 和 Itanium2 处理器的支持。
面向网络
与客户安全联网
当今的网络正将 Intranet、Extranet 和 Web 连接在一起。越来越多的公司每天都使用 Internet 与其客户和合作伙伴进行通讯。Windows Server 2003 数据中心版和 Windows Server 2003 家族中的其他成员有许多相同的功能,这些功能可以帮助组织和员工保持与外界的连接。
Windows Server 2003 家族的联网改进和新增功能扩展了网络结构的多功能性、可管理性和可靠性。Windows Server 2003 家族使得用户要保持与网络资源的连接比以往任何时候都简单(而无论他们身在何处或使用何种设备)。Microsoft 在 Windows Server 2003 中改进了重要的联网功能,其中包括 IPv6、点对点以太网协议 (PPoE) 和网络地址转换 (NAT) 的 Internet 协议安全 (IPSec)。
Windows Server 2003 中的 Microsoft Windows 媒体服务提供了可靠、可伸缩和经济划算的方式来快速传送和管理动态内容。Windows 媒体服务使 Windows Server 2003 成为在公司 Intranet 和 Internet 上分发音频和视频流媒体的理想平台。
但也许最重要的是 Windows Server 2003 中对 Microsoft NET 框架和 XML Web 服务的经优化的本机支持,Windows Server 2003 标志着人们在实现开发、分发和承载 XML Web 服务的理想平台方面,迈出了革命性的一步。
最经济
利用最大的合作伙伴解决方案系统的优势,使业务价值最大化
由于 PC 技术提供了最经济的芯片平台,仅依靠 PC 就可完成任务已成为采用 Windows Server 2003 的重要经济动机。而对 Windows Server 2003 在成本控制方面适合扩大或缩小规模来说,这只是开始。使用 Windows Server 2003 中自带的许多重要服务和组件,各机构可以迅速利用这个易于部署、管理和使用的集成平台。
当采用 Windows Server 2003 时,您就成为了使 Windows 平台如此高效的全球网络的一部分。
这种提供全球服务和支持的网络有如下优点:
■ 最多数量的ISV支持:Microsoft 软件拥有遍及世界各地的大量的独立软件供应商 (ISV),他们支持 Microsoft 应用程序并在 Windows 上生成已认证的自定义应用程序。
■全球服务:Microsoft 受世界上 450,000 多名 Microsoft 认证系统工程师 (MCSE) 以及供应商和合作伙伴的支持。
■培训选项:Microsoft 提供各种 IT 培训,使得 IT 人员只需交付适当的费用就可以继续扩展他们的技能。
■经过认证的解决方案:第三方 ISV 为 Windows 提供了数千个经过认证的硬件驱动程序和软件应用程序,使它便于添加新设备和应用程序。另外,Microsoft Solutions Offerings (MSO) 可帮助各组织创建能解决业务难题并经得起考验的解决方案。
这种产品和服务系统能够降低企业拥有总成本,从而帮助组织获得更高的生产效率。
XML Web 服务和 NET框架
Microsoft NET 框架已与 Windows Server 2003 家族紧密集成。它使用 XML Web 服务使软件集成程度达到了前所未有的水平:离散、组块化的应用程序通过 Internet 互相连接并与其他大型应用程序相连接。
通过整合到构成 Microsoft 平台的产品中,NET 框架提供了通过 XML Web 服务迅速可靠地构建、托管、部署和使用安全的联网解决方案的能力。Microsoft 平台提供了一套联网所需的开发人员工具、客户端应用程序、XML Web 服务和服务器。
这些 XML Web 服务提供了基于工业标准构建的可再次使用的组件,这些组件调用其他应用程序的功能,调用的方法独立于创建应用程序, *** 作系统、平台或设备用于访问它们的方法。
利用 XML Web 服务,开发人员可以在企业内部集成应用程序,并实现跨网络连接合作伙伴和客户。这种先进的软件技术使联合合作成为可能,并且所带来的更有效的商业到商业和商业到用户服务可以对企业收入产生潜在的重要影响。数百万其它用户可以以各种组合使用这些组件,获得高度个性化、智能化的计算体验。
Windows Server 2003 系列的其他 NET 优点有助于开发人员:
■ 利用现有的投资。基于 Windows 的现有应用程序可以在 Windows Server 2003 上继续运行,也可以方便地重新打包为 XML Web 服务。
■ 减少代码的编写工作量,使用已经掌握了的编程语言和工具。实现这一点要归功于 Windows Server 2003 内置的应用程序服务,如 ASPNET、事务监控、消息队列和数据访问。
■进程监控、循环、内置指令用于为应用程序可提供可靠性、实用性和可伸缩性。
所有这些益处都在改进的内核 Windows 服务器结构中实现并构成了 NET 的基础。
Windows Server 2003 数据中心版功能
除了 Windows Server 2003 标准版和 Windows Server 2003 企业版中所包含的大多数功能以外,Windows Server 2003 数据中心版还提供以下附加的功能和能力:
■扩展了物理内存空间:在 32 位 Intel 平台上,Windows Server 2003 数据中心版支持物理地址扩展 (PAE),可将系统内存容量扩展到 64 GB 物理 RAM。在 64 位 Intel 平台上,内存支持增加到体系结构允许的最大值,即 16 TB。
■ Intel 超级线程支持:Intel 超级线程技术允许单个物理处理器同时执行多个线程(指令流),从而可能提供更大的吞吐量和改进的性能。
■不统一内存访问 (NUMA) 支持:系统固件可以创建一个名为“静态资源相似性表”的表,该表描述了系统的 NUMA 拓扑。利用这个表,Windows Server 2003 数据中心版将 NUMA 识别应用于应用程序进程、默认相似性设置、线程调度和内存管理,从而提高 *** 作系统的效率。
■集群服务:对于关系到整个业务运转的数据库管理、文件共享、Intranet 数据共享、消息传递和常规业务应用程序,可以利用服务器集群提供的高可用性和容错能力。对于 Windows Server 2003 数据中心版和 Windows Server 2003 企业版,集群服务大小已经从 4 节点集群增加到 8 节点集群。这就为在位置分散的集群环境中添加和删除硬件提供了更好的灵活性,并且为应用程序提供了改进的伸缩选项。Windows Server 2003 数据中心版还允许服务器集群以各种不同的配置进行部署,特别是以下几种配置:
■具有专用存储的单集群配置。
■ 一个存储区域网络上的多个集群(可能与其他 Windows 服务器或 *** 作系统一起)。
■跨多个站点的集群(位置分散的集群)。
■64 位支持:Windows Server 2003 数据中心版将有两大类:32 位版本和 64 位版本。64 位版本将针对内存密集型和计算密集型任务(如机械设计、计算机辅助设计 (CAD)、专业图形、高端数据库系统和科学应用程序)进行优化。64 位版本支持 Intel Itanium 和 Itanium2 两种处理器。
■ 多处理器支持:Windows Server 2003 可以从单处理器解决方案一直到 32 枚处理器的解决方案自由伸缩。
■ Windows Sockets: 直接访问 SAN:利用该功能,使用传输控制协议/Internet 协议 (TCP/IP) 的 Windows Sockets应用程序无需进行修改,即可获得存储区域网络 (SAN) 的性能优势。该技术的基本组件是一个 Windows Sockets分层服务提供程序,它通过本机 SAN 服务提供程序模仿 TCP/IP 语法。
■终端服务会话目录:终端服务会话目录是一种负载平衡功能,它使用户可以方便地重新连接到运行终端服务的服务器场上已断开的会话。会话目录与 Windows Server 2003 负载平衡服务兼容,并受第三方外部负载平衡器产品支持。
总结
与 Windows 2000数据中心服务器相比,Windows Server 2003 数据中心版在可靠性、可伸缩性和易管理性方面有了显著改进,并且能够支持企业数据中心至关重要的工作负荷。其结果是:构成了一种可运行高要求应用程序和服务的高效优化结构。
Windows Server 2003 Datacenter 版与 Windows Server 2003 系列其他版本的主要区别是,它有一个由 OEM、独立硬件分销商和独立软件分销商 (ISV) 组成的强大联盟。这些公司积极地与 Windows Server 2003 Datacenter 版的客户建立关系,并承诺对系统提供终身服务,从而使 Windows Server 2003 Datacenter 版从现在所有其他的平台解决方案中脱颖而出。

最近因为写论文的关系,泡知网、泡万方,发现了很多学术界对数据中心网络一些构想,发现里面不乏天才的想法,但日常我们沉迷在各个设备厂商调制好的羹汤中无法自拔,管中窥豹不见全局,还一直呼喊着“真香”,对于网工来说沉溺于自己的一方小小天地不如跳出来看看外界有哪些新的技术和思想,莫听穿林打叶声,何妨吟啸且徐行

当前新的数据中心网络拓扑主要分为两类

1、以交换机为核心,网络连接和路由功能由交换机完成,各个设备厂商的“羹汤”全属于这个领域

2、以服务器为核心,主要互联和路由功能放在服务器上,交换机只提供简单纵横制交换功能

第一类方案中包含了能引发我回忆阴影的Fat-Tree,和VL2、Helios、c-Through、OSA等等,这些方案要么采用更多数量交换机,要么融合光交换机进行网络互联,对交换机软件和硬件要求比较高,第二类主要有DCell、Bcube、FiConn、CamCube、MDCube等等,主要推动者是微软,这类方案中服务器一版会通过多网卡接入网络,为了支持各种流量模型,会对服务器进行硬件和软件的升级。

除了这些网络拓扑的变化外,其实对数据中心网络传输协议TCP/IP、网络虚拟化、网络节能机制、DCI网络互联都有很多创新的技术和概念涌现出来。
FatTree  胖树,2008年由UCSD大学发表的论文,同时也是5年前工作中接触的第一种交换机为中心的网络拓扑,当时没有太理解,跟客户为这事掐的火星四溅,再来一次可能结论会有所改变,同时也是这篇论文引发了学术界对数据中心内部网络拓扑设计的广泛而深刻的讨论,他提出了一套组网设计原则来达成几个目的

1、全网采用低端商用交换机来组网、其实就是采用1U的接入交换机,取消框式设备

2、全网无阻塞

3、成本节省,纸面测算的话FatTree 可以降为常规模式组网成本的1/4或1/5

物理拓扑(按照4个pod设计)

FatTree 的设计原则如下

整个网络包含K个POD,每个POD有K/2个Edge和K/2个Agg 交换机,他们各有K的接口,Edge使用K/2个端口下联服务器,Agg适用K/2个端口上联CORE交换机

Edge使用K/2个端口连接服务器,每个服务器占用一个交换端口

CORE层由K/2K/2共计KK/4个K个端口交换机组成,分为K/2组,每组由K/2ge,第一组K/2台CORE交换机连接各个POD中Agg交换层一号交换机,第二组K/2的CORE交换机连接各POD中Agg的二号交换机,依次类推

K个POD,每个POD有K/2个Edge交换机,每个Edge有K/2端口,服务器总数为KK/2K/2=KKK/4

K取值4的话,服务器总数为16台

常规K取值48的话,服务器为27648台

FatTree的路由设计更加有意思,论文中叫两阶段路由算法,首先要说明的是如果使用论文中的算法是需要对交换机硬软件进行修改的,这种两阶段路由算法和交换设备及服务器的IP地址强相关,首先就是IP地址的编制,这里依然按照K=4来设计,规则如下

1、POD中交换机IP为10podswitch1,pod对应POD编号,switch为交换机所在POD编号(Edge从0开始由左至右到k/2-1,Agg从k/2至k-1)

2、CORE交换机IP为10kji ,k为POD数量,j为交换机在Core层所属组编号,i为交换机在该组中序号

3、服务器IP为10podswitchID,ID为服务器所在Edge交换机序号,交换机已经占用1,所以从2开始由左至右到k/2+1

设计完成后交换机和服务器的IP地址会如下分配
对于Edge交换机(以10201为例)第一阶段匹配10202和10203的32位地址,匹配则转发,没有匹配(既匹配0000/0)则根据目的地址后8位,也就是ID号,选择对应到Agg的链路,如目标地址为xxx2则选择到10221的链路,目标地址为xxx3则选择到10231的链路

对于Agg交换机(以10221为例)第一阶段匹配本POD中网段10200/24和10210/24,匹配成功直接转发对应Edge,没有匹配(既匹配0000/0)则根据目的地址后8位,也就是ID号确定对应到Core的链路,如目标地址为xxx2则选择到10411的链路,目标地址为xxx3则选择到10412的链路

对于Core交换机,只有一个阶段匹配,只要根据可能的POD网段进行即可,这里是10000/16~10300/16对应0、1、2、3四个口进行转发

容错方面论文提到了BFD来防止链路和节点故障,同时还有流量分类和调度的策略,这里就不展开了,因为这种两阶段路由算法要对交换机硬件进行修改,适应对IP后8位ID进行匹配,现实中没有看到实际案例,但是我们可以设想一下这种简单的转发规则再加上固定端口的低端交换机,对于转发效率以及成本的压缩将是极为可观的。尤其这种IP地址规则的设计配合路由转发,思路简直清奇。但是仔细想想,这种按照特定规则的IP编制,把每个二层限制在同一个Edge交换机下,注定了虚拟机是没有办法跨Edge来迁移的,只从这点上来看注定它只能存在于论文之中,但是顺着这个思路开个脑洞,还有什么能够编制呢?就是MAC地址,如果再配上集中式控制那就更好了,于是就有了一种新的一种路由方式PortLand,后续我们单独说。

如此看来FatTree 是典型的Scale-out模式,但是由于一般交换机端口通常为48口,如果继续增加端口数量,会导致成本的非线性增加,底层Edge交换机故障时,难以保障服务质量,还有这种拓扑在大数据的mapreduce模型中无法支持one-to-all和all-to-all模式。

把脑洞开的稍微小一些,我们能否用通用商业交换机+通用路由来做出来一种FatTree变种拓扑,来达到成本节省的目的呢,答案一定是确切的,目前能看到阿里已经使用固定48口交换机搭建自己的变种FatTree拓扑了。

以交换机为中心的网络拓扑如VL2、Helios不再多说,目前看到最好的就是我们熟知的spine-leaf结构,它没有设计成1:1收敛比,而且如果使用super层的clos架构,也可以支撑几万台或者百万台的服务器规模,但是FaTtree依靠网络拓扑取消掉了框式核心交换机,在一定规模的数据中心对于压低成本是非常有效的

聊完交换机为核心的拓扑设计后,再来看看服务器为核心的拓扑,同样这些DCell、Bcube、FiConn、CamCube、MDCube等,不会全讲,会拿DCell来举例子,因为它也是2008年由微软亚洲研究院主导,几乎和FatTree同时提出,开创了一个全新的思路,随后的年份里直到今天一直有各种改进版本的拓扑出现

这种服务器为核心的拓扑,主导思想是在服务器上增加网卡,服务器上要有路由转发逻辑来中转流量数据包,并且采用递推方式进行组网。

DCell的基本单元是DCell0,DCell0中服务器互联由一台T个端口的mini交换机完成,跨DCell的流量要通过服务器网卡互联进行绕转。通过一定数量的Dcell0组成一个DCell1,按照一定约束条件进行递推,组成DCell2以及DCellk
上图例中是一个DCell1的拓扑,包含5个Dcell0,每台服务器2个端口,除连接自己区域的mini交换机外,另一个端口会依次连接其他DCell0中的服务器,来组成全互联的结构,最终有20台服务器组成DCell1,所有服务器按照(m,n)坐标进行唯一标识,m相同的时候直接通过moni交换机交互,当m不同时经由mini交换机中继到互联服务器,例子中红色线为40服务器访问13服务器的访问路径。

DCell组网规则及递归约束条件如下:

DCellk中包含DCellk-1的数量为GK

DCellk中包含服务器为Tk个,每台服务器k+1块网卡,则有

GK=Tk-1+1

TK=Gk-1 ✕ Tk-1

设DCell0中有4台服务器

DCell1 中有5个DCell0 (G1=5)

Tk1=20台服务器(T1=20)

DCell2 中有21个DCell1 (G2=21)

Tk2=420台服务器(T2=420)

DCell3 中有421个DCell2 (G3=421)

Tk3=176820台服务器(T3=176820)



Tk6=3260000台服务器
经过测算DCell3中每台服务器的网卡数量为4,就能组建出包含17万台服务器的数据中心,同样DCell的缺点和优点一样耀眼,这种递归后指数增长的网卡需求量,在每台服务器上可能并不多,但是全量计算的话就太过于惊人了,虽然对比FatTree又再一次降低交换机的采购成本,但是天量的网卡可以想象对于运维的压力,还有关键的问题时高层次DCell间通信占用低层次DCell网卡带宽必然导致低层次DCell经常拥塞。最后还有一个实施的问题,天量的不同位置网卡布线对于施工的准确度以及未知的长度都是一个巨大的挑战。

DCell提出后,随后针对网卡数量、带宽抢占等一系列问题演化出来一批新的网络拓扑,思路无外乎两个方向,一个是增加交换机数量减少单服务网卡数量,趋同于spine-leaf体系,但是它一直保持了服务器多网卡的思路。另一种是极端一些,干脆消灭所有交换机,但是固定单服务器网卡数量,按照矩阵形式组建纯服务器互联结构,感兴趣的同学可以继续探索。

数据中心的路由框架涵盖范围和领域非常多,很多论文都选择其中的一个点进行讨论,比如源地址路由、流量调度、收敛、组播等等,不计划每个展开,也没有太大意义。但是针对之前FatTree的两阶段路由有一个更新的路由框架设计PortLand,它解决了两段路由中虚拟机无法迁移的问题,它的关键技术有以下几点

1、对于FatTree这种高度规范化的拓扑,PortLand设计为采用层次化MAC编址来支持大二层,这种路由框架中,除了虚拟机/物理机实际的MAC外(AMAC),还都拥有一个PortLand规范的伪MAC(PMAC),网络中的转发机制和PMAC强相关,PMAC的编址规则为

podpositionportvmid

pod (2字节) 代表虚拟机/服务器所在POD号,position(1字节)虚拟机/服务器所在Edge交换机在POD中编号,port(1字节)虚拟机/服务器连接Edge交换机端口的本地编号,vmid(2字节)服务器在Edge下挂以太网交换机编号,如果只有一台物理机vmid只能为1

2、虚拟机/服务器的编址搞定后,Edge、Aggregate、Core的编址呢,于是PortLand设计了一套拓扑发现机制LDP(location discovery protocol),要求交换机在各个端口上发送LDP报文LDM(location

discovery message)识别自己所处位置,LDM消息包含switch_id(交换机自身mac,与PMAC无关)pod(交换机所属pod号)pos(交换机在pod中的编号)level(Edge为0、Agg为1、Core为2)dir(上联为1,下联为-1),最开始的时候Edge角色会发现连接服务器的端口是没有LDM的,它就知道自己是Edge,Agg和Core角色依次收到LDM后会计算并确定出自己的leve和dir等信息。

3、设计一个fabric manager的集中PortLand控制器,它负责回答Edge交换机pod号和ARP解析,当Edge交换机学习到一个AMAC时,会计算一个PMAC,并把IP/AMAC/PMAC对应关系发送给fabric manager,后续有虚拟机/服务器请求此IP的ARP时,会回复PMAC地址给它,并使用这个PMAC进行通信。

4、由于PMAC的编址和pod、pos、level等信息关联,而所有交换机在LDM的交互过程中知晓了全网的交换机pod、pos、level、dir等信息,当数据包在网络中传播的时候,途径交换机根据PMAC进行解析可得到pod、pos这些信息,根据这些信息即可进行数据包的转发,数据包到达Edge后,Edge交换机会把PMAC改写为AMAC,因为它是知道其对应关系的。当虚拟机迁移后,由fabric manager来进行AMAC和PMAC对应更新和通知Edge交换机即可,论文中依靠虚拟机的免费ARP来触发,这点在实际情况中执行的效率要打一个问号。

不可否认,PortLand的一些设计思路非常巧妙,这种MAC地址重写非常有特色。规则设计中把更多的含义赋给PMAC,并且通过LDP机制设计为全网根据PMAC即可进行转发,再加上集中的控制平面fabric manager,已经及其类似我们熟悉的SDN。但是它对于转发芯片的要求可以看出要求比较低,但是所有的转发规则会改变,这需要业内对于芯片和软件的全部修改,是否能够成功也看市场驱动力吧,毕竟市场不全是技术驱动的。

除了我们熟悉的拓扑和路由框架方面,数据中心还有很多比较有意思的趋势在发生,挑几个有意思的

目前数据中心都是以太网有线网络,大量的高突发和高负载各个路由设架构都会涉及,但是如果使用无线是不是也能解决呢,于是极高频技术在数据中心也有了一定的研究(这里特指60GHZ无线),其吞吐可达4Gbps,通过特殊物理环境、波束成形、有向天线等技术使60GHZ部署在数据中心中,目前研究法相集中在无线调度和覆盖中,技术方案为Flyways,它通过合理的机柜摆放及无线节点空间排布来形成有效的整体系统,使用定向天线和波束成形技术提高连接速率等等新的技术,甚至还有一些论文提出了全无线数据中心,这样对数据中心的建设费用降低是非常有助力的。

数据中心目前应用的还是TCP,而TCP在特定场景下一定会遇到性能急剧下降的TCP incast现象,TCP的拥塞避免和慢启动会造成当一条链路拥塞时其承载的多个TCP流可能会同时触发TCP慢启动,但随着所有的TCP流流量增加后又会迅速达到拥塞而再次触发,造成网络中有时间流量很大,有时间流量又很小。如何来解决

数据中心还有很多应用有典型的组通信模式,比如分布式存储、软件升级等等,这种情况下组播是不是可以应用进来,但是组播在数据中心会不会水土不服,如何解决

还有就是数据中心的多路径,可否从TCP层面进行解决,让一条TCP流负载在不同的链路上,而不是在设备上依靠哈希五元组来对每一条流进行特定链路分配

对于TCPincast,一般通过减少RTO值使之匹配RTT,用随机的超时时间来重启动TCP传输。还有一种时设计新的控制算法来避免,甚至有方案抛弃TCP使用UDP来进行数据传输。

对于组播,数据中心的组播主要有将应用映射为网络层组播和单播的MCMD和Bloom Filter这种解决组播可扩展性的方案

对于多路径,提出多径TCP(MPTCP),在源端将数据拆分成诺干部分,并在同一对源和目的之间建立多个TCP连接进行传输,MPTCP对比传统TCP区别主要有

1、MPTCP建立阶段,要求服务器端向客户端返回服务器所有的地址信息

2、不同自流的源/目的可以相同,也可以不同,各个子流维护各自的序列号和滑动窗口,多个子流到达目的后,由接收端进行组装

3、MPTCP采用AIMD机制维护拥塞窗口,但各个子流的拥塞窗口增加与所有子流拥塞窗口的总和相关

还有部分针对TCP的优化,如D3协议,D3是针对数据中心的实时应用,通过分析数据流的大小和完成时间来分配传输速率,并且在网络资源紧张的时候可以主动断开某些预计无法完成传输的数据流,从而保证更多的数据流能按时完成。

这的数据中心节能不会谈风火水电以及液冷等等技术,从网络拓扑的角度谈起,我们所有数据中心拓扑搭建的过程中,主要针对传统树形拓扑提出了很多“富连接”的拓扑,来保证峰值的时候网络流量的保持性,但是同时也带来了不在峰值条件下能耗的增加,同时我们也知道数据中心流量多数情况下远低于其峰值设计,学术界针对这块设计了不少有脑洞的技术,主要分为两类,一类时降低硬件设备能耗,第二类时设计新型路由机制来降低能耗。

硬件能耗的降低主要从设备休眠和速率调整两个方面来实现,其难点主要时定时机制及唤醒速度的问题,当遇到突发流量交换机能否快速唤醒,人们通过缓存和定时器组合的方式进行。

节能路由机制,也是一个非常有特点的技术,核心思想是通过合理的选择路由,只使用一部分网络设备来承载流量,没有承载流量的设备进行休眠或者关闭。Elastic Tree提出了一种全网范围的能耗优化机制,它通过不断的检测数据中心流量状况,在保障可用性的前提下实时调整链路和网络设备状态,Elastic Tree探讨了bin-packer的贪心算法、最优化算法和拓扑感知的启发算法来实现节能的效果。

通过以上可以看到数据中心发展非常多样化,驱动这些技术发展的根本性力量就是成本,人们希望用最低的成本达成最优的数据中心效能,同时内部拓扑方案的研究已经慢慢成熟,目前设备厂商的羹汤可以说就是市场化选择的产物,但是数据中心网络传输协议、虚拟化、节能机制、SDN、服务链等方向的研究方兴未艾,尤其是应用定制的传输协议、虚拟网络带宽保障机制等等,这些学术方面的研究并不仅仅是纸上谈兵,对于我知道的一些信息来说,国内的阿里在它的数据中心网络拓扑中早已经应用了FatTree的变种拓扑,思科也把数据中心内部TCP重传的技术应用在自己的芯片中,称其为CONGA。

坦白来说,网络从来都不是数据中心和云计算的核心,可能未来也不会是,计算资源的形态之争才是主战场,但是网络恰恰是数据中心的一个难点,传统厂商、学术界、大厂都集中在此领域展开竞争,创新也层出不穷,希望能拓展我们的技术视野,能对我们有一些启发,莫听穿林打叶声、何妨吟啸且徐行~

答:云空间是由多台服务器提供负载均衡的。
云空间也就是大容量云空间集合,由多台服务器提供负载均衡,资源网站实际按需要进行动态分配。
云空间的原理概念
云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。这可是一种革命性的举措,打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13404069.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-29
下一篇 2023-07-29

发表评论

登录后才能评论

评论列表(0条)

保存