如何搭建大数据分析平台?

如何搭建大数据分析平台?,第1张

如何搭建分布式网站服务器,比如我有3台服务器ABC,需要搭建分布式服务。也就需要建立IIS 还由DNS WIN 服务器的 还有更改主机名 很麻烦的,这个需要专业的IT人员来 *** 作的。 \x0d\\x0d\以下资料作为参考:\x0d\DNS轮循\x0d\首先介绍一个DNS系统:传统的DNS解析都是一个域名对应一个IP地址,但是通过DNS轮循技术(负载平衡技术)可以做到一个域名对应到多个IP 上 这样大家难免就会问,这个技术有什么用呢\x0d\\x0d\DNS轮循是指将相同的域名解释到不同的IP,随机使用其中某台主机的技术,该项技术可以智能的调整网站的访问量到不同服务器上,减轻网站服务器的压力,实现负载匀衡;如果您感觉到单一的主机已经不堪负载你网站日益增长的访问,那么建议您采用我们的DNS轮循技术。 \x0d\\x0d\DNS轮循系统可以根据您的需求设置N台主机作为WEB服务器。目前已有越来多大型的WEB服务器使用DNS轮循来实现负载均衡,服务的分布规划更便捷,扩展性更好,从而提高了网站的稳定性和访问效率,那些大量数据文件请求的客户也得到了更快的响应。\x0d\\x0d\DNS轮循还将给您的网站提供这样的改进,诸如您的网站的数据使用量一直处于不断的增长当中,当达到服务器资源运行瓶颈的情况\x0d\下,由于采用了DNS轮循技术,您只需要增加服务器数量就可以平滑升级,而且偶然故障或其他意外情况造成的损失得以避免,7×24小时可靠性的持续的运行\x0d\成为可能。\x0d\\x0d\如果您真的希望自己的网站能够一直稳定的在线运行,尽量的减少宕机的比率,那么除了采用比较好的网站空间技术支持之外,还可以采用时代互联域名的DNS轮循功能来实现网站的永久在线负载平衡 \x0d\负载均衡是由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其\x0d\他服务器的辅助。通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求。均衡负载\x0d\能够平均分配客户请求到服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题。这种群集技术可以用最少的投资获得接近于大型主机的性能。\x0d\\x0d\网络负载均衡的优点\x0d\\x0d\第一,网络负载均衡能将传入的请求传播到多达32台服务器上,即可以使用最多32台服务器共同分担对外的网络请求服务。网络负载均衡技术保证即使是在负载很重的情况下,服务器也能做出快速响应;\x0d\\x0d\第二,网络负载均衡对外只需提供一个IP地址(或域名);\x0d\\x0d\第三,当网络负载均衡中的一台或几台服务器不可用时,服务不会中断。网络负载均衡自动检测到服务器不可用时,能够迅速在剩余的\x0d\服务器中重新指派客户机通讯。这项保护措施能够帮助你为关键的业务程序提供不中断的服务,并可以根据网络访问量的增加来相应地增加网络负载均衡服务器的数\x0d\量;\x0d\\x0d\第四,网络负载均衡可在普通的计算机上实现。\x0d\\x0d\网络负载均衡的实现过程\x0d\\x0d\在Windows Server 2003中,网络负载均衡的应用程序包括Internet信息服务(IIS)、ISA \x0d\Server 2000防火墙与代理服务器、虚拟专用网、终端服务器、Windows Media \x0d\Services(Windows视频点播、视频广播)等服务。同时,网络负载均衡有助于改善服务器的性能和可伸缩性,以满足不断增长的基于\x0d\Internet客户端的需求。\x0d\\x0d\网络负载均衡可以让客户端用一个逻辑Internet名称和虚拟IP地址(又称群集IP地址)访问群集,同时保留每台计算机各自的名称。下面,我们将在两台安装Windows Server 2003的普通计算机上,介绍网络负载均衡的实现及应用。\x0d\\x0d\这两台计算机中,一台计算机名称为A,IP地址为19216807;另一台名为B,IP地址为19216808。\x0d\规划网络负载均衡专用虚拟IP地址为19216809。当正式应用时,客户机只需要使用IP地址19216809来访问服务器,网络服务均衡\x0d\会根据每台服务器的负载情况自动选择19216807或者19216808对外提供服务。具体实现过程如下:\x0d\\x0d\在实现网络负载均衡的每一台计算机上,只能安装TCP/IP协议,不要安装任何其他的协议(如IPX协议或者NetBEUI协议),这可以从“网络连接属性”中查看。\x0d\\x0d\第一步,分别以管理员身份登录A机和B机,打开两台机的“本地连接”属性界面,勾选“此连接使用下列项目”中的“负载均衡”项并进入“属性”对话框,将IP地址都设为19216809(即负载均衡专用IP),将子网掩码设置为2552552550;\x0d\\x0d\第二步,分别进入A机和B机的“Internet协议(TCP/IP)”属性设置界面,点击“高级”按钮后,在d出的“高级TCP/IP设置”界面中添加IP地址19216809和子网掩码设置为2552552550。\x0d\\x0d\第三步,退出两台计算机的“本地连接属性”窗口,耐心等一会儿让系统完成设置。\x0d\以后,如果这两台服务器不能满足需求,可以按以上步骤添加第三台、第四台计算机到网络负载均衡系统中以满足要求。

首先打开控制面板,选择“程序”,双击“打开或关闭Windows服务”,在d出的窗口中选择“Internet信息服务”下面所有地选项,点击确定,开始更新服务。打开浏览器,输入“localhost”回车,如果出现IIS7欢迎界面,说明启动成功。

服务器能够响应终端的服务请求,并进行处理。我们在上网的时候是不可能直接将网络接入互联网的,我们都需要通过服务器来连接网络,只有服务器响应你的联网请求,并且进行处理以后才可以联网;存储的功能,服务器的存储空间一般比较充足,可以存储非常多的信息。

服务器部署注意事项

在许多服务器机架,电源分配单元(PDU)的部署仅仅只提供了数量有限的输出口,所以一台已经被大量使用的机架可能没有足够的开放式PDU插座以容纳更多额外的服务器,或无法很方便的为服务器电源线安排可用的插座。

用户可能会需要重新安排一些线缆,而只能通过拔掉服务器的电源了,而这会造成系统的停机,故而这就需要运营团队进行提前安排了。

1、首先选择机箱,注意点:体积小、容量大!体积小可以随便放、容量大是要机箱能够放更多的配件,至少要2-4块硬盘位。
我选择的是金河田遇见N1,ITX主板,4块35硬盘位、ATX标准电源
个人搭建实用的家庭NAS家庭数据媒体中心
个人搭建实用的家庭NAS家庭数据媒体中心
2、选择好机箱后,选择主板ITX小主板,要特别注意的是要用集成CPU的ITX主板,主要是考虑CPU耗电问题!之前选择的是主板和CPU分开的,用的是网上比较多的微星的一款板子,主板是不错,但是分体的CPU,775针的CPU耗电比现在的酷睿大的多啊,最后测试下来45W,无法承受!后来把这款板子闲余出了。换了集成CPU的intel d510,集成CPU的板子很多,不差钱的可以买调配的。
intel d510参数并不高,是早前生产的,16G的虚拟四线程,1M缓存。2个SATA、一个PCI插口是必须的。
个人搭建实用的家庭NAS家庭数据媒体中心
个人搭建实用的家庭NAS家庭数据媒体中心
下面是存储部分,家庭NAS速度肯定要快,除了外界的千兆网外,硬盘速度是必要考虑的问题。硬盘速度无非两个方法,1用SSD,2RAID,SSD肯定不能用大数据存储,成本太高!RAID是很好的方法。所以我决定使用RAID,选择了一款PCI X32的RAID卡,做RAID0,下图:
个人搭建实用的家庭NAS家庭数据媒体中心
RAID卡有四个SATA口可以方便扩展,当成考虑成本问题,我淘了两个80G的二手硬盘做了RAID0
个人搭建实用的家庭NAS家庭数据媒体中心
本来是打算直接在上面的RAID0上直接安装系统的,但是有不知道为什么总是提未安装失败,有的人说我的主板太老了,不支持RAID启动!后来也不折腾了,又淘了个24G的SSD做为启用盘吧。
个人搭建实用的家庭NAS家庭数据媒体中心
最后是电源,这个很讲究,一定要声音小的,现在CPU没有风扇了,电源的风扇声音一定要小,而且要稳定,可长时间运行。
网上看看了,最多的就是这个小1U的电源了,刚才适用!刚买的时候我也不知道机箱能不能放,虽然都有尺寸。毕竟机箱是ATX的标准电源,反正我看了机箱的位置很大,上不了螺丝放面好了。
个人搭建实用的家庭NAS家庭数据媒体中心
还有个内存忘了,主板是2个插口的,我用一个就好了,2G足够!主板内存频率要和主板匹配,我这个是DDR2 800的台机内存。我挑主板的时候没看好些笔记本内存的主板,这个看个人爱好了。
个人搭建实用的家庭NAS家庭数据媒体中心
最后是安装系统系统了,我没打算用黑群辉,理由在开头说了!我安装的是windwos 2008 server R2,上面的配置运行可以的。本来打算安装2003server的,后来想想还是用个新点的吧。为什么没有用2012server呢,因为2012server的界面在远程 *** 作的时候比较慢,可能是由于画面的原因。
安装完了 *** 作系统,你想用什么软件不就自由了,不要像黑群辉那样有限制。想安装什么就装什么,想实现什么效果就找什么软件。
比如:远程访问可以用花生壳,文件云同步访问可以用百度云!下个什么的,用百度云离线下载,然后推送到这台服务器!晚上回到家的时候就可以直接看了。其实想一想你NAS要用的功能最多的无非就是这两个吧。而且这也是一台电脑,可以正常使用上网,办公什么的。比如专业的NAS要实用吧。

你这个数据量还是比较大的,相对的服务器配置要高一点,服务器主要的就是CPU 内存以及硬盘 分析数据要求数据读取速度要高的 所以也决定了不能用普通的硬盘 用SSD或者SAS硬盘好一点 服务器可以自己采购 ,可以用戴尔的或者IBM的 具体的看你那边的配置 ,机器的价格差不多要几万了,后期你那边如果在idc机房托管的话 还要一部分钱,具体的情况要看你那边具体情况了 详细情况咱们可以再聊一下


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13043657.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-29
下一篇 2023-05-29

发表评论

登录后才能评论

评论列表(0条)

保存