建立无限容量的云盘或网盘是不可能的,因为所有的存储设备都有其物理限制。然而,可以通过以下几种方式来扩大存储容量,使其在使用中更加方便:
利用多个云盘或网盘:可以使用多个不同的云盘或网盘来扩展存储空间。将文件分散存储在多个云盘或网盘上,可以避免单个存储设备的容量限制。
压缩和归档文件:将不常用的文件压缩成一个文件,并将其存储在云盘或网盘中。这样可以节省存储空间,但使用时需要解压文件。
删除不必要的文件:定期清理云盘或网盘中不需要的文件,以释放空间。
使用网络硬盘:如果您有一个局域网,可以考虑使用网络硬盘。这种存储设备连接到网络上,可以共享给多个计算机使用。
租用更大的云盘空间:如果您需要更大的存储空间,可以考虑租用更大的云盘空间。这样可以获得更多的存储空间,但需要支付额外的费用。
无论采用哪种方式,建议备份重要文件以防止数据丢失。
对于如何选择合适的云服务器配置,有必要清楚地了解各种参数项,了解下面几个方面:核心CPU
与人类大脑一样,CPU代表云服务器的计算能力。一般网站建议选择具有2个以上内核的CPU。如果网站流量很大且有更多动态页面,则需要四核或更多核心。
可用内存
内存是数据的中继站,它也是决定网站打开速度的重要因素。内存越大,可用缓存越大,网站越快。通常,根据网站的大小选择适当的空间。如果是一般的个人博客或公司展示网站类,则内存2G就足够了。如果它是商城类或门户网站,则内存空间至少为4G。
存储硬盘
硬盘是存储数据的地方。硬盘的大小取决于网站的数据大小。租用云服务器时,应考虑剩余空间。硬盘的I/O读取速度直接决定了文件读取的速度。您可以选择ssd固态硬盘以获得更快的速度。
网络带宽
看看网站的类型,结构和访问等指标,一般新网站,处理不多,2M带宽就足够了,不足的话可以再添加,这更安全。如果是普通网站,如文本,照片网站,论坛等,则占用的带宽很小。 5000的流量也可能占用不到4M的带宽。如果是基于视频,下载等的网站,数百人需要同时占用超过10M的带宽。
*** 作系统
这与个人对系统的熟悉程度和网站的具体情况有关。比较理解哪个 *** 作系统,建议就选择它。windows系统对asp程序的支持更好,但它占用更多的内存,Linux系统对php程序更友好,内存更多,而且有些程序可能只支持单一的 *** 作系统。
地区线路
如果是本地用户,您可以选择单线云服务器,但多线服务器的优势是显而易见的,对于城市而言,宽带有不同的服务提供商,如电信,网通,长城宽带。在云服务器所在的区域中,尽量选择目标用户所在的区域,以便网站打开得更快。在学习了hadoop22一个月以来,我重点是在学习hadoop22的HDFS。即是hadoop的分布式系统,看了很久的源代码看的我真的想吐啊,感觉看源码还是没什么劲,于是心血来潮看到可百度的网盘挺有意思(其实我一直都在用百度的网盘)对里面的功能的实现很好奇,于是我就突发奇想,能不能用hadoop来做个呢?答案是肯定的。于是我就开始了,但是实际中,没有人用hadoop来做网盘,因为hadoop不适合存放小文件。当然办法总是有的,比如小文件可以存入HBase中。hadoop220这个版本与hadoop1的版本有不同,且在源码上也有很大的差别。引入了Yarn这个资源管理框架,目前YARN可以管理的资料类型包括了CPU和内存,未来可能会加入对磁盘和网络等类型的支持。目前YARN可以支持的框架包括:MapReduce(批处理框架)、Storm(流式处理框架,项目为Stormon YARN,主要由Hortonworks在推进。正式版本未出但可用,yahoo和淘宝等在内部已经大规模使用)、Spark(内存处理框架,项目为Spark on YARN,主要由Cloudera在推进。正式版本未出但可用,淘宝等在内部也已经大规模使用)。
正在YARN上开发且未来比较靠谱的框架有:Tez(DAG框架,继承自MapReduce,性能有巨大提升)、Hoya(将HBase运行在YARN上,主要由Hortonworks在推进)。
二、设计与实现
采用了Struts2+tomcat7+mysql+Ajax+hadoop22来部署架构整个系统。
21 架构
Struts2确实在网页的开发阶段比起单纯的jsp和servlet又更上一层楼。本人也只是了解Struts2那么一点。发现有项目驱动可能学习某个知识点更快,你们说呢?tomcat是众所周知的,用作web服务器。mysql在这里我只用作登录验证。Ajax则主要是负责在上传的时候显示进度条的作用。hadoop22主要提供HDFS分布式存储。并且用到了其相关的Jar。
其实无论是百度的网盘,还是360网盘,还是华为网盘,其无非都是类似于像Hadoop这样的做分布式存储,前台展现给客户。分布式存储有的是用openstack。还有的像淘宝的TFS,华为的自己开发的云端系统,华为OceanStor CloudStor CSS云存储等等吧。。
22 本系统实现的功能
(1)显示用户系统下所有文件列表
(2)实现上传、下载、重命名、删除文件功能
(3)实现客户端音频(多数格式的)音乐播放功能<暂不支持视频播放>
(4)实现在线预览的功能
(5)实现在线文本文档的浏览功能
三、Hadoop22分布式云盘的界面
1、欢迎页面
2、登录页面
3、系统主界面
4、文件上传界面
5、预览
6、音乐播放
7、文本预览
四、总结
作为研究生,本应该研究研究理论性的东西,说实话,理论这东西不读个博士什么的我个人觉得在短暂的这两年多时间里,可能研究不出什么玩意来。纯属个人意见,呵呵。这个系统还是有一些BUG的。以后有时间还的继续修改。我还是对大数据很感兴趣,但是如何 *** 纵大数据呢?光靠Hadoop是远远不够的,还可以结合数据挖掘,数据仓库,算法等去捣鼓捣鼓可能有效。这个系统算作本人的个人作品吧,麻雀虽小,但还是五脏俱全。主要是一段时间不写点程序,有点不舒服的感觉。呵呵。另外我想说hadoop2源码太多了,哎,慢慢看吧,不结合实战练习的话,没多大效果我觉得。现在还有很多课要上,恩多论文要看。在过两个月,所有的课程终于结束了数据的高速增长,尤其是非结构化数据的日益飙升,不但对存储的容量有了进一步的需求,同时对存储的性能和功能也提出了更高的要求,这使得原有的单一的SAN(存储区域网络)或NAS(网络附加存储)系统已经不能全面满足用户的需求。同时,网络存储经过这几年的发展,SAN与NAS的融合已经势在必行,尤其是IP SAN的出现,更为融合奠定了技术基础。
统一存储其实就是一种能够整合iSCSI、NAS与SAN的存储系统,也就是说,统一存储能够在多个不同平台和应用之间共享一套硬件。因此,统一存储对于企业和机构都有着很强的吸引力,它最大的优势在于,能够整合企业在存储设施上的不同需求,降低采购和维护成本。
单一平台
满足银行需求
美国堪萨斯州第一州立银行和信托公司(First State Bank & Trust)的存储需求在18个月间翻了一番,总存储量增至38TB,于是,他们选择了Pillar公司的Axiom统一存储系统。公司高级副总裁Harry M Wheeler说:“我们了解到了统一存储这个概念的价值,它既支持我们的虚拟化环境,同时又能跟上快速发展的步伐。此外,我们看到了Pillar的统一存储方法具有的额外价值,即运用服务质量(QoS)功能,确保我们那些最关键的应用程序具有最高级别的性能,又不必为资源争夺问题而 *** 心。这让我们既能够把存储系统整合到单一平台上,又能够确保需要时有足够的空间来进行扩展。”
Wheeler当初加盟这家银行时,银行的主要信息源在大型机上。不过,这些年来,应用程序扩展到了网络环境中,文件服务器成了存放银行关键应用系统的环境,比如支票影像、异地存款、客户查询和网上银行等应用系统。银行需要这样一项计划:万一发生灾难,能够尽快恢复服务器和文件数据。除了需要加强灾难恢复(DR)计划外,Wheeler还想对13台服务器进行虚拟化处理,旨在提高可用容量,降低总体拥有成本。
因此,这家金融机构与总部设在美国堪萨斯州Overland Park的技术集成商Choice Solutions紧密合作,评估了多款存储解决方案,包括EMC及其他厂商的解决方案。Wheeler表示,其他厂商大多偏爱采用多个设备,而不是统一架构。他说,他希望这一解决方案具有能够为应用程序设定优先级、易于使用、易于调整等优点。Wheeler说:“我们负责SAN的网络经理很喜欢Axiom解决方案设置好后可自动运行的特点。Pillar公司最终脱颖而出,是因为它的Axiom存储平台是为支持虚拟化环境而重新构建的。”
这家金融机构购买了一对Axiom系统,总容量达到5TB,如果需要的话,容量还可以扩展到1PB以上。该系统的部署增强了系统灾难恢复功能。在以前的灾难恢复测试中,由于该金融机构要完成恢复所有文件服务器的烦琐任务,恢复所有系统最多需要5天。Wheeler表示,时至今日,由于采用思杰的XenServer、Pillar的Axiom和InMage复制软件这一组合产品,他在短短两个小时内就能完成全面恢复测试。
第一州立银行和信托公司采用实时复制。由于有更多的容量可用,虚拟化项目也完成了。因而,服务器机房里面减少了15个机架的设备。
Wheeler说:“我们预计可以在5年内收回在Pillar上投入的成本。”
统一存储与虚拟化结合
虽然第一州立银行和信托公司没有选择EMC的统一存储,但美国匹兹堡技术学院(PTI)却选择了EMC的统一存储。PTI是一家私立职业学院,在宾夕法尼亚州西部地区有两个校区,它为7个系的2000多名学生提供准学士学位和证书课程。
PTI的选择可以归结为,为其99%的VMware虚拟化服务器基础架构选择EMC还是NetApp的产品。EMC的Celerra最终成为其统一存储架构的核心部件。该学院购买了一台Celerra NS-120,配备了30台450GB光纤通道驱动器、15台600GB光纤通道驱动器和6块70GB固态硬盘。
PTI的应用程序主管William Showers说:“我们需要闪存即固态硬盘,是因为它在读I/O *** 作方面大有潜力,因为VMware虚拟桌面基础架构(VDI)是一种读 *** 作非常频繁的工作负载,使用闪存让我们可以做到在特定数量的磁盘上运行的VDI实例比标准光纤通道磁盘上运行的实例多得多。”
PTI的EMC Celerra NS统一存储系统使用固态硬盘,用于VMware虚拟机和虚拟桌面,使用光纤通道驱动器用于学生档案、媒体服务、远程教育、SQL Server学生记录数据库和Exchange电子邮件等系统。使用VMware vSphere,PTI对其服务器基础架构的99%进行了虚拟化处理,现在10台物理机运行着300个VMware虚拟机。VMware View让PTI能够向教职员工提供100个虚拟桌面。PTI还使用EMC的CLARiiON CX3磁盘阵列用于虚拟机备份,使用CLARiiON AX4阵列用于存储安防视频。
William Showers说:“除了性能外,EMC解决方案还大大增强了简单性、高效性和灵活性。让我们特别满意的是,Celerra还有文件压缩和重复数据删除等功能,拥有多个RAID选项,还同时支持8Gbps光纤通道和万兆以太网。EMC与VMware的全面集成和一致性,也是促使我们决定采用EMC统一存储的一大因素。”
PTI在开展这个项目之前,已经在使用一台老化的CLARiiON CX3-20,但容量所剩无几,同时还过了保修期,IT人员每个月要来好几趟,执行一些基本的维护任务,比如给固件打补丁等。在升级EMC系统的同时,PTI使用VMware将约75台物理服务器整合成10台,但不是使用旧机器,而是购买了新机型,因为VMware需要的内存量很大,而新的服务器主机配备了32GB到96GB的内存。
该项目实施后,PTI再也不需要IT人员在晚上加班加点,更换失效的服务器或进行日常维护。倘若服务器有问题,它会进入维护模式,自动把所有虚拟机迁移到另一台服务器上,直到IT人员第二天上班后再来解决问题。这大大减少了IT人员的加班时间。
William Showers说:“借助共享存储上的VMware,我们部门的人就可以远程将虚拟机迁离某一台物理服务器,在正常工作时间对它进行更新或维护,然后把虚拟机再迁移回去。”
此外,学院里的老师需要远程访问高端编程、CAD、多媒体及其他应用软件,以便可以在家里给学生的作业打分,或者准备教案。而招生人员越来越需要共享记录学生活动、教学楼施工及其他大事的视频和照片,势必需要更多的场地和更灵活的架构。William Showers特别指出,这一切需要更多的服务器,势必需要极其庞大的电力和冷却设备。而他们除了没有升级电力和冷却系统所需的预算外,也没有足够的地方装得下更多的设备。据PTI声称,这个项目大概为它在新服务器、电力和冷却系统方面省下了数10万美元的费用。
William Showers说:“我们那台65千伏安UPS的用电负载从约75%降低到了约22%。VMware其实让我们避免了花费巨资来升级设施。”
显然,当前IT预算缩减的公司都面临着一个挑战:提供足够的存储容量以满足自己的要求。统一存储平台正好适合当前的环境,因为它的初始资本投资比较少,运营成本比较低,企业可以先小规模部署,然后慢慢扩展。统一存储还可以共享资源,针对不同的应用程序,结合使用文件存储和块存储。
统一存储是一项在不断发展的存储技术,对不同类型的IT项目来说准入门槛很低。把它添加到企业数据中心的存储基础架构中是个正确的选择。
“统一存储让我们能够把存储系统整合到单一平台上,又能够确保需要时有足够的空间来进行扩展。”
――美国堪萨斯州第一州立银行和信托公司高级副总裁Harry M Wheeler
“该项目实施后,我们再也不需要IT人员在晚上加班加点更换失效的服务器或进行日常维护了。”
――美国匹兹堡技术学院应用程序主管William Showers
链接一
统一存储及其应用
统一存储实际上是一种网络存储架构,它既支持基于文件的NAS存储,又支持基于块的SAN存储。这种多协议系统可以通过IP或光纤通道(FC),连接至服务器。在统一存储系统中,块访问通过光纤通道、SAS或基于以太网的iSCSI等接口来实现;文件访问是指使用基于以太网的CIFS或NFS访问存储系统中的文件系统。
统一存储要求实行统一管理,即一个存储系统要同时管理块数据和文件数据,如果没有统一管理,那么实现整合和简化的目标就会受到影响。一些厂商通过光纤通道和iSCSI来提供块存储,而另一些厂商则坚持只用iSCSI,因为它更容易实现。
统一存储有一些出色的用途:
● 在虚拟服务器环境下,统一存储系统可以满足快速配置虚拟机并运营的要求。它可以为虚拟机配置基于NFS的数据存储区,实现文件I/O,统一存储的块存储功能让真实设备映射(RDM)可将物理磁盘连接至虚拟机,以满足应用程序的需求。
● 如果某种类型的使用(如非结构化数据的文件存储)占主导地位,但仍需要一些块存储(比如Exchange数据库),那么统一存储系统允许将它们整合到单一平台上。
● 统一存储还为那些因需求发生变化而要稍稍改动存储的企业提供了出色的灵活性。
● 统一存储可以为所需的使用类型配置单一资源,包括块或文件。
链接二
统一存储平台的基本特点
1 易于管理。为了满足RAID、卷管理、文件系统创建、卷扩展和自动精简配置的需要,管理界面就要做到简单易用。只需要不到4个小时,就可以完成初始安装以及准备好为所有协议提供文件服务。不需要专门的IT管理员来配置、部署和管理。基于向导的安装和配置是标准工具。
2 扩展快速、容易。统一存储被认为是二级存储解决方案,现在作为SAN存储之外的一种选择,正进入到数据中心领域。这归功于高级软件功能,有些基于SAN的应用程序现在使用统一存储作为标准存储平台,如装有单一邮箱恢复和SQL数据库应用软件的Exchange邮件服务器,通过快照就能迅速完成测试,而不会干扰生产数据集。可以实施虚拟服务器功能,减少物理服务器的数量,并实施不同级别的RAID技术,以满足不同应用程序的需要。近来,企业还需要通过高级的存储和服务器虚拟化技术,对服务器/存储进行整合。企业可得益于VMware虚拟化技术和统一存储这对组合,从而减少物理服务器的数量,提高存储利用率。
3 高可靠性和高可用性。统一存储需要提供双头高可用性(dual-head HA,主动/主动)或N+1(主动/被动)机制,确保数据服务的高可用性。要满足数据中心的标准,真正的99999%可靠性是必要条件。这相当于全年停机时间只有5分钟。目前市面上的统一存储平台提供双RAID控制器、镜像缓存或非易失随机存储器(NVRAM)来保护数据。一些厂商实施的技术因扩展性问题而在性能上和存储容量上受到限制,只提供低成本的iSCSI目标系统,以及只为目标系统或虚拟磁带库(VTL)提供重复数据删除这个选项。这些不足会缩小为数据增长速度和存储容量扩展做规划时考虑的范围。如果不断部署存在所有这些局限的同一架构产品,就会面临NAS存储孤岛、数据中心场地出现不必要的扩展,还会显著增加运营和管理成本。1、使用某一个独立的存储设备时,我们必须非常清楚这个存储设备是什么型号。
2、什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘。
3、分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。
4、为了保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。
5、除此之外,对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。
6、云状存储系统中的所有设备对使用者来讲都是完全透明的。
7、任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。
1、准备好一台云服务器,云服务器多包含的基本配置就是cup,内存,硬盘等基本配置。
2、利用云服务器的IP地址,账户名,密码来登录。(云服务器的用户名是由云服务器的系统而定的,windows系统用户名就是administrator,linux系统用户名就是root)
3、用电脑来登录云服务器,从电脑桌面打开“远程桌面连接”
4、输入云服务器的IP地址,点击连接
5、链接之后,输入账号和密码(这里需要注意,电脑的 *** 作系统必须和云主机 *** 作系统一致,才能登陆成功)
6、登陆成功之后,在您的电脑桌面上就会出现云主机 *** 作桌面啦。您可以在这里部署您的网站,应用程序等其他应用。
1、我们先准备了一台服务器:
Windows 2008 +SQLServer2005
4CPU + 8G内存 +500G硬盘
2、网上查找了相关企业云盘的相关介绍,做了几个产品的比较,最终选择了Mobox企业云盘。(主要考虑是这个相对比较简单, *** 作习惯与Windows本地资源管理器的 *** 作一样,这样比较便于员工掌握系统)
3、将我们平时的项目及产品及相关的资料进行分类,并设计相关的管理权限
4、将原先老的服务器上已经有点资料,一次性导入系统 (毕竟上一个系统,若没有数据是很难让员工主动去用的)
大概过程这样,希望对你有帮助
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)