流媒体网站是怎样储存那么多的视频的,它的服务器容量怎能如此之大?

流媒体网站是怎样储存那么多的视频的,它的服务器容量怎能如此之大?,第1张

很简单,小型的流媒体网站只需要一台小型服务器+一块或多块硬盘就可以完全胜任,大型网站通常通过域服务器多台服务器协同作业就可以解决,通常一台服务器挂载一块1TB的硬盘大约可以存储4000多集剧集,而目前一块1T的企业版的硬盘价格不到1K对于一般网站主来说是可以承受的而流媒体服务器对其他硬件的要求并不高,比普通WEB网站的处理能力强一点就可以了。
另外,现在出现了一种新兴的流媒体服务器叫QVOD也叫快播,这种服务器使用的是BT协议,网站主只需要从网络上下载视频文件的种子放到服务器就可以实现VOD视频点播,使用这种方案,普通小网站主省去了大量的服务器空间开支,一个拥有数万视频文件的网站只需要数百M的空间就可以解决,而且带宽只需要是正常的1/100。QVOD单服务器1000部400Kbps码率的负载峰值用户量可以达到2~3万,是传统点播网站的上百倍。

HP ProLiant DL380G3提供不可比似的性能,超群的可用性和前所未有的灵活配置,备受称赞的节约空间2U高机架,以及艺术级的组件。例如最新的 Intel Xeon处理器,可扩至双路。512MB PC2100 DDR SDRAM和400MHz GTL总线提供杰出的性能。另外,对等PCI总线结构,64位PCI-X槽位和集成的smart Array 5i Plus控制器,提供附加的性能和可用性。高度可用的机箱现在可以安装6块热插拔硬盘以及其他设备,使用户可以放心的使用硬盘和备份设备以满足他们的 Web主机邮件、文件/打印或小数据库应用,而不用进行任何功能分配和协调高级别的系统管理功能
应用需求分析
用户目前的应用情况是:用户为广播电台,由于节目录制以及播放,现有的PC机已不能满足多点网络服务的要求,如果不进行系统升级改造,那么用户每年需要投入大量资金购买PC机,在产品寿命和应用收益等诸多方面均用户将承受巨大压力。为此,用户一方提出设备方案改造要求:
提供到10000人在线,VOD系统。
流媒体编码率初步定为512Kbps
具有高可靠性的服务器集群
具有高可靠性的存储系统
从应用机制上分析,媒体服务器应采用网络负载均衡技术
存储系统为NAS模式,存储不同类型的媒体文件
存储空间初步定位2TB
网络系统实时性要求非常高
用户对系统升级方案的要求:
(1) 平台要求:
在通常情况下,设计流媒体服务器的原则为--水平扩展模式(scale wide rather than scale high),也就是说:使用较多的服务器来分担网络的负载。例如:部署2台双处理器或4台单处理器的服务器,而不是一台4颗CPU的服务器。采用这种方案可避免,当仅有一台高端服务器时,因无法分担网络负载而产生瓶颈。同时也消除了"单点故障"问题,提高了系统的整体可靠性。
(2) 方案要求:
需要考虑计算流媒体文件的动态大小,以满足后端存储适应点播的需求;考虑数据存储流量对网络性能的影响;考虑并发任务对系统平台的要求。
服务器选型的考虑点
CPU
如果服务器的能力可以满足要求,增加更多的处理器不能明显提高服务器的吞吐量。微软媒体服务(Windows Media Services)可以从1路系统扩展到8路系统。然而,当超过2颗CPU时性能的增加逐渐减小,投资回报比开始降低。
内存
当CPU、磁盘和网络I/O都不是系统的瓶颈时,添加足够多的RAM给Windows Media服务器,可以增加同时响应客户端的数量。但是,微软媒体服务(Windows Media Services)不使用系统内存来保存文件系统数据(file system data),所以增加更多的内存不能解决因磁盘I/O问题而产生的瓶颈。对于高可用的媒体服务器,最佳内存配置为1Gb。超过这个数量,投资回报比开始降低。
网络(Network Interface)
为了从每个服务器获得最佳效果,网络连接应该采用专用的交换式以太网段。可以考虑使用多网卡:一个网卡专用来向客户端提供流媒体,另外一个网卡专门负责远程管理、监视、复制、从编码服务器获得数据流,以及流的分发。这样配置的优点为:当客户网段(client segment)流量出现饱和时,不会影响到对服务器的远程管理。
磁盘
因为磁盘输出性能对于流媒体点播(streaming on-demand)是至关重要的因素,所以必须优化磁盘的"读"性能。可以采用由高转速、低延迟硬盘组成的阵列系统。另外,增加磁盘阵列控制器上的缓存(Cache),可以提高控制器访问相同数据的性能。(commonly accessed data)
方案建议
模拟配置:
处理器:双路以上至强处理器,28GHz主频
内存:至少4GB ECC
硬盘:4块以上SCSI硬盘,可做RAID5,硬盘转速15000转以上
网络:2块千兆网卡(支持捆绑)
首选服务器:DL380G3
集成的Light-Out(iLO)提供了远程管理功能,无需占用PCI插槽,为用户提供高级别的远程管理和控制的功能。
惠普的DL380服务器与其它厂商的比对优势:
ProLiant DL380G3服务器有3个全长的PCI-X插槽,其中2个是热插拔的,而友商同等类型服务器带有的3个全长PCI-X插槽均不支持热插拔
ProLiant DL380G3服务器支持6块热插拔硬盘驱动器,而友商同等类型服务器仅支持5块热插拔硬盘驱动器
ProLiant DL380G3服务器可以通过选件实现完全的冗余热插拔风扇,而友商同等类型服务器没有相应的选件来实现完全的冗余热插拔风扇
ProLiant DL380G3服务器具有热插拔PCI插槽,而友商同等类型服务器不支持热插拔PCI插槽
ProLiant DL380G3服务器最大支持12GB的内存容量,而友商同等类型服务器仅仅支持8GB的 内存容量
ProLiant DL380G3服务器通过了B级别的EMI测试,而友商同等类型服务器仅仅通过了A级别的测试
由于流媒体服务器所传递的数据多数为音频与视频文件,因此对于服务器的存储系统和网络系统的IO能力以及处理器对数据快速处理的能力要求较高,如果用户的数据传递格式比较高,要求达到比较清晰无间断的稳定传输,而且用户并发数据传输较高的时候,可以考虑使用更高级别的服务器,如ML530、 DL560、ML570、D580服务器。为了能进一步提高性能,可以添加处理器、内存、网卡。
在配置流媒体服务器的时候,一定要使用高性能的磁盘阵列卡,如Smart Array 53xx或更高级别的阵列卡。通过额外选配阵列卡缓存和磁盘存储柜的缓存提高磁盘的IO特性,由于流媒体工作模式多为读取模式,所以在缓存的配置上,可以将大多数缓存分配给读取所用。网卡的设定也可以同样配置。由于传递的文件数量较大,所以在阵列的数据块大小设置上可以将数据块的大小取为较大的存储块,对于提高其整体性能有益。

1服务器系统

这一部分实际上就是直播流媒体服务器系统,主要是实现直播的数据流转发功能,重要的是它的性能与稳定性与核心直播业务平台的稳定性和运营成本是直接挂钩的。通常能够进行正常运营的流媒体服务器系统,都可以达到单机支持5000并发在线用户,具备极高的资源利用效率。

2内容分发系统

关于内容分发,就需要讲到CDN。它可以在多个节点服务器之间将直播内容进行自动分发,从而实现全网播放,并且移动终端用户可以自动选择离自己近的服务节点来接受发布内容。如果想要开发的直播软件业务范围是全国,那么就需要找一家覆盖全国节点的服务商,这样才能够保证直播业务的正常进行。相信CDN的重要性就不需要我再多说了吧。

3录播系统

这部分实现起来相对比较简单,但是要想达到更高的标准,还需要投入更多的精力才行。但是对于运营级的服务平台来说,如果没有了稳定性和性能方面的保障,那么你会发现运营成本会越来越高,效率越来越低,终因为用户体验差。

4在线转码系统

在日常格式转换时我们往往会发现,对一个1080P的高清节目做转码时,用一台搭载Intel

i7处理器的主机做处理非常消耗资源,而且转码速度极慢,。更合况是对于一个有上千个用户同时做直播的运营平台。因此,我们必须要找到一种更合理的解决方案,既要达到更高的转码效率,同时还要能合理地控制成本,这样才能满足平台运营的需要。

5用户鉴权系统和计费、支付与订单结算系统

随着国家对直播行业的监管加强,平台要为用户提供一个真实可靠的权限控制机制,任何人都不能越权发布违规的内容,也不能假借第三方的名义来发布违规的内容。直播运营中的各个环节都会和资金流交互,比如主播的在线收入、主播与平台的资金结算、用户的充值与消费记录等。这是业务支撑系统的核心,并且要求数据必须准确。

6内容审核系统

由于对直播APP的内容要求越来越严,建立直播APP就需要对内容加以管理和严格审核,现在是全民直播,每个人都可以玩直播,所以依靠人为审核很难,数据过于庞大,需要利用特殊技术对内容做初步识别,这样可以节省人力成本。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13121597.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-06-04
下一篇 2023-06-04

发表评论

登录后才能评论

评论列表(0条)

保存