大型视频网站的技术架构方案

国内的不清楚,给你看看YOUTUBE的

YouTube的架构扩展

在西雅图扩展性的技术研讨会上，YouTube的CuongDo做了关于YouTubeScalability的报告。视频内容在GoogleVideo上有(地址)，可惜国内用户看不到。

KyleCordes对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(KyleCordes的介绍是本文的主要来源)

简单的说YouTube的数据流量,"一天的YouTube流量相当于发送750亿封电子邮件",2006年中就有消息说每日PV超过1亿,现在更夸张了,"每天有10亿次下载以及6,5000次上传",真假姑且不论,的确是超乎寻常的海量国内的互联网应用,但从数据量来看,怕是只有51com有这个规模但技术上和YouTube就没法子比了

1Web服务器

YouTube出于开发速度的考虑，大部分代码都是Python开发的。Web服务器有部分是Apache，用FastCGI模式。对于视频内容则用Lig>

2视频

视频的缩略图(Thumbnails)给服务器带来了很大的挑战。每个视频平均有4个缩略图，而每个Web页面上更是有多个，每秒钟因为这个带来的磁盘IO请求太大。YouTube技术人员启用了单独的服务器群组来承担这个压力，并且针对Cache和OS做了部分优化。另一方面，缩略图请求的压力导致Lig>

出于冗余的考虑，每个视频文件放在一组迷你Cluster上，所谓"迷你Cluster"就是一组具有相同内容的服务器。最火的视频放在CDN上，这样自己的服务器只需要承担一些"漏网"的随即访问即可。YouTube使用简单、廉价、通用的硬件，这一点和Google风格倒是一致。至于维护手段，也都是常见的工具，如rsync,SSH等，只不过人家更手熟罢了。

3数据库

YouTube用MySQL存储元数据--用户信息、视频信息什么的。数据库服务器曾经一度遇到SWAP颠簸的问题，解决办法是删掉了SWAP分区!管用。

最初的DB只有10块硬盘，RAID10，后来追加了一组RAID1。够省的。这一波Web20公司很少有用Oracle的(我知道的只有Bebo,参见这里)在扩展性方面，路线也是和其他站点类似，复制，分散IO。最终的解决之道是"分区",这个不是数据库层面的表分区，而是业务层面的分区(在用户名字或者ID上做文章,应用程序控制查找机制)

YouTube也用Memcached

YouTube视频网站上的视频、图像、言论等相关内容，违反了中国互联网审查标准。2007年11月份开始便被列入中国大陆互联网关键字阻断过滤的范畴，并使用IP封锁、URL关键词过滤、DNS域名劫持污染、TCP连接重置、主干网路由器侦测拦截等方法进行阻断屏蔽，同时中国三大主要互联网服务提供商〈ISP〉封锁了YouTube的DNS服务器端口的接入，屏蔽了YouTube的所有国际IP地址，故中国大陆地区无法访问浏览YouTube，在华外籍人士和留学生一般通过使用代理服务进行访问。

YouTube是一个视频网站，2005年2月成立于美国加州。“YouTube”的意思是“你的电视”(美国人称电视为Tube)。自创办以来，就在年轻人当中窜红，现在YouTube拥有视频节目超过1亿部，今年8月，这家网站吸引的访问者高达7200万人次，占了网上短片分享网站的46%的市场。
在YouTube上你能找到大众关注的焦点事件，还有知名的娱乐片段以及网民自娱自乐自拍的视频短片等。如今在美国，当人们想如看电视那样上网观看视频画面时，他(她)会说：“YouTube一下”。
这家由三位PayPal前员工创建的成立只有20个月的视频网站，在2006年占据了全球互联网视频领域46%的份额。据统计，YouTube世界范围的流量平均达620万人次/天；而在美国就拥有160万人次/天的平均流量。今年10月，搜索之王Google以165亿美元的天价将其收购。
作为YouTube的CEO，查德·赫尔利(Chad Hurley)和他的合伙人斯蒂夫·陈(Steve Chen)，远没有Google创始人“把世界变得更好”这样的鸿鹄之志。收购当日，这两个20多岁的年轻人将自己摄入镜头，让全世界都看到他们难掩的喜悦。视频画面因手持摄像机而不断摇晃，他们则滔滔不绝地讲着继续为用户“开发最创新的服务”之类的话，也许正是这样的平民性格才会创造出YouTube这样颇受草根大众喜爱的社区性网站。
大众娱乐新方式
如今，许多美国网友每天至少花一个小时泡在YouTube上。在YouTube上面用户可以找到自己期望的一切，简直就是一个视频版的Google，人们在上面通过标签(相当于关键词)可以了解今天和过去发生的一切。
这一切的开始，是在一次PayPal前员工的聚会上。当时，大家在抱怨很难分享自己拍摄的录像，Chad Hurley和Steven Chen以及另一位PayPal的前员工开始留意这个机会，到2005年2月，他们三人创建了YouTube。
深谙技术的Steven Chen和美术科班出身、富有创造性的Chad Hurley真是完美的组合。其前任雇主PayPal的斯托普尔曼评价道：“这种组合使他们既具备比较软性的元素，如迎合网上人群的喜好，又拥有技术实力。”
创始之初，Chad Hurley和Steven Che的想法是，让大家可以在YouTube上面交换自制的录像。可是从一开始就有人将电视节目和**的片段贴在上面，YouTube成为了美国免费的录像图书馆，所有的人可以在上面任意选择他的所爱。它尤其吸引了年轻人的眼球，并几乎成为他们表达自己的一种方式。这个网站是允许人把录像上传到网上，交换、欣赏和评论的。纽约的泰勒说，YouTube完全改变了他的娱乐方式。
“便捷”、“好用”赢得消费者
YouTube的“走俏”，还在于该网站的“好用”和“便捷”。作为网站合伙人、同时兼任技术总监的Steve Chen，负责整个网站技术方面的工作。他是一个上手很快、能力很强的程序员，他曾因为解决了YouTube因网络流量急剧增长而导致的网络拥堵问题，并由此而成名。良好的“服务”，为YouTube扩大流量提供了技术保障。
YouTube使用的格式可以用无所不在的Flash播放器播放。此举消除了浏览者因没有最新版微软(Microsoft)、RealNetworks或苹果(Apple)的播放器而遭遇的窘境。这使博客(blogger)和其它人很容易从YouTube上抓取一个视频片段，并放置在自己的网页上，从而扩大了其视频内容的观众圈。
YouTube为网友提供了更好的搜索，他们可以按访问量、评价、播放列表和频道里的搜索量来排序结果；YouTube中有最高评价的和有争议的影片列表，如果知道一个影片有3000人次的访问量，500个绝妙的评价，这种感觉是很让人安心的。
Chad Hurley在YouTube被Google收购之后表示，他们将在Google的帮助下在互联网上建立一个新的视频内容模式和平台，抓住视频导入的联动新技术，而这将为他们赢得未来。
影响及评价
因特网革命：网民变信息提供者
科技发达、宽带和摄影器材的普及令短片资讯大行其道。这令网民由传统的接收资讯者，变成资讯发布者，网民更可成立自已的私人影院、影片发布站、新闻站，取代传统的传播媒体。如一名青年人方颖恒拍下的短片竟能带来如此巨大的回向及点击率，因此巴士阿叔令不少香港创作人意识到因特网世界对传统媒体的冲击。 Getdemocracycom发言人穆尔说：“电视及影像的传播途径，正由上而下的模式，转变为由下而上。每人都可创立自己的新闻频道，或上载家庭生活短片。与此同时，愈来愈多人欣赏网上短片，令电视的收视逐渐转移至电脑屏幕。”
网上社群
不少网民借自拍短片分享个人珍藏和心得，如一名来自古巴的美国移民埃利亚斯对男人美腿有特殊喜好，遂于YouTube分享其评足心得。后来他发现在Youtube有不少志同道合者，于是成立“男人脚同好”会，3个月内已招收到逾460个会员亦有英国人透过短片教美国人吃以色列雅法橙蛋糕的方法，每天接获约200个电邮。
揭发风气
巴士阿叔事件后，YouTube涌现了不少香港网民透过手机拍摄巴士、小巴、地铁乘客众生相的影片。YouTube亦曾有一段传统名校拔萃男书院学生，以粗口Rap歌羞骂同学的片段，短片迅速在网上流传，传媒广泛报导，那些学生的行为便被批评为影响校誉。因此，youtube这种网站对短片拍摄者，甚至一般在公众场所活动的市民也有影响。
协助破案
《鸭记啊叔偷野实录》: 原载《东方日报》2006年8月31日 一间鸭寮街影音店内闭路电视拍下有人偷窃，事后短片被上载YouTube 任人浏览，有警务人员惊觉片中的主角怀疑是同袍，结果该名即将退休的警察伯伯已经被捕，案件交由深水埗区重案组调查。
侵犯版权
YouTube自成立以来，其短片曾被不少机构和公司批评为侵犯版权，如Saturday Night Live broadcast、NBC Universal、Family Guy videos owners、Turner Media、Sunrise等。
影片白痴主义
PC Magazine发言人称：“沉迷短片很浪费时间。一旦迷上，就会变成iVideots（影片白痴）。这可说是影片白痴主义……YouTube就像吃玉米花，令人欲罢不能”。
鼓吹社会不良风气
2006年6月1日，英国独立电视台（ITV）批评YouTube及近似的网站鼓吹暴力，因为这些网站上传了由手机拍摄的打斗影片。虽然YouTube禁止过份暴力和色情的影片，但ITV指与这些网站沟通时有一定困难。
2006年8月11日至19日，英国极右派团体在YouTube张贴数段恐吓影片，模仿伊斯兰教激进份子“殉道烈士”录像带，每段影片的长度是二至三分钟。影片内容是一群白人男性荷q实d，手持刀刃棍棒，仿效恐怖份子蒙面装扮，警告所有穆斯林马上离开英国。影片中，一名 *** 威尔斯口音的男子警告英国穆斯林若不“回家”就会被活活烧死，并说全英国已有许多“同志”受够了穆斯林。英国伊斯兰人权委员会执行长Massoud Shadjareh说，这些影片的出现相当令他忧心。英国反法西斯主义杂志《探照灯》发行人Gerry Gable谴责YouTube容许这类提倡恐怖主义的影片存在。
对于YouTube发展方向的争论暂告结束，而对于视频网站价值的争论和商业模式的探索将会继续下去。
10月9日，视频
共享网站YouTube首页的显著位置上有一段来自创始人查德·赫利（Chad Hurley）和斯蒂夫·陈（Steve Chen）的视频，在这段视频里，两人告诉外界，他们已经将网站出售给了Google（Nasdaq：GOOG）。就在当天Google也正式宣布了这一消息，收购总价为165亿美元的Google股票。
由于此前业界对这一收购已经有充分预见，因此收购本身并无太大出人意表之处，一场关于YouTube最终归属和发展方向的争议终于结束了，但是，对于整个的视频互联网行业以及国内外的视频同行来说，在商业模式和发展路径问题上，依旧是悬念重重。
又一个创业传奇
查德·赫利和斯蒂夫·陈让Google的CEO施密特联想起了Google的两位创始人，而塞尔吉·布林自己也表示，在此二人身上看到了创业时的自己。
在创立YouTube之前，29岁的查德·赫利和27岁的斯蒂夫·陈曾经在eBay公司的支付部门Paypal共同工作几年。YouTube的创业灵感来源于在一次聚会上的偶然发现，与朋友在网上分享视频文件或者极为不便由此而萌生了做一个视频共享网站的想法。
2005年初，YouTube正式成立，同许多硅谷传奇故事的开头类似，也曾经有过一段“车库里”的经历，但是很快YouTube就走上了一条飞速发展的道路。目前，YouTube已经在视频网站当中占据了绝对领先优势，根据互联网调查公司Hitwise的数据，YouTube占据了互联网视频领域46％的份额，以绝对的优势领先于对手。
在被Google收购之后，YouTube的主要创始人和主要投资人均从这一交易中收获巨大。据估计其最主要的风险投资商红杉资本有可能从中获利48亿美元。而其主要创始人也借此跻身亿万富翁的行列。
查德·赫利在不久前曾一直坚持，YouTube是非卖品，在他看来IPO才是可以被接受的选择。在将公司出售之后的电话沟通会上，查德·赫利强调，他此前做出这样的表示，是因为想保持公司的独立发展，而在出售给Google之后，YouTube可以继续保持这样的独立性，而且借助Google的资源，YouTube可以更快地成为一个新的媒体平台。
重塑商业模式
在宣布被Google收购的当天，YouTube同时宣布同索尼新力、华纳音乐集团、环球音乐集团以及哥伦比亚广播公司等内容巨头达成合作，成为这些内容企业的传播渠道。而在此之前，因为版权问题，YouTube一直官司缠身。
虽然贵为互联网视频领域的翘楚，虽然已经积累了足够多的人气，但是在商业模式上，YouTube并没有表现出多少过人之处。此前，《经济学家》曾经撰文对YouTube的模式表示担忧，UGC（user generate content）的内容已经充分证明的确可以迅速吸引来很多的访问量，但是具体能否产生利润却是一个未知数。
“星巴克有舒适的座椅，但是它们并没有因此而向用户收费。”UGC的内容模式让Guba创始人之一的汤姆·迈克纳尼联想到了星巴克咖啡的商业模式。星巴克是以合理的价格，提供了舒适的环境，为此人们才乐意买高价咖啡。而这也正是提供UGC内容模式网站所追求的商业模式。通过提供免费互动的平台，这些网站提供了网上的“舒适座椅”，但问题是，到目前为止那杯能带来利润的“咖啡”还未曾出现。

---