淘宝技术发展（Java时代：坚若磐石）

读者一直在急切地询问如何摆脱IOE。别急，离摆脱IOE还有很长的路要走。他们买了小服务器后，大家都用Oracle，七公带了一批DBA改进SQL和存储，带了几个系统架构师科学研究数据库的可扩展性。甲骨文本身就是一个封闭的系统。如何用Oracle扩展？现在一个时髦的说法是“分库分表”。

我们知道，一个Oracle的解决能力是有限的，它的数据库连接池是受总数限制的，查看率与体积成反比。简单来说，几亿的信息，几亿的浏览量，会达到极限。要改善这种限制，一个非常简单的方法就是利用好多个Oracle数据库。但是，封闭系统的扩展并不像分布式系统那样容易。大家按照ID把客户信息放入两个数据库(DB1/DB2)，把产品信息放入与商家匹配的两个数据库，把产品类别等一般信息放入第三个数据库(DBcommon)。那么，除了增加数据库的容量之外，另一个目标就是进行灾难恢复备份。万一一个数据库死了，所有网站一半的数据信息都可以实际 *** 作。

数据库如此划分后，应用软件就麻烦了。如果我是一个客户，我购买的产品是DB1和DB2，如果我想查询“我购买的产品”，应用软件应该怎么做？请务必在两个数据库中查找匹配的产品。想按时间排序，该怎么做？把两个库中所有的“我购买过的商品”都找出来，一起放到应用软件里。还有分页查询。如何处理它们？如何应对关键词查看？这种货要是交给成就惨了，所以星典的淘宝第一架构的作品解决了这个问题。他写了一个数据库路由器架构DBRoute，在淘宝的Oracle时期就已经在用了。之后随着业务流程的发展趋势，这种存储库的第二个目的——容灾备份也没有达到实际效果。在很多领域，比如评论、举报、指责、个人收藏、我的淘宝等。，有必要另外连接DB1和DB2。任何一个库挂机，所有网站都会挂机。

上一篇文章提到，选择实际上是和Sun的技术工程师妥协的结果。他们走后，EJB渐渐被冷却下来。2005年和2006年，spring是多彩的，只是用spring的反射面(IoC)模式代替了EJB的工厂模式，简化了整个系统的很多代码。

上一篇文章也说了，为了更好的减轻数据库的工作压力，提高检索效率，我们导入了百度搜索引擎。随着信息量的再次增加，2005年产品1663万，PV893.1万，注册会员1390万，仍然对山东大学的数据信息和存储造成压力，信息量大，速度慢的特点。亲爱的，有没有其他方法可以改善系统的特性？肯定有一些招数可以用，就是缓存和CDN(内容分发互联网)。

你能想象，9000万的浏览量中，有多少是在商品详情页？浏览此网页时，所有数据信息都是写保护的(所有数据都是从数据库中读取的，但不会加载到数据库中)。如果将实际的读取 *** 作从数据库移到运行内存中，数据库可能会非常感激。当时我们的系统架构师多隆大师找了一个基于BerkeleyDB开源系统的缓存系统，在里面放了很多不变的写保护信息。其实一开始这个缓存系统比较弱，大家并没有把商品的所有细节都放进去。一开始他们把商家的信息放进去，然后把商品的属性放进去。“商品详情”这个字段的名字大到不能吃。说到产品细节，这个领域的名字就比较可怕了。有人统计过，淘宝商品详情的文案平均有5米长，实际放在系统的任何地方都是不被任何人接受的。Taobao.com之后，边肖清楚地记得我作为项目经理做的第一个新项目是从产品列表中删除产品的细节。这个字段名太大了，很多人在查看产品信息的时候不需要多查。和商品的价格、运输成本一起放在一个表格里，拖慢了所有表格的观看速度。2005年，我把商品明细放到数据库的另一个表中，然后后面的厚字段被请出数据库，也让数据库再次感恩。

如果不需要缓存，一天几十亿的负载，数据库会怎么样？肯定会挂。然后呢？亲爱的...先不回应你(下图不是广告，让你看看流量的数据信息在哪里)

CDN的工作相对独立。和其他系统一样，大家一开始都选择了商用系统。之后随着总流量的增加，商业系统早已失效。张博士是的创始人，带领大家建立了淘宝自己的CDN互联网。在文章的前言中，我说过淘宝的CDN系统支持800Gbps以上的总流量。作为对比，可以看一下国内专门做CDN的上市公司ChinaCache的详细介绍——“ChinaCache...是国内排名第一的CDN服务提供商，向客户展示多方位互联网内容快速传播的解决方案。作为第一家获得信息产业部批准的CDN服务商，目前ChinaCache在全国50个一二线城市拥有近300个连接点，各大网站解决方案容量超过500Gbps。其CDN无线网络覆盖中国电信、中国网通、中国移动、中国联通、中国铁通、中国教育科研网等各个运营商。”——然后你就可以看到淘宝在CDN上的整体实力，在全球都是数一数二的。另外，由于CDN需要很多网络服务器，消耗大量电能(成本多少？前两年我们算了一笔账，淘宝造成一笔生意，用的电足够煮四个生鸡蛋)。近两年来，张的精英团队在用电网络服务器和翡翠计量行业的科研方面做了大量开创性的工作。淘宝CDN的发展趋势一定是专门做一个章节目录。如果你想很快看到它，你可以看看对张的采访。

做了一些编码，改了CSS和JS，客户本地缓存的信息没有升级，网页会被打乱。在社区论坛被别人告知的情况下，我告诉它用ctrlF5刷新页面，然后快速更改脚本文件名称，重新发布页面。一个学好ctrlF5的vip会员，什么都羡慕，我却觉得惭愧。

有些技术发展趋势是偶然的，而有些则是意想不到的。到了2007年，已经有几百台web服务器了，上面的javaweb服务器就是weblogic，weblogic非常贵，比web服务器本身还贵。有一段时间，多隆科学地研究jboss，说每个人都应该改变weblogic，这样可以节省很多钱。那一年，老刘举办了第一届“网络骑士交流会”。其中一个骑士就是上面提到的张，另一个骑士曾经在jboss精英团队工作过。大家都留着这个骑士，让大家更有信心使用jboss。

框架图如下: