MongoDB 数据库

游戏服务器开发中，玩家的账号，背包，装备，物品，排名等数据都需要落地存储在数据库中。行业中主流的数据库当属mysql，优点是免费开源，从端游时代过渡过来的程序员，求稳保守的话大多数会选用mysql数据库做存储。但是游戏中要存储的数据表会经常改动，导致数据库的表会频繁更新改动表结构，如果游戏数据量达到千万级别，对所有的表刷新改动会是一项很恐怖的事情，期间如果再出错，运维跟开发人员估计全都GG。

为了应对方便扩展，提升读写速度，NoSQL数据库（非关系型数据库）诞生。在NoSQL中应用比较广泛的当属mongodb和redis，由于对开发者友好，方便快速开发迭代高可用复制集满足数据高可靠、服务高可用的需求，运维简单，故障自动切换可扩展分片集群海量数据存储被游戏服务器广泛应用。现在的项目《鹿鼎记》用redis做高速缓存角色列表信息数据。

这种用法对于以下应用场合来讲，超实用：

置于慢速RDBMS系统之前的写 *** 作密集型高速缓存

嵌入式系统

无需持久化数据的PCI兼容系统

需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit testing）

如果这一切可以实现就真是太优雅了：我们就能够巧妙地在不涉及磁盘 *** 作的情况下利用MongoDB的查询/检索功能。可能你也知道，在99％的情况下，磁盘IO（特别是随机IO）是系统的瓶颈，而且，如果你要写入数据的话，磁盘 *** 作是无法避免的。

MongoDB有一个非常酷的设计决策，就是她可以使用内存影射文件（memory-mapped file）来处理对磁盘文件中数据的读写请求。这也就是说，MongoDB并不对RAM和磁盘这两者进行区别对待，只是将文件看作一个巨大的数组，然后按照字节为单位访问其中的数据，剩下的都交由 *** 作系统（OS）去处理！就是这个设计决策，才使得MongoDB可以无需任何修改就能够运行于RAM之中。

实现方法

这一切都是通过使用一种叫做tmpfs的特殊类型文件系统实现的。在Linux中它看上去同常规的文件系统（FS）一样，只是它完全位于RAM中（除非其大小超过了RAM的大小，此时它还可以进行swap，这个非常有用！）。我的服务器中有32GB的RAM，下面让我们创建一个16GB的 tmpfs：

# mkdir /ramdata # mount -t tmpfs -o size=16000M tmpfs /ramdata/ # df Filesystem           1K-blocks      Used Available Use% Mounted on /dev/xvde1             5905712   4973924    871792  86% / none                  15344936         0  15344936   0% /dev/shm tmpfs                 16384000         0  16384000   0% /ramdata

接下来要用适当的设置启动MongoDB。为了减小浪费的RAM数量，应该把smallfiles和noprealloc设置为true。既然现在是基于RAM的，这么做完全不会降低性能。此时再使用journal就毫无意义了，所以应该把nojournal设置为true。

dbpath=/ramdata nojournal = true smallFiles = true noprealloc = true

MongoDB启动之后，你会发现她运行得非常好，文件系统中的文件也正如期待的那样出现了：

# mongo MongoDB shell version: 2.3.2 connecting to: test > db.test.insert({a:1}) > db.test.find() { "_id" : ObjectId("51802115eafa5d80b5d2c145"), "a" : 1 } # ls -l /ramdata/ total 65684 -rw-------. 1 root root 16777216 Apr 30 15:52 local.0 -rw-------. 1 root root 16777216 Apr 30 15:52 local.ns -rwxr-xr-x. 1 root root        5 Apr 30 15:52 mongod.lock -rw-------. 1 root root 16777216 Apr 30 15:52 test.0 -rw-------. 1 root root 16777216 Apr 30 15:52 test.ns drwxr-xr-x. 2 root root       40 Apr 30 15:52 _tmp

现在让我们添加一些数据，证实一下其运行完全正常。我们先创建一个1KB的document，然后将它添加到MongoDB中4百万次：

> str = "" > aaa = "aaaaaaaaaa" aaaaaaaaaa > for (var i = 0 i < 100 ++i) { str += aaa } > for (var i = 0 i < 4000000 ++i) { db.foo.insert({a: Math.random(), s: str})} > db.foo.stats() {         "ns" : "test.foo",         "count" : 4000000,         "size" : 4544000160,         "avgObjSize" : 1136.00004,         "storageSize" : 5030768544,         "numExtents" : 26,         "nindexes" : 1,         "lastExtentSize" : 536600560,         "paddingFactor" : 1,         "systemFlags" : 1,         "userFlags" : 0,         "totalIndexSize" : 129794000,         "indexSizes" : {                 "_id_" : 129794000         },         "ok" : 1 }

可以看出，其中的document平均大小为1136字节，数据总共占用了5GB的空间。_id之上的索引大小为130MB。现在我们需要验证一件 非常重要的事情：RAM中的数据有没有重复，是不是在MongoDB和文件系统中各保存了一份？还记得MongoDB并不会在她自己的进程内缓存任何数据，她的数据只会缓存到文件系统的缓存之中。那我们来清除一下文件系统的缓存，然后看看RAM中还有有什么数据：

# echo 3 > /proc/sys/vm/drop_caches  # free              total       used       free     shared    buffers     cached Mem:      30689876    6292780   24397096          0       1044    5817368 -/+ buffers/cache:     474368   30215508 Swap:            0          0          0

可以看到，在已使用的6.3GB的RAM中，有5.8GB用于了文件系统的缓存（缓冲区，buffer)。为什么即使在清除所有缓存之后，系统中仍然还有5.8GB的文件系统缓存？？其原因是，Linux非常聪明，她不会在tmpfs和缓存中保存重复的数据。太棒了！这就意味着，你在RAM只有一份数据。下面我们访问一下所有的document，并验证一下，RAM的使用情况不会发生变化：

果不其然！ :)

复制（replication）呢？

既然服务器在重启时RAM中的数据都会丢失，所以你可能会想使用复制。采用标准的副本集（replica set）就能够获得自动故障转移（failover），还能够提高数据读取能力（read capacity）。如果有服务器重启了，它就可以从同一个副本集中另外一个服务器中读取数据从而重建自己的数据（重新同步，resync）。即使在大量数据和索引的情况下，这个过程也会足够快，因为索引 *** 作都是在RAM中进行的 :)

有一点很重要，就是写 *** 作会写入一个特殊的叫做oplog的collection，它位于local数据库之中。缺省情况下，它的大小是总数据量的5%。在我这种情况下，oplog会占有16GB的5%，也就是800MB的空间。在拿不准的情况下，比较安全的做法是，可以使用oplogSize这个选项为oplog选择一个固定的大小。如果备选服务器宕机时间超过了oplog的容量，它就必须要进行重新同步了。要把它的大小设置为1GB，可以这样：

oplogSize = 1000

分片（sharding）呢？

既然拥有了MongoDB所有的查询功能，那么用它来实现一个大型的服务要怎么弄？你可以随心所欲地使用分片来实现一个大型可扩展的内存数据库。配置服务器（保存着数据块分配情况）还还是用过采用基于磁盘的方案，因为这些服务器的活动数量不大，老从头重建集群可不好玩。

注意事项

RAM属稀缺资源，而且在这种情况下你一定想让整个数据集都能放到RAM中。尽管tmpfs具有借助于磁盘交换（swapping）的能力，但其性能下降将非常显著。为了充分利用RAM，你应该考虑：

使用usePowerOf2Sizes选项对存储bucket进行规范化

定期运行compact命令或者对节点进行重新同步（resync）

schema的设计要相当规范化（以避免出现大量比较大的document）

企业里常用的数据库软件有Mysql、PostgreSQL、MicrosoftSQLServer、Oracle数据库、MongoDB。

1、Mysql。

MySQL原本是一个开放源码的关系数据库管理系统，原开发者为瑞典的MySQLAB公司，该公司于2008年被升阳微系统（SunMicrosystems）收购。2009年，甲骨文公司（Oracle）收购升阳微系统公司，MySQL成为Oracle旗下产品。

MySQL由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用。

2、PostgreSQL。

PostgreSQL可以说是目前功能最强大、特性最丰富和结构最复杂的开源数据库管理系统，其中有些特性甚至连商业数据库都不具备。这个起源于加州大学伯克利分校的数据库，现已成为一项国际开发项目，并且拥有广泛的用户群，尤其是在海外，目前国内使用者也越来越多。

PostgreSQL基本上算是见证了整个数据库理论和技术的发展历程，由UCB计算机教授MichaelStonebraker于1986年创建。在此之前，Stonebraker教授主导了关系数据库Ingres研究项目，88年，提出了Postgres的第一个原型设计。

MySQL号称是使用最广泛的开源数据库，而PG则被称为功能最强大的开源数据库。

3、MicrosoftSQLServer。

SQLServer是Microsoft开发的一个关系数据库管理系统(RDBMS)，现在是世界上最为常用的数据库。SQLServer 现在是包括内置的商务智能工具，以及一系列的分析和报告工具，可以创建数据库、备份、复制、安全性更好以及更多。

SQLServer是一个高度可扩展的产品，可以从一个单一的笔记本电脑上运行的任何东西或以高倍云服务器网络，或在两者之间任何东西。虽然说是“任何东西”，但是仍然要满足相关的软件和硬件的要求。

4、Oracle数据库。

Oracle数据库系统是美国Oracle（甲骨文）公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器（Client/Server，C/S）或浏览器/服务器（Browser/Server，B/S）体系结构的数据库之一。

Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。

5、MongoDB

mongoDB是一个介于关系数据库和非关系数据库之间的开源产品，是最接近于关系型数据库的NoSQL数据库。它在轻量级JSON交换基础之上进行了扩展，即称为BSON的方式来描述其无结构化的数据类型。尽管如此它同样可以存储较为复杂的数据类型。

参考资料来源：百度百科——Mysql

参考资料来源：百度百科——PostgreSQL

参考资料来源：百度百科——MicrosoftSQLServer

参考资料来源：百度百科——Oracle数据库

参考资料来源：百度百科——MongoDB

---