mysql 如何处理亿级数据

1、数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。　

2、最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：select id,title from collect limit 1000,10很快；基本上0.01秒就OK，再看下面的select id,title from collect limit 90000,10从9万条开始分页。

3、8-9秒完成。

4、看下面一条语句:select id from collect order by id limit 90000,10很快，0.04秒就OK。因为用了id主键做索引当然快。

做一些数据库查询，不仅希望得到要查询的结果，还希望方便地计算一下查询结果中有多少条记录。我通常的做法是：

$q = "select * from $fromTable where $where limit $start,$pageSize"

$r = mysql_query($q)

$q = "select count(*) from $fromTable where $where"

$cnt = mysql_query($q)

当 然可以用mysql_num_rows()或者mysql_affected_rows()来在第一次查询后得到记录数目，但是这两个函数返回的都是查询 后得到的结果的数目，是受limit语句的影响的。很多情况下，需要知道这条查询语句在没有limit的情况下结果总数，比如分页查询。

mysql 中本身支持一种更好的方法来达到上面的效果，那就是使用SQL_CALC_FOUND_ROWS和FOUND_ROWS()函数。

方法一：

估算：

1 / (average latency in s + average seek time in s)

阵列：

(Total Workload IOPS * Percentage of workload that is read operations) + (Total Workload IOPS * Percentage of workload that is write operations * RAID IO Penalty)

方法二：

iostat

方法三：

sar