java 怎样分页存储数据到mysql数据库

根据我的理解你的程序的主要作用是：

抓取另外一个网站的页面内容

解析后存储到自己的数据库里面

然后再在页面上显示刚刚抓取的数据

如果我的理解正确的话，你要做的是一个网站数据采集器，那么

分页存储的方法有两种：

方案A

在数据库找个表存储当前进行到的序号，比如现在网站上有1000个数据，有个字段可以标定数据的序号，就是网站文章的id（这个数据根据业务的不同要自己去寻找）

然后你读取对方网站的时候先把网站的html读取到java内存中，然后解析这些html，读出一个list列表

在对list列表遍历的时候，把文章的id跟数据库中存储的文章id比对，如果发现是已经存储过的文章id就不存储，如果是没存储过的再存储

在遍历的过程中记录下当前存储的文章数量，当达到一个指定的数量（你可以自己定义，比如是100个文章）的时候停止存储，并退出循环，然后把当前遍历到的文章id存储到数据库中

这样就实现了每次只存储指定的数量（比如100个文章）

方案B

如果你要抓取的网站也是分页的，那么你就每次抓取一页，并把当前抓取到的页数记录到数据库中

通过观察得出对方网站的不同页数据的url规律，比如发现他们网站第x页的数据总是根据 域名/具体的页面page=x ，那么下次抓取的时候，从数据库读出上次抓取的页面数，然后加1

拼出新的页面的url，然后访问，再进行抓取

这样就实现了每次只存储一页数据

分页显示的方法：

使用mysql的 limit 语法：limit x,y ，代表从第x行开始读取 y 行数据

假定当前要翻到第page页，每页有row行数据，sql要这么写

select  from user limit ((page-1)row),row

举个例子一页20条，第3页的写法

select  from user limit 40,20

grid的分页功能本身就是对数据库数据分页后的一个数据显示，并可以执行翻页查询其他页的信息。全部信息则只需要将limit参数设置为数据总条数，pagesize也设置为数据行数。grid中不设置分页组件是可以直接显示全部信息，url中不设置limit和start参数。注:数据量太多时不宜全部显示

不知道你的分页是在数据库分页还是在客户端页面中分页。

不管怎么分页，通用的方法是，把每页要显示的 条数传给后台，重新 *** 作数据库，读取你要获取的那一条数据。

比如，库中有200条数据，每页显示20条，那么首页显示的是数据库中的第1-20条。

select from table where rownum <= 20 order by rownum;

第二页显示的是

select from (select a,rownum pxid from table a order by pxid) t where tpxid <= 20 and tpxid >10;

第一页的最后一条记录就是

select from (select a,rownum pxid from table a order by pxid) t where tpxid = 20;

希望对你有帮助。

暂时就这么多吧，不明白的地方可以追问。

很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。

我们先从一个常用但性能很差的查询来看一看。

SELECT

FROM city

ORDER BY id DESC

LIMIT 0, 15

这个查询耗时000sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。

CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;

真正的问题在于offset(分页偏移量)很大的时候，像下面这样：

SELECT

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

上面的查询在有2M行记录时需要022sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。

对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。

SELECT COUNT()

FROM city;

然而，上面的SQL在采用InnoDB为存储引擎时需要耗费928sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。

SELECT SQL_CALC_FOUND_ROWS

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

这个语句耗时2002sec，是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。

下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。

高效的计算行数

如果采用的引擎是MyISAM，可以直接执行COUNT()去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。

我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些 *** 作导致缓存失效时，执行下面的语句：

SELECT COUNT()

FROM city

USE INDEX(PRIMARY);

获取记录

下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。

CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;

一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。

SELECT

FROM news WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage

查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。

SELECT

FROM news WHERE id > $last_id

ORDER BY id ASC

LIMIT $perpage

上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。

SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage $buttons

)C

WHERE cnt = 0;

通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offset Id，这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。

如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。

SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;

当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。

UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON Cid = Tid

SET Tpage = Cpage;

现在想获取任意一页的元素就很简单了：

SELECT

FROM news A

JOIN pagination B ON Aid=BID

WHERE page=$offset;

还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。

CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;

接下来就可以向下面一样执行分页查询了。

SELECT

FROM _tmp

WHERE OFFSET >= $offset

ORDER BY OFFSET

LIMIT $perpage;

简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。

1、新建模板

新建模板mutipagecpt，为了加快展示速度，我们可以使用分页查询，获取每个产品的详细信息并计算产品对应的订单中的应付金额，因此添加数据集时查询SQL语句为select 产品产品ID,产品名称, 供应商ID , 类别ID, 单位数量, 产品单价, 产品库存量, 产品订购量,sum(应付金额) as 应付款项 from 产品,订单,订单明细 where 产品产品ID=订单明细产品ID and 订单明细订单ID=订单订单ID and 产品产品ID between 10(${page}-1)+1 and 10${page} group by 产品产品ID,产品名称, 供应商ID , 类别ID, 单位数量, 产品单价, 产品库存量, 产品订购量 order by 产品产品ID，设置参数page的默认值为1，首次看到的是第一页，只查询出第1~20条记录；若page参数为2时，查询出第21~40条记录，即第二页内容。

2、自定义上一页、下一页按钮

在单元格中求出上一页、下一页页码的值

自定义上、下一页按钮

点击模板>模板web属性>分页预览设置，选择为该模板单独设置，在工具栏中增加两个自定义按钮分别命名为上一页，下一页，是工具栏上只剩下如下图所示几个按钮。

3、第一页与最后一页处理

求出总页数

双击总数所在单元格d出数据列设置对话框，选择高级>自定义显示，在自定义中填入公式：roundup($$$/10,0)求出总页数。

将第一行的行高设置为0，或者是隐藏：

上一页按钮设置：选中上一页自定义按钮，点击自定义JavaScript，在js中填入

var page= $("tr[tridx=0]","divcontent-container")children()eq(0)html();  

if(page==0)//如果报表显示第一页，则上一页不可用

thissetEnable(false);

else

windowlocationhref="${servletURL}reportlet=doc/Advanced/multipagecpt&page="+page;

下一页按钮设置与上一页的js差不多，只需要获取B1的值就可以了，所以在js中填入

var page= $("tr[tridx=0]","divcontent-container")children()eq(1)html();  

var total=$("tr[tridx=0]","divcontent-container")children()eq(2)html();  

if(parseInt(page) > parseInt(total))//如果报表显示最后一页，则下一页不可用

{

thissetEnable(false);

}

else

windowlocationhref="${servletURL}reportlet=doc/Advanced/multipagecpt&page="+page;

分页预览即可查看效果

第一步：我们可以利用$_GET方法获取某一个参数的值，在用户点击上一页、下一页、首页或者末页时获取不同的动态参数

第二步：根据MySQL的limit关键字，对动态参数进行SQL语句拼接

将定义每页显示的数据条数，在limit第一个参数的位置中，根据地址栏参数的动态变化从而实现指定从第几条数据开始显示数据

以上就是关于java 怎样分页存储数据到mysql数据库全部的内容，包括:java 怎样分页存储数据到mysql数据库、前端一下获取所有数据怎么实现分页、table是分页的，那我通过点击第二页的第一行怎么才能获取到第一页最后一行的值等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！