如何批量爬取多个网页上不同样式的表格?

如何批量爬取多个网页上不同样式的表格?,第1张

多页数据和单页的原理其实差不多,但是,要根据页面的规律,通过一些函数去实现循环调用。下面用全部页面为例进行说明:

列表转换函数(ListTransform)及数据批方法处理

ListTransform函数的基本功能是实现一个列表到另一个列表的转换,即输入一个列表,相应地得到一个经某些规则转换后的列表。

先来看一下ListTransform函数的基本语法:

ListTransform(列表,转换函数)

语法本身很简单,但是,其中的两个参数都非常灵活,因为:

1、第一个参数是列表,但是,列表里的内容是可以任意的东西,简单到几个数字,复杂到一个个的表,甚至可以是表中带表等任何东西!

2、转换函数可以简单到只返回一个字符,却又可以复杂到引用各种函数写任何功能强大的函数体!

所以,单纯学会这个函数的简单用法不难,但要做到灵活运用,就需要在日后大量的实际案例中磨练。

现从几个例子,先让大家对这个函数有一个比较全面的认识。

例1、给某个列表中的数字都加上1(简单的对应转换)

=ListTransform({30,40,21,33},each_+1)

结果:{31,41,22,34}

说明:转换函数中的下换线“_”表示输入列表中的每一个(当前计算)元素

例2、生成一个带10个元素的列表,每个元素的内容均为“A”(生成的内容可以和输入列表完全没有关系)

=ListTransform({110},eachA)

结果:{A,A,A,A,A,A,A,A,A,A}

例3、将数字1~26转换为字母“A”~“Z”

=ListTransform({126},eachCharacterFromNumber(64+_))

上面3个例子,简单体现了ListTransform函数将一个列表转换成另一个列表的过程,但是,这仅仅是它的基本功能,实际上,ListTransform还给了你一个批量 *** 作的机制,让你可以批量 *** 作各种内容!

例4、批量获取全部数据

首先回头看一下单页实时信息 *** 作时生成的代码:

这个代码里,实际上只需要将页码进行批量输入,就可以得到批量信息,我们先删除其他步骤代码,仅保留最关键的两行代码,然后套上ListTransform函数修改为自定义函数(并将两行代码连成一个完整语句)如下:

这样,当我们在pg_lst参数中输入页码列表时,所有页码会被ListTransform函数批量转换为对应的数据,如取第1~3页数据:

结果如下:

得到了批量的数据,后续就可以转换到表,然后进行后续的数据处理了,不再赘述。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/13323851.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-15
下一篇 2023-07-15

发表评论

登录后才能评论

评论列表(0条)

保存