我们抓取数据时,有时候碰到翻页的情况,插件对于翻页处理有2种方式
翻页时会碰到url规律变化的情况
比如企查查中搜索框带科技的企业,抓取10页的企业名录
企查查科技企业
第1页: >
此为Web Scraper 使用教程 第十篇: 进阶用法之爬取二级页面的内容 。
二级页面,大致意思就是需要点击当前网页上的网址进行访问之后才能爬取到的数据,如下图:
要爬取每个职位的****,需要点开每个职位 的链接。
这种情况,web scraper一样也可以进行处理,爬取的效果如下:
视频演示
视频当中通过演示两个例子来说明如何爬取二级页面的内容
之前的教程可以看这里:
1、Web Scraper 使用教程(一)- 安装
2、Web Scraper 使用教程(二)- 基本用法之安装、配置、运行
3、Web Scraper 使用教程(三)- 基本用法(常用选择器类型)
4、Web Scraper 使用教程(四)- 进阶用法(同一个页面爬取多个类型内容)
5、Web Scraper 使用教程(五)- 进阶用法(爬取向下滚动加载页面)
6、Web Scraper 使用教程(六)- 进阶用法(网址有规律变化进行翻页)
7、Web Scraper 使用教程(七)- 进阶用法(点击「翻页器」进行翻页)
8、Web Scraper 使用教程(八)- 进阶用法(点击「更多」进行翻页)
9、Web Scraper 使用教程(九)- 进阶用法(动态加载进行翻页)
欢迎交流!
以上就是关于2.5 翻页选择器Element click selector --webscraper *** 作手册全部的内容,包括:2.5 翻页选择器Element click selector --webscraper *** 作手册、如何在HD2上让ucweb可以方便翻页,不用滑动屏幕、Web Scraper 使用教程(十)- 爬取二级页面的内容等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)