python期末项目(部分爬虫）

python期末项目(部分爬虫）

一.爬取部分的代码：

1.首先模拟浏览器，通过查看Host,Upgrade-Insecure-Requests,User-Agent补充head部分，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。

2.设置getfront，getInformation函数爬取网页源代码。page为页数，item为搜索时输入的字符串，通过urllib.parse.quote(item)将字符串转成十六进制编码，ur2为爬取网页信息的部分网址，ur1为网址中随页数与输入的字符串不同而产生变化的部分，res为拼接出的网址。读取源代码并解码，将源代码中的\,[,]全部替换为空。

3.通过正则表达式，从文本字符串中获取我们想要的特定部分（"过滤"），findall 以列表形式返回全部能匹配的子串，如果没有匹配，则返回一个空列表。最终筛选出所需的数据。

4.建立Excel表格存储信息。调用函数爬取数据存储到创建的Excel表格中。 导入xlwt库，新建一个excel文件，创建一个新的表单，设置每一列参数。

5.利用一个双层循环，将爬取到的数据存入excel表中，设置爬取页数，第一层循环是遍历1到x(x为要爬取的最大页数)，调用获取网页原码，把每一页遍历到的数据传入内层循环，利用双层循环来实现换页爬取与换行输出，最后设置一个休息间隔，避免爬取海量数据时被误判为攻击，IP遭到封禁。

二.代码实现：

1.爬取部分运行效果：

2.输入想要搜索的职业名称：

3.爬取到的信息存储在Excel表中：