python中爬虫请求头的使用

python中爬虫请求头的使用

  爬虫中请求头的作用是在网站使用反爬机制之后，可以在程序中添加请求头来实现反反爬，达到伪装成浏览器的目的，从而实现反反爬机制。

具体步骤如下： 

    打开想爬取的网站，F12打开开发者工具

   

   点击NetWork选项

  

 Ctrl+R刷新请求，点击自己需要的请求即可，找不到默认第一个即可

   然后找到User-Agent选项，全部复制下来之后，在我们的程序中requests.get/post的上面粘贴，

格式为:

headers={'User-Agent':'asodijoaefijuowsgfhaoighoiredugh'}   ps:后面数据是我乱打的，自行配对就好

as=requests.get(url,headers=headers)

然后运行即可