Python爬虫笔记（二）requests模块get，post，代理

  import requests

  base_url = '>

爬虫代理是爬虫过程中不可或缺的要素。当你爬取的数据达到一定量后，你会发现程序会时不时给你报错，而且频率越来越来高。这说你的爬虫被人家识别出来了，对方的反扒系统已经记住了你。通常会告诉你连接超时、连接中断更有甚者会直接中断你程序。

User-Agent是一个特殊字符串头，被广泛用来标示浏览器客户端的信息，使得服务器能识别客户机使用的 *** 作系统和版本，CPU类型，浏览器及版本，浏览器的渲染引擎，浏览器语言等。

不同的浏览器会用不同的用户代理字符串作为自身的标志，当搜索引擎在通过网络爬虫访问网页时，也会通过用户代理字符串来进行自身的标示，这也是为何网站统计报告能够统计浏览器信息，爬虫信息等。网站需要获取用户客户端的信息，了解网站内容在客户端的展现形式，一些网站通过判断UA来给不同的 *** 作系统，不同的浏览器发送不同的页面，不过这也可能造成某些页面无法再某个浏览器中正常显示

我们可以获取随机User-Agent与使用，用上了随机User-Agent和代理IP大部分网站就没有什么问题了，但还是会出现一些反扒措施比较厉害的网站，还需要使用代理IP来破除IP限制的。

获取免费代理IP地址的方法有以下几种：

公开代理网站：许多网站提供公开代理IP地址，可以通过搜索引擎或者访问代理网站列表来获取。这些网站的IP地址可能会被滥用，也可能会比较慢，因此需要谨慎使用。

爬虫工具：通过爬虫工具自动爬取公开代理网站上的IP地址并保存到本地文件中，例如使用Python的requests库和BeautifulSoup库进行爬取。

免费代理IP池：一些网站提供免费代理IP池，例如ProxyPool和ProxyScrape等，这些池会自动更新可用的代理IP地址，可以直接从这些网站中获取可用的IP地址。

需要注意的是，免费的代理IP地址可能会比较不稳定，而且可能会被滥用，因此使用时需要谨慎。如果需要更为稳定和可靠的代理IP服务，可以考虑付费使用专业的代理IP服务商提供的服务。

浏览器手动切换代理IP
设置浏览器代理IP上网是一种常见而原始的方式。不同的浏览器设置代理IP的方法略有不同，但原理都差不多。通过浏览器手动切换代理IP的方法效率很低，每次切换相当于重置代理IP。它的优点是不需要其他软件或代码。
软件切换代理IP
IP代理软件有很多种，软件切换代理IP有两种方式，一种是手动切换代理IP，即一键切换代理IP；另一种是自动切换**，设置切换代理IP的条件。
程序代码切换代理IP
这种方法大多用于网络爬虫，数据挖掘，效果补偿等等业务，相关工作者会根据业务需求来编写代码以此实现IP切换。切换的方式有很多种，一种是通过API接口获取代理IP，然后通过代码控制切换代理IP；一种是使用动态转发，让服务器自动切换代理IP。

---