【python爬虫】加密代理IP的使用与设置一套session请求头

概述1:代理ip请求，存于redis： # 请求ip代理连接，更新redis的代理ip def proxy_redis(): sr = redis.Redis(connection_pool=Pool)

1:代理ip请求，存于redis：

# 请求ip代理连接，更新redis的代理ipdef proxy_redis():    sr = redis.Redis(connection_pool=Pool)    proxys_text = requests.get("你请求代理IP的地址").text    更新redis    ret = sr.set('proxy_List',proxys_text) 检测ip代理是否有用 有用返回True,无用返回False check_proxy(proxy_List):    print(检测的ip池是try:        for proxy in proxy_List:            ret = requests.get(https://www.baIDu.com/",proxIEs={https": http://账号:密码@{}.format(proxy)}).text        IP可用)        return True    except Exception as e:         False 返回请求代理池 get_proxy_List():    while True:        sr = redis.Redis(connection_pool=Pool)        ip_List = sr.get(")                    redIEs拿到数据        proxy_List = ip_List.split(\r\n")             数据结构格式化   列表        ret = check_proxy(proxy_List)                     检测代理是否有效果        if ret == True:            请求代理池: proxy_List            break        else:            proxy_redis()            redis池更新成功")

2： 设置session的N套请求头：

　　　　# 1：        session = requests.Session()   设置一组session请求        session.proxIEs = {            http.format(proxy), head()        session.headers.update(headers)   更新请求头 请求头自定义        session.post(https://www.amazon.com/gp/delivery/AJAX/address-change.HTML 设置cookeis        ret = session.get(https://www.amazon.com/dp/B0047CJZLMheaders).text        IUSC.append(session)             1         2        session = requests.Session()  http://sellerbdata:lv6nv17v@{} head()        session.headers.update(headers)        session.post( 设置邮编        IUSC.append(session)         2

总结

以上是内存溢出为你收集整理的【python爬虫】加密代理IP的使用与设置一套session请求头全部内容，希望文章能够帮你解决【python爬虫】加密代理IP的使用与设置一套session请求头所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。