为什么Python2.7爬虫无法获取全部Cookie

为什么Python2.7爬虫无法获取全部Cookie,第1张

用requests的session()方法就是了,

s = requestssession()

r = spost(url, data) # 登录

sget(url1) 这是保持登录状态的访问

import requests

import json

def get_session():

    s = requestsSession()

    params = {

        "username": "admin",

        "password": "pwd"

    }

    r = sget(login_url, params=params)

    doc = jsonloads(rtext)

    if docget('code', -1) == 0: 

        return s

    return None

gs = get_session()

r = gsget(other_url) 

# gs 就是携带了cookie信息的了,当然你也可以自己获取到cookie然后加到你的请求当中

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie,然后再抓取其他页面就达到目的了,那么python爬虫使用Cookie如何进行

登录请求302发生了重定向,这种情况直接请求会发现拿到的cookie只有一个

这时候想要拿到重定向前的cookies可以在请求的时候加上allow_redirects=False 禁止自动重定向

#import cookielib

from urllib2 import Request, build_opener, >

从cookiesget_dict()中获取就可以了。

import request

ssession = requestsSession()

sessioncookiesget_dict()

response = sessionget('>

以上就是关于为什么Python2.7爬虫无法获取全部Cookie全部的内容,包括:为什么Python2.7爬虫无法获取全部Cookie、python模拟登陆后怎么鎐ookie请求其他网站、python爬虫使用Cookie如何进行等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/web/9763042.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-01
下一篇 2023-05-01

发表评论

登录后才能评论

评论列表(0条)

保存