#import cookielib
from urllib2 import Request, build_opener, >
cookie是有过期时间的,网站设置了有个值,所以到了过期时间就会失效
退出了的话服务器会知道你的cookie里session已经过期。
大概有,比如经常保持此会话活动状态。
不过最好还是把你的代码改进为脚本自动登录获取cookie,Python的requests库文档里有讲怎么配置登录:>
scrapyFormRequest
loginpy
class LoginSpider(scrapySpider):
name = 'login_spider'
start_urls = ['hincom'] def parse(self, response):
return [
scrapyFormRequestfrom_response(
response, # username和password要根据实际页面的表单的name字段进行修改
formdata={'username': 'your_username', 'password': 'your_password'},
callback=selfafter_login)] def after_login(self, response):
# 登录后的代码
pass123456789101112131415
selenium登录获取cookie
get_cookie_by_seleniumpy
import pickleimport timefrom selenium import webdriverdef get_cookies():
url = 'httestcom'
web_driver = webdriverChrome()
web_driverget(url)
username = web_driverfind_element_by_id('login-email')
usernamesend_keys('username')
password = web_driverfind_element_by_id('login-password')
passwordsend_keys('password')
login_button = web_driverfind_element_by_id('login-submit')
login_buttonclick()
timesleep(3)
cookies = web_driverget_cookies()
web_driverclose() return cookiesif __name__ == '__main__':
cookies = get_cookies()
pickledump(cookies, open('cookiespkl', 'wb'))12345678910111213141516171819202122232425
获取浏览器cookie(以Ubuntu的Firefox为例)
get_cookie_by_firefoxpy
import sqlite3import pickledef get_cookie_by_firefox():
cookie_path = '/home/name/mozilla/firefox/bqtvfe08default/cookiessqlite'
with sqlite3connect(cookie_path) as conn:
sql = 'select name,value from moz_cookies where baseDomain="testcom"'
cur = conncursor()
cookies = [{'name': name, 'value': value} for name, value in curexecute(sql)fetchall()] return cookiesif __name__ == '__main__':
cookies = get_cookie_from_firefox()
pickledump(cookies, open('cookiespkl', 'wb'))12345678910111213141516
scrapy使用获取后的cookie
cookies = pickleload(open('cookiespkl', 'rb'))yield scrapyRequest(url, cookies=cookies, callback=selfparse)12
requests使用获取后的cookie
cookies = pickleload(open('cookiespkl', 'rb'))
s = requestsSession()for cookie in cookies:
scookiesset(cookie['name'], cookie['value'])1234
selenium使用获取后的cookie
from selenium import webdriver
cookies = pickleload(open('cookiespkl', 'rb'))
w = webdriverChrome()# 直接添加cookie会报错,下面是一种解决方案,可能有更好的# -- start --wget('hwwtestcom')
wdelete_all_cookies()# -- end --for cookie in cookies:
wadd_cookie(cookie)
用requests的session()方法就是了,
s = requestssession()
r = spost(url, data) # 登录
sget(url1) 这是保持登录状态的访问
Cookie可以用火狐浏览器、谷歌浏览器,也可以用一些软件的内置模块等获取。具体 *** 作步骤如下:
1、用浏览器打开网页,有写站需要获取登录后的COOKIE的话就登录一下。
2、用鼠标在页面右键,选择“检查”来调用出COOKIE获取界面;在网页右键点选“检查”,或者快捷键Ctrl+Shift+I,或者直接按F12打开“检查”页面。
3、在检查页面选择“Network”(网络)标签,打开过滤器。
4、过滤器是开启状态的时候,下面会多出一行审查元素,之后刷新页面,快捷键F5可以直接刷新。
5、往下拉可以找到“Cookie”字样的字段。Cookie冒号后边的一整段即是Cookie了。可以鼠标拖拽选择进行复制。
Cookie注意事项:
Cookie是登陆账号的重要信息,不能随意发给别人,否则泄漏后你就成了别人的资料仓库保管员了。当然,万一泄露也不要紧,及时将账号的密码进行修改即可,这样泄露的cookie也会失效的。
百度网盘账号的cookie是长期有效的,但是前提条件是不能通过浏览器直接点击退出账号,否则这个获取到的cookie信息就不能再次使用了。需要通过浏览器直接提供的工具,清理cookie信息来退出当前账号。
搜狗浏览器的工具栏中有个清理历史记录,清除cookie的可以。Chrome浏览器中点击小锁后会出现cookie信息,删除即可。
以上就是关于想用python语句获取界面cookie中的sessionid,百度了代码获取出来的却是页面架构,向大神求助全部的内容,包括:想用python语句获取界面cookie中的sessionid,百度了代码获取出来的却是页面架构,向大神求助、使用python采集网页内容时那登录那个网站,否则采集不了!请问怎么实现python登录后采集网页、Python 使用cookie登陆的问题等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)