public static void main(String[] args) {
SystemsetProperty("webdriverchromedriver", "D:/chromedriver_win32/chromedriverexe");
ChromeOptions Options = new ChromeOptions();
OptionsaddArguments("user-data-dir=C:\\Users\\happy\\AppData\\Local\\Google\\Chrome\\User Data");
WebDriver driver = new ChromeDriver(Options);
drivermanage()window()maximize();
// 窗口最大化
driverget(">
scrapyFormRequest
loginpy
class LoginSpider(scrapySpider):
name = 'login_spider'
start_urls = ['hincom'] def parse(self, response):
return [
scrapyFormRequestfrom_response(
response, # username和password要根据实际页面的表单的name字段进行修改
formdata={'username': 'your_username', 'password': 'your_password'},
callback=selfafter_login)] def after_login(self, response):
# 登录后的代码
pass123456789101112131415
selenium登录获取cookie
get_cookie_by_seleniumpy
import pickleimport timefrom selenium import webdriverdef get_cookies():
url = 'httestcom'
web_driver = webdriverChrome()
web_driverget(url)
username = web_driverfind_element_by_id('login-email')
usernamesend_keys('username')
password = web_driverfind_element_by_id('login-password')
passwordsend_keys('password')
login_button = web_driverfind_element_by_id('login-submit')
login_buttonclick()
timesleep(3)
cookies = web_driverget_cookies()
web_driverclose() return cookiesif __name__ == '__main__':
cookies = get_cookies()
pickledump(cookies, open('cookiespkl', 'wb'))12345678910111213141516171819202122232425
获取浏览器cookie(以Ubuntu的Firefox为例)
get_cookie_by_firefoxpy
import sqlite3import pickledef get_cookie_by_firefox():
cookie_path = '/home/name/mozilla/firefox/bqtvfe08default/cookiessqlite'
with sqlite3connect(cookie_path) as conn:
sql = 'select name,value from moz_cookies where baseDomain="testcom"'
cur = conncursor()
cookies = [{'name': name, 'value': value} for name, value in curexecute(sql)fetchall()] return cookiesif __name__ == '__main__':
cookies = get_cookie_from_firefox()
pickledump(cookies, open('cookiespkl', 'wb'))12345678910111213141516
scrapy使用获取后的cookie
cookies = pickleload(open('cookiespkl', 'rb'))yield scrapyRequest(url, cookies=cookies, callback=selfparse)12
requests使用获取后的cookie
cookies = pickleload(open('cookiespkl', 'rb'))
s = requestsSession()for cookie in cookies:
scookiesset(cookie['name'], cookie['value'])1234
selenium使用获取后的cookie
from selenium import webdriver
cookies = pickleload(open('cookiespkl', 'rb'))
w = webdriverChrome()# 直接添加cookie会报错,下面是一种解决方案,可能有更好的# -- start --wget('hwwtestcom')
wdelete_all_cookies()# -- end --for cookie in cookies:
wadd_cookie(cookie)
本章节主要内容:
switch_to适用场景:
处理JSd框
切换frame
切换浏览器窗口
Switch_to处理JSd框
JavaScript简称JS,应用于HTML网页,通过 *** 纵网页窗口及网页元素,从而实现动态效果。
JSd框类型:警告框alert、确认框confirm、提示框prompt
浏览器窗口中如果有JavaScript的d出框,需要通过switch_to语句处理。
相关方法:
Switch_to切换窗口
浏览器中有多个窗口时,如果想切换到其他窗口 *** 作,需要调用switch_to方法
切换到目标窗口:
相关方法:
示例:
Switch_to切换frame
如果元素在html的frame或iframe中,则无法直接定位到元素。需要先切换到该frame中,再进行定位及其他 *** 作。
相关方法:
一般来说我们与页面的交互可以使用WebElement的方法来进行点击等 *** 作。但是有时候我们需要一些更复杂的动作,就需要用到我们的Action Chains了。
通过action对象模拟鼠标 *** 作,如双击,右击,拖拽,悬停等 *** 作:
普通键:
有名按键:
无名按键:a-z,0-9
修饰键:
修饰键单独使用没有意义,一般和别的按键配合使用。
Actions *** 作:
使用示例
输入大写或按键上方的字符:
JS,JavaScript的简称,广泛用于HTML网页,通过 *** 纵网页窗口及网页元素,从而实现动态效果。
webdriver无法完成的 *** 作,可以由JS配合完成。
示例:
参考JS:
获取标题:documenttitle
d出提示框:alert('我是一个d框');
改变元素属性:q=documentgetElementById('kw');qstyledisplay='block';
Selenium-JS处理滚动条
通过js实现滚动条拖动效果:
移动元素到窗口顶部:
移动元素到窗口底部:
窗口移动指定距离:
移动窗口到某位置:
input标签上传:借用input元素的sendkeys方法实现
示例:
非input标签上传---借用其他工具如autoIt:
• 用于Windows GUI自动化 *** 作
• 通过它可以组合使用模拟键击、鼠标移动和窗口/控件 *** 作等来实现自动化任务。
• 它使用类似BASIC的脚本语言。
• 可以通过转换工具把脚本转换为exe文件
应用程序从安全考虑,都在登录或某 *** 作节点使用验证码。
验证码是一种区分用户是计算机还是人的公共全自动程序。
自动化时验证码处理方式:
cookie的 *** 作:
Selenium-截图 *** 作
截图:
selenium >>> pip install selenium==341
第一次登陆的时候,会帮助我记录我们的登陆信息
登陆成功之后 cookie会发生变化
假如我现在已经登陆过了,那么直接拿本地的登陆信息,直接登陆就可以了
调用登陆,并且刷新页面,改变登陆成功的标识
PhantomJS 和 Chromedriver *** 作方式以及功能一致
主要区别 PhantomJS 无界面模式 节省内存
Chromedriver 完全模仿浏览器 消耗内存
PhantomJS 截取的是网页的完整页面,包括下拉进度条的内容
Chromedriver只截取d框浏览器的可视化内容页面
001 先找到文本输入框元素,输入内容
002 找到搜索按钮 进行搜索
给输入框赋值: elementsend_keys()
*** 作点击事件: elementclick()
find_element和find_elements的区别
带s的返回的是列表
不带s的是返回列表中的第一个元素
selenium处理cookie
页面等待 : >
以上就是关于selenium怎么清除cookie全部的内容,包括:selenium怎么清除cookie、从零开始学Python-使用Selenium抓取动态网页数据、怎么用python爬需要登录的网站数据等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)