点击验证码识别

背景

        在日常的网站登陆时，我们经常会遇到这种形式的验证码，那就是根据提示进行文字点击，例如B站登陆时让你按照提示依次顺序点击。

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

       在我们做自动化测试时，无论是UI还是APP或者小程序，或多或少的都会遇到这种文字点击识别登陆，对于这种情况，我们可以借用第三方平台“超级鹰”来自动识别并登陆。

说明

        首先，我们先注册超级鹰平台，然后进行账户充值（天下没免费的午餐！这里充值1元钱就可以了，别多充！），充值完成后在开发文档中可以看到不同验证码类型和收费方式。

例如一个纯4位英文的验证码，其对应的验证码类型就是1902。

 图片验证

        接下来就是获取验证码图片和进行图片识别了，我们的思路还是“截屏-抠图-图片识别”老样子，具体可以参考之前的一篇博客。

        首先是进入登录界面，输入用户名，密码并点击登陆d出验证码识别界面。

url = 'https://passport.bilibili.com/login'   #以B站登陆为例
username = "yourusername"
password = "yourpassword"

driver = webdriver.Chrome()
driver.get(url)
driver.maximize_window()

input_name = driver.find_element_by_xpath("//input[@id='login-username']")
input_pwd = driver.find_element_by_xpath("//input[@id='login-passwd']")
input_name.send_keys(username)
input_pwd.send_keys(password)
sleep(2)
driver.find_element_by_xpath('//div/a[text()="登录"]').click()
sleep(3)
#截屏获取
code_img_ele = driver.find_element_by_xpath('//div[@]')
location = code_img_ele.location  #获取验证码图片左上角的坐标x,y
size = code_img_ele.size      #获取验证码图片的尺寸大小
print('location:%s'%location)
print('size:%s'%size)

        获取验证码的位置，并进行抠图把验证码抠出来

#获取验证码左上角和右下角的坐标位置
rangle = (
    int(location['x']),int(location['y']),int(location['x'] + size['width']),int(location['y'] + size['height']))
print(rangle)
        #至此验证码图片区域位置就获取下来了，然后通过PIL中的Image方法来截取验证码图片

driver.save_screenshot('./tupian1.jpg')  #把截屏的图片保存到本地
i = Image.open('./tupian1.jpg')
print('i.sixe',i.size)
code_img_name = './tupian2.png'
#crop根据指定区域进行裁剪
frame = i.crop(rangle)
frame.save(code_img_name)   #注意保存的图片类型不能是jpg格式的，要保存成png格式的

        图片截取成功后，使用超级鹰进行图片识别，

chaojiying = Chaojiying_Client('用户名', '密码', '软件ID')	#用户中心>>软件ID 生成一个替换 
im = open('./tupian2.png', 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
result= chaojiying.PostPic(im, 9004)['pic_str']   #我们这里识别返回的是坐标值，所以类型选择9004
print('result:%s'%result)

        接下来需要对超级鹰识别出来的列表进行处理，处理格式为[[1,2],[3,4],[4,5]],然后使用for循环有几个列表就进行几次点击。

all_list = []  #存储将要被点击的坐标位置
if '|' in result:
    list_1 = result.split('|')  #返回的是list
    count_1 = len(list_1)
    for i in range(count_1):
        xy_list = []
        x = list_1[i].split(',')[0]
        y = list_1[i].split(',')[1]
        xy_list.append(x)
        xy_list.append(y)
        all_list.append(xy_list)
else:
    xy_list = []
    x = result.split(',')[0]
    y = result.split(',')[1]
    xy_list.append(x)
    xy_list.append(y)
    all_list.append(xy_list)
print(all_list)

        获取到各个文字的坐标位置后，我们依次进行点击。

#遍历列表，使用动作链对每一个元素对应的x,y指定的位置进行点击 *** 作并登陆
for l in all_list:
    x = float(l[0])
    y = float(l[1])
    ActionChains(driver).move_to_element_with_offset(code_img_ele,x,y).click().perform()  #找到参照物位置并以参照物中的坐标进行点击
    sleep(1)

driver.find_element_by_xpath('//div[@]/div/div/div[3]/a').click()

以上步骤就完成了对点击验证码的识别！