求python+selenium元素定位问题

求python+selenium元素定位问题,第1张

您可以尝试使用elementget_attribute('value')来获取该元素的值,因为可能该元素的文本值并非可见文本,而是元素的值属性。代码示例:

如果仍然无法获取到值,可以检查一下该元素是否在页面加载完成后出现,或者是否有iframe或frame嵌套,需要先切换到相应的iframe或frame才能找到该元素。

两个页面分开的话,获取另外一个页面是比较麻烦的。

可行的办法是将另一个页面放在第一个页面的iframe中,将其display设置为none,然后设置ID,比如:<iframe id="frame" src="xxxhtml" style="display:none">

用js直接获取就行了,var w = documentgetElementById("frame")contentWindow; var elem = wgetElementById("xxx");//这就是另一个页面中的元素

年前走查脚本代码时,发现大家对selenium功能都在重复造轮子,而且容易出现一些常见低级bug。于是在闲暇之余,封装一些常用的selenium功能。

在某些网页中,存在多个frame嵌套。而selenium提供的find_element函数只能在当前frame中查找,不能切换到其他frame中,需要从最上级frame中逐步切换(当然也可以指定xpath的绝对路径,但是一般没人这么做)。在我们写代码过程中,需要明确知道当前frame位置和需要寻找元素的frame位置。在frame切换过程中,容易因为疏忽导致frame切换错误导致元素无法找到的bug。

页面中分布的frame,可以理解为树状结构。因此我们可以采用递归的方式, 沿着某条搜索路线frame节点,依次对树中每个节点均做一次访问。

我们以163网址上的登录框为例:点击登录按钮,d出登录iframe页面。输入框位置在iframe中,因此我们不能使用xpath获取元素位置,需要进入iframe中,然后获取元素。

手动切换ifame可能会产生bug,因此需要一套自动切换和检索frame的机制。具体代码如下:

需要注意的是:如果页面中多个frame中,存在相同的xpath元素。还是需要指定frame的路径,否则会返回搜索到的第一个元素。

强制等待

直接调用系统timesleep函数,不管页面加载情况一定会等待指定的时间, 即使元素已被加载 。

1如果设置的时间较长,会浪费时间

2如果设置的时间较短,元素可能没有加载。

页面中某元素如果未能立即加载,隐式等待告诉WebDriver需等待一定的时间,然后去查找元素。默认不等待,隐式等待作用于整个WebDriver周期,只需设置一次即可。

1在上文的find_element函数中,采用递归方式在所有frame寻找元素。若采用隐式等待,则在每个frame中都需要等待设定的时间,耗时非常长。

2某些页面我们想要的元素已经加载完毕,但是部分其他资源未加载。隐式等待必须等待所有元素加载完毕,增加额外等待时间。

显示等待一般作用于某一个元素,在设定的时间范围内,默认每间隔05秒查找元素。返回被加载的元素,若超过设定的时间范围未能查找则报错。显示等待作为selenium常用的等待机制,我们来看下他的源码和机制。

driver 注释中解释为WebDriver实例,但是代码中并未有相关检测,因此可以传入任何对象

但是__repr__函数中使用到session_id属性,如果需要显示属性或者转为str对象,最好在driver对象中添加session_id属性

在until函数中,我们可以看到driver对象传入method函数。在计时结束前,在不断循环执行method函数,如果method函数有正常返回值则退出循环,否则报TimeoutException错误。

可以采用装饰器对隐式等待进行封装,这样代码更加精简

同样的,采用装饰器对其他常用的函数进行封装,例如强制等待、点击、输入文本等。

装饰器虽然很方便,但也会产生一些麻烦。例如在find_element函数递归调用过程中,理应只要执行一次装饰器函数。但因为装饰器已经装饰完毕,导致每次递归都会执行。例如强制等待的sleep函数,如果递归次数越多等待时间越长。

解除装饰器一般有两种做法:一是约定参数,当递归第二次调用时则不生效。例如

这种方式实现简单,容易理解。但是增加了参数限制,在fun函数中就不能使用first_sleep参数。

二是采用装饰器采用wrapped实现,通过访问wrapped属性获得原始函数。例如

但是某一个函数被多个装饰器装饰时,需要递归解除装饰器。例如

最后整体代码如下

这次的封装其实还存在很多问题

1find_element函数不仅仅只是提供查找元素功能,还提供一些其他功能,因此叫element_operation更为合适。

2find_element函数的参数过多,并且很多参数的使用并不在函数本身中,对代码阅读很不友好。

3得小心避免参数重复问题,假设装饰器sleep和装饰器wait_time都使用time这个参数,将无法区分具体是哪个函数使用。

4不利于扩展和维护,当功能过多时find_element的参数过于庞大。

如果只是简单地封装和使用,上面这种方式也能达到较好的效果。如果想进一步封装,建议采用链式调用方式,装饰器辅助封装。例如

这样函数的扩展性和可阅读性有较大的提升

以下面的html代码为例,我们看一下如何定位frame上的元素。

framehtml

<html>

<head>

<title>Frame</title>

<style>

#f_1 {width: 10em; height: 10em; border: 1px solid #ccc; }

#f_2 {display: none}

</style>

</head>

<body>

<p id = "p">Outside frame</p>

<iframe id = "f_1" src = "part1htm"></iframe>

<iframe id = "f_2" src = "part2htm"></iframe>

</body>

</html>

part1htm

<html>

<head><title>Part1</title></head>

<body>

<p id = "f_p">This is part 1</p>

<input id = "btn" type = "button" value = "click me" onclick = "alert('hello')" />

</body>

</html>

switch_to方法会new1个TargetLocator对象,使用该对象的frame方法可以将当前识别的”主体”移动到需要定位的frame上去。

require 'selenium-webdriver'

dr = Selenium::WebDriverfor :chrome

frame_file = 'file:///'+Fileexpand_path(Filejoin(Filedirname(__FILE__),'framehtml'))

cefsharp新手慎用,用的是js代码,可以获取元素修改元素,但是使用js。

var frame = cbGetMainFrame();

var task = frameEvaluateScriptAsync("(function() { return documentgetElementsByTagName('input')[0]value; })();", null);

这段代码你要充分利用py抓取到可靠信息,知道第一个input是什么,而且有value属性,不然就会报错。

frameEvaluateScriptAsync()允许你写入js片段。

网页抓捕当中我觉得这个还是靠谱的,现在C#有很多,webbrowser、webkitbrowser、geckofx、webkitsharp都是些噱头,一般的网页都无法搞定。

py的webdriver和android的webview同出一辙,跟webkit一样。

但是获取信息是不行的,比如我要抓取哪个元素值,你老老实实先把decument对象获取到,再抓。

以上就是关于求python+selenium元素定位问题全部的内容,包括:求python+selenium元素定位问题、获取html页面元素、使用python简单封装selenium常用函数等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/web/9714381.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-01
下一篇 2023-05-01

发表评论

登录后才能评论

评论列表(0条)

保存