python爬虫selenium页面滑动案例

python爬虫selenium页面滑动案例

一个python网络爬虫关于selenium页面滑动的简单案例
需求如下：
用selenium访问链家网站长沙新房1-5页的数据，并保存下来。滑动，然后点击翻页翻页数据，并保存下来
目标网站：https://cs.fang.lianjia.com/loupan/
过程要求使用面向对象的写法。

代码示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 定义类
class LianJia(object):
    def __init__(self):
        self.driver = webdriver.Chrome()
        # 打开页面
        self.driver.get('https://cs.fang.lianjia.com/loupan/')

    def clear_driver(self):
        # 关闭驱动
        self.driver.close()
        self.driver.quit()
	
	# 代码核心部分
    def scroll(self):
        while True:
            # 滑动之前的页面高度
            document = self.driver.execute_script('return document.body.scrollHeight;')
            time.sleep(2)
            # 滑动页面
            self.driver.execute_script(f'window.scrollTo(0,{document})')
            time.sleep(2)
            # 滑动之后的页面高度
            document2 = self.driver.execute_script('return document.body.scrollHeight;')
            # 比较滑动前与滑动后的高度
            if document == document2:
                break
	# 定义翻页函数
    def up_page(self):
        time.sleep(1)
        # 点击下一页
        self.driver.find_element(By.XPATH,'//*[text()="下一页"]').click()

	# 定义保存页面源码函数
    def save_page(self, n=1):
        time.sleep(2)
        # 保存数据
        with open(f'第{n}页.html', 'w', encoding='utf-8') as f:
            f.write(self.driver.page_source)

	# 定义总的执行函数
    def run(self):
        try:
            self.save_page()  # 第一页
            for n in range(2, 6):  # 第二三四五页
                self.scroll()
                self.up_page()
                self.save_page(n)
        except Exception as e:
            print(e)
        finally:
            self.clear_driver()


if __name__ == '__main__':
    lianjia = LianJia()
    lianjia.run()

获取页面源码则对浏览器驱动对象self.driver调用page_source属性。
执行Javascript代码使用execute_script() 方法。

其中还涉及一点关于翻页的简单的Javascript代码语句：
document.body.scrollHeight表示获取页面高度，
先获取页面高度，然后使用将页面向下翻动该数量的高度，然后再获取一次页面高度。如果页面高度此时没有发生变化，即判断刚刚的高度等于现在的高度，则说明已经翻到底了，跳出while循环，可以进一步去定位到“下一页”按钮处的element，并使用click() 方法点击。
window.scrollTo(x,y) 表示页面的滑动，滑动到指定位置，这里x轴无需滑动，则将x轴写为0，y轴写入要滑到的位置。
window.scrollBy(x,y) 表示滑动一定单位距离。

这样，翻动并点击的一个简单案例就实现啦。祝您学习顺利!