如何从无限滚动网站上抓取所有内容？

我使用Selenium而不是，scrapy但是你必须能够执行等效 *** 作，而我要做的是在加载文件时运行一些Javascript，即：

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

而且我一直坚持下去，直到它不再滚动为止。它不是很漂亮，不能在生产中使用，但是对特定工作有效。