python爬虫程序 异步加载爬虫knewone.com实例

概述python爬虫程序 异步加载爬虫knewone.com实例

import requestsfrom bs4 import BeautifulSoupimport time# 异步加载的网址规律url = 'https://knewone.com/discover?page='def get_page(url,data=None):    respones = requests.get(url)    soup = BeautifulSoup(respones.text,'lxml')    Title = soup.select('section > h4 > a')    img = soup.select('header > a > img')    links = soup.select('header > a')    if data==None:        for Title,img,links in zip(Title,links):            data = {                'Title' : Title.text,                'img' : img.get('src'),                'links': "https://knewone.com"+links.get('href')            }            print(data)def get_more_page(start,end):    for i in range(start,end):        get_page(url+str(i))get_more_page(1,10)

总结

以上是内存溢出为你收集整理的python爬虫程序 异步加载爬虫knewone.com实例全部内容，希望文章能够帮你解决python爬虫程序 异步加载爬虫knewone.com实例所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。