Python爬虫爬取豆瓣高分电影附源码(详细适合新手)

概述前言刚学matplotlib练练手一、查看网页源码通过搜索我们可以发现网页源码中并没有我们想要抓取的内容二、打开开发者工具(F12)重新刷新下网页可能有人会要问刷新完有这么多数据这怎么找，我们可以通过搜索关键词来找获取请求地址代码获取数据defurl_parse(): 前言

刚学matplotlib练练手

一、查看网页源码

通过搜索我们可以发现网页源码中并没有我们想要抓取的内容

二、打开开发者工具(F12)

重新刷新下网页

可能有人会要问刷新完有这么多数据这怎么找，我们可以通过搜索关键词来找

获取请求地址

代码获取数据

def url_parse():    url="https://movIE.douban.com/j/search_subjects?type=movIE&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20&page_start=0"    headers={"User-Agent":UserAgent().random}    response=requests.get(url=url,headers=headers).Json()    print(response)    return response

内容解析

def content_parse(res):    vedio_name=[]    vedio_rate=[]    content=res["subjects"]    for i in content:        name=i["Title"]        rate=i["rate"]        vedio_name.append(name)        vedio_rate.append(float(rate))        print(name,rate)    return vedio_name ,vedio_rate

制作图表

def make_pic(name,rate):    fig=plt.figure(figsize=(15,8),dpi=80)    Font=FontPropertIEs(fname=r"STZHONGS.TTF",size=12)    plt.barh(name[::-1],rate[::-1],color="red")    plt.xticks(FontpropertIEs=Font)    plt.yticks(name,FontpropertIEs=Font)    plt.savefig("豆瓣.png")    plt.show()

完整代码

import requestsfrom fake_useragent import UserAgentfrom matplotlib import pyplot as pltfrom  matplotlib.Font_manager import FontPropertIEs#获取数据def url_parse():    url="https://movIE.douban.com/j/search_subjects?type=movIE&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20&page_start=0"    headers={"User-Agent":UserAgent().random}    response=requests.get(url=url,headers=headers).Json()    #print(response)    return response#处理内容def content_parse(res):    vedio_name=[]    vedio_rate=[]    content=res["subjects"]    for i in content:        name=i["Title"]        rate=i["rate"]        vedio_name.append(name)        vedio_rate.append(float(rate))        print(name,rate)    return vedio_name ,vedio_rate#制作图表# def make_pic(name,rate):#     fig=plt.figure(figsize=(15,8),dpi=80)#     Font=FontPropertIEs(fname=r"STZHONGS.TTF",size=12)#     plt.barh(name[::-1],rate[::-1],color="red")#     plt.xticks(FontpropertIEs=Font)#     plt.yticks(name,FontpropertIEs=Font)#     plt.savefig("豆瓣.png")#     plt.show()#主函数def main():    data=url_parse()    name,rate=content_parse(data)    # make_pic(name,rate)if __name__ == '__main__':    main()

总结

以上是内存溢出为你收集整理的Python爬虫爬取豆瓣高分电影附源码(详细适合新手)全部内容，希望文章能够帮你解决Python爬虫爬取豆瓣高分电影附源码(详细适合新手)所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。