python爬虫实战(一)——豆瓣top250

python爬虫实战(一)——豆瓣top250,第1张

python爬虫实战(一)——豆瓣top250

文章目录

一 . 原理二 . 注意点

1 . 返回4032 . 循环获取页面数据3 . 正则表达式 三 . 代码

一 . 原理

python实战的第一个项目基本上都是豆瓣的top250吧hhhh。
这次采取的是正则提取内容,用来熟悉正则表达式
首先要拿到页面的源代码,然后通过观察,编写正则表达式来提取出我们想要的内容,最后通过一个while循环来提取到每个网页上的内容

二 . 注意点 1 . 返回403

在写完request的时候,可以打印一下返回的respond,看看是否返回200,即正确请求
如果返回的是403的话,记得加一个UA(User Agent),因为如果不加UA的话,发出的请求默认UA是python,看不出来是个浏览器,所以会被拦截,所以我们要伪装

2 . 循环获取页面数据

这里我是用的while循环,记得open()创建文件时,mode不能选择’w’,因为’w’模式是覆盖数据然后重新书写,就因为这个东西改了整整一天bug呜呜呜
mode选择位’a’或者’a+'即可

3 . 正则表达式

书写正则表达式老复杂了,因为我是用VS code写的代码,所以大家注意一些高亮语法,来尽量避免错误。
同时在看网页源代码的时候千万千万不要看岔了,我又因为看岔了改了半天bug呜呜呜。

三 . 代码
# 拿到页面源代码
# 正则提取内容
import requests
import re
import csv

flag = 0
while flag <= 225:
    url = "https://movie.douban.com/top250""?start=" + str(flag) + "&filter="
    myHeader = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
        }
    res1 = requests.get(url,headers=myHeader)
    print(res1)
    print(flag)
    pagecontent = res1.text

    # 解析数据
    obj = re.compile(r'.*?.*?(?P.*?)' 
                 r'.*?

.*?
(?P.*?) ' r'.*?(?P.*?)' r'.*?(?P.*?)',re.S) res2 = obj.finditer(pagecontent) #print(res) f = open("data.csv", mode='a+',encoding='utf-8') csvwriter = csv.writer(f) for i in res2: # print(i.group("name")) # print(i.group("year").strip()) # print(i.group("score")) # print(i.group("number")) dic = i.groupdict() dic['year'] = dic['year'].strip() # 对年份进行单独处理 csvwriter.writerow(dic.values()) flag += 25 print("over!")

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5701226.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存