python爬虫实战(一)——豆瓣top250

python爬虫实战(一)——豆瓣top250

文章目录

一 . 原理二 . 注意点

1 . 返回4032 . 循环获取页面数据3 . 正则表达式 三 . 代码

一 . 原理

python实战的第一个项目基本上都是豆瓣的top250吧hhhh。
这次采取的是正则提取内容，用来熟悉正则表达式
首先要拿到页面的源代码，然后通过观察，编写正则表达式来提取出我们想要的内容，最后通过一个while循环来提取到每个网页上的内容

二 . 注意点 1 . 返回403

在写完request的时候，可以打印一下返回的respond，看看是否返回200，即正确请求
如果返回的是403的话，记得加一个UA(User Agent)，因为如果不加UA的话，发出的请求默认UA是python，看不出来是个浏览器，所以会被拦截，所以我们要伪装

2 . 循环获取页面数据

这里我是用的while循环，记得open()创建文件时，mode不能选择’w’,因为’w’模式是覆盖数据然后重新书写，就因为这个东西改了整整一天bug呜呜呜
mode选择位’a’或者’a+'即可

3 . 正则表达式

书写正则表达式老复杂了，因为我是用VS code写的代码，所以大家注意一些高亮语法，来尽量避免错误。
同时在看网页源代码的时候千万千万不要看岔了，我又因为看岔了改了半天bug呜呜呜。

三 . 代码

# 拿到页面源代码
# 正则提取内容
import requests
import re
import csv

flag = 0
while flag <= 225:
    url = "https://movie.douban.com/top250""?start=" + str(flag) + "&filter="
    myHeader = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
        }
    res1 = requests.get(url,headers=myHeader)
    print(res1)
    print(flag)
    pagecontent = res1.text

    # 解析数据
    obj = re.compile(r'.*?.*?(?P.*?)' 
                 r'.*?
.*?
(?P.*?) '
                 r'.*?(?P.*?)'
                 r'.*?(?P.*?)',re.S)
    res2 = obj.finditer(pagecontent)
    #print(res)
    f = open("data.csv", mode='a+',encoding='utf-8')
    csvwriter = csv.writer(f)


    for i in res2:


   # print(i.group("name"))
   # print(i.group("year").strip())
   # print(i.group("score"))
   # print(i.group("number"))
        dic = i.groupdict()
        dic['year'] = dic['year'].strip() # 对年份进行单独处理
        csvwriter.writerow(dic.values())
    flag += 25
print("over！")