爬虫抓取图片、内容

这里写目录标题

• 一、安装python3
• 二、安装MongoDB
• 三、安装Redis
• 四、安装mysql
• 五、常用爬虫库安装
• 六、代码初演示
• • 6.1 网站内容
  • 6.2 抓取图片

本环境教程基于mac m1芯片。

一、安装python3

运行命令brew install python3，安装完成之后输入python3出现如下图，安装成功：

二、安装MongoDB

运行命令brew tap mongodb/brew 完成之后，再输入命令brew install mongodb-community安装社区版
输入命令：sudo brew services start mongodb/brew/mongodb-community启动服务后，
在输入mongo：
如下图即安装成功：

在安装MongoDB的时候如果出现了如下问题：

Error: Your Command Line Tools are too outdated.
Update them from Software Update in System Preferences or run:
  softwareupdate --all --install --force

If that doesn't show you any updates, run:
  sudo rm -rf /Library/Developer/CommandLineTools
  sudo xcode-select --install

Alternatively, manually download them from:
  https://developer.apple.com/download/all/.
You should download the Command Line Tools for Xcode 13.3.

那么我们先去这个网址找到：

点击下载，下载完成之后安装，重新运行安装MongoDB的命令即可。

三、安装Redis

运行命令brew install redis，安装完成之后输入redis-cli出现如下图，安装成功：

安装完成之后修改/opt/homebrew/etc/redis.conf配置：

将这行注释打开。
输入命令brew services list查看服务开启的状态：

接着输入命令brew services restart redis启redis服务：

然后就可以输入命令redis-cli -a foobared进入redis命令行当中：

四、安装mysql

输入命令brew install mysql安装mysql。
输入命令mysql.server start运行mysql：

接着输入命令mysql -uroot -p出现如下图，则mysql安装成功：

五、常用爬虫库安装

输入命令pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter：
出现如下图即安装成功：

六、代码初演示 6.1 网站内容

打开终端，输入：python3：

然后输入代码：

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://你想请求的网址', headers=headers)
print(response.text)
print(response.headers)
print(response.status_code)

可以看到我们已经将网站内容请求回来了。

6.2 抓取图片

输入代码：

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://img.cc0.cn/unsplash/2019102200275640703.jpg/tuijian', headers=headers)

with open('/Users/justin/Downloads/1.png', 'wb') as f:
    f.write(response.content)
    f.close()

可以看到图片已经下载成功：

如果你觉得本文对你有所帮助的话，那就请关注点赞评论三连吧，谢谢，你的肯定是我写博的另一个支持。