如何利用Python抓取静态网站及其内部资源

这个非常简单，requests+BeautifulSoup组合就可以轻松实现，下面我简单介绍一下，感兴趣的朋友可以自己尝试一下，这里以爬取糗事百科网站数据（静态网站）为例：

1首先，安装requets模块，这个直接在cmd窗口输入命令“pipinstallrequests”就行，如下：

2接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下：

3最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析页面，提取数据，主要步骤及截图如下：

这里假设爬取的数据包含如下几个字段，包括用户昵称、内容、好笑数和评论数：

接着打开对应网页源码，就可以直接看到字段信息，内容如下，嵌套在各个标签中，后面就是解析这些标签提取数据：

基于上面网页内容，测试代码如下，非常简单，直接find对应标签，提取文本内容即可：

程序运行截图如下，已经成功抓取到网站数据：

至此，我们就完成了使用python来爬去静态网站。总的来说，整个过程非常简单，也是最基本的爬虫内容，只要你有一定的python基础，熟悉一下上面的示例，很快就能掌握的，当然，你也可以使用urllib，正则表达式匹配等，都行，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

Python的爬虫库其实很多，像常见的urllib，requests，bs4，lxml等，初始入门爬虫的话，可以学习一下requests和bs4(BeautifulSoup)这2个库，比较简单，也易学习，requests用于请求页面，BeautifulSoup用于解析页面，下面我以这2个库为基础，简单介绍一下Python如何爬取网页静态数据和网页动态数据，实验环境win10+python36+pycharm50，主要内容如下：

Python爬取网页静态数据

这个就很简单，直接根据网址请求页面就行，这里以爬取糗事百科上的内容为例：

1这里假设我们要爬取的文本内容如下，主要包括昵称、内容、好笑数和评论数这4个字段：

打开网页源码，对应网页结构如下，很简单，所有字段内容都可以直接找到：

2针对以上网页结构，我们就可以编写相关代码来爬取网页数据了，很简单，先根据url地址，利用requests请求页面，然后再利用BeautifulSoup解析数据（根据标签和属性定位）就行，如下：

程序运行截图如下，已经成功爬取到数据：

Python爬取网页动态数据

很多种情况下，网页数据都是动态加载的，直接爬取网页是提取不到任何数据的，这时就需要抓包分析，找到动态加载的数据，一般情况下就是一个json文件（当然，也可能是其他类型的文件，像xml等），然后请求解析这个json文件，就能获取到我们需要的数据，这里以爬取人人贷上面的散标数据为例：

1这里假设我们爬取的数据如下，主要包括年利率，借款标题，期限，金额，进度这5个字段：

2按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找到动态加载的json文件，具体信息如下：

3接着，针对以上抓包分析，我们就可以编写相关代码来爬取数据了，基本思路和上面的静态网页差不多，先利用requests请求json，然后再利用python自带的json包解析数据就行，如下：

程序运行截图如下，已经成功获取到数据：

至此，我们就完成了利用python来爬取网页数据。总的来说，整个过程很简单，requests和BeautifulSoup对于初学者来说，非常容易学习，也易掌握，可以学习使用一下，后期熟悉后，可以学习一下scrapy爬虫框架，可以明显提高开发效率，非常不错，当然，网页中要是有加密、验证码等，这个就需要自己好好琢磨，研究对策了，网上也有相关教程和资料，感兴趣的话，可以搜一下，希望以上分享的内容能对你上有所帮助吧，也欢迎大家评论、留言。

经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。

目前爬取微信公众号的方法主要有3种：

通过爬取第三方的公众号文章聚合网站

通过微信公众平台引用文章接口

通过抓包程序，分析微信app访问公众号文章的接口

通过第三方的公众号文章聚合网站爬取

微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。

域名是: >

可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。

所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。

还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。

通过微信公众平台引用文章接口

这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。

下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：

点击这个超链接按钮，就会d出一个对话框，链接输入方式这一项选中 查找文章，如下图：

到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。

微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。

通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如

由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

微信公众号文章爬虫

'''

def __init__(self):

# 微信公众号账号

selfaccount = '286394973@qqcom'

# 微信公众号密码

selfpwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriverChromeOptions()

# 禁用gpu加速，防止出一些未知bug

optionsadd_argument('--disable-gpu')

# 这里我用 chromedriver 作为 webdriver

# 可以去 >

selfdriver = webdriverChrome(executable_path='/chromedriver', chrome_options=options)

# 设置一个隐性等待 5s

selfdriverimplicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登录拿 cookies

'''

try:

selfcreate_driver()

# 访问微信公众平台

selfdriverget('>

# 等待网页加载完毕

timesleep(3)

# 输入账号

selfdriverfind_element_by_xpath("///input[@name='account']")clear()

selfdriverfind_element_by_xpath("///input[@name='account']")send_keys(selfaccount)

# 输入密码

selfdriverfind_element_by_xpath("///input[@name='password']")clear()

selfdriverfind_element_by_xpath("///input[@name='password']")send_keys(selfpwd)

# 点击登录

selfdriverfind_elements_by_class_name('btn_login')[0]click()

selflog("请拿手机扫码二维码登录公众号")

# 等待手机扫描

timesleep(10)

selflog("登录成功")

# 获取cookies 然后保存到变量上，后面要用

selfcookies = dict([[x['name'], x['value']] for x in selfdriverget_cookies()])

except Exception as e:

tracebackprint_exc()

finally:

# 退出 chorme

selfdriverquit()

def get_article(self, query=''):

try:

url = '>

# 设置headers

headers = {

"HOST": "mpweixinqqcom",

"User-Agent": "Mozilla/50 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/53736 (KHTML, like Gecko) Chrome/7203626109 Safari/53736"

}

# 登录之后的微信公众号首页url变化为：>

# 从这里获取token信息

response = requestsget(url=url, cookies=selfcookies)

token = refindall(r'token=(\d+)', str(responseurl))[0]

timesleep(2)

selflog('正在查询[ %s ]相关公众号' % query)

search_url = '>

# 搜索微信公众号接口需要传入的参数，

# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

params = {

'action': 'search_biz',

'token': token,

'random': randomrandom(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'count': '5'

}

# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

# 取搜索结果中的第一个公众号

lists = responsejson()get('list')[0]

# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = listsget('fakeid')

nickname = listsget('nickname')

# 微信公众号文章接口地址

search_url = '>

# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

params = {

'action': 'list_ex',

'token': token,

'random': randomrandom(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'type': '9'

}

selflog('正在查询公众号[ %s ]相关文章' % nickname)

# 打开搜索的微信公众号文章列表页

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

for per in responsejson()get('app_msg_list', []):

print('title ---> %s' % perget('title'))

print('link ---> %s' % perget('link'))

# print('cover ---> %s' % perget('cover'))

except Exception as e:

tracebackprint_exc()

if __name__ == '__main__':

spider = Spider()

spiderlogin()

spiderget_article('python')

代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。

以上就是关于如何利用Python抓取静态网站及其内部资源全部的内容，包括:如何利用Python抓取静态网站及其内部资源、Python爬虫如何写、如何抓取微信所有公众号最新文章等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！