Python案例快速入门之二：从页面抓取数据

Python案例快速入门之二：从页面抓取数据

本章将直接开始一个从CSDN抓取数据的小例子。

新建如下文件
输入下面代码，从csdn抓取菜单列表

import requests
from lxml import etree

url="https://www.csdn.net/"
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"}
pre={'User-agent':'Mozilla/5.0'}
 
html = requests.get(url, headers=header).text
list = etree.HTML(html)
lis = list.xpath('//div[@]/ul/li')
try:
    for oneSelector in lis:
        title = oneSelector.xpath("a/text()")[0]
        print(title)
        
except  Exception as e:
    print("获取失败:{}".format(e))

如果鼠标移动到requests时，出现如下错误
在终端中输入下面语句，安装需要的包

 pip install requests

如果lxml的包也没有安装，在终端中输入下面语句，进行安装

pip install lxml

Ctrl+F5 执行程序，或者单击菜单【运行】-》【以非调试模式运行】

显示如下结果，我们就抓取到了csdn的菜单项，完成了我们的第一个非常非常简单的数据抓取案例

作者推荐视频

Spring全家桶-初识篇Spring全家桶-基础篇：Spring MVC快速开发Spring全家桶-核心篇：SpringBoot快速入门Spring全家桶-核心篇：深入浅出SpringCloud+SpringData