爬虫与HTTP请求

爬虫与HTTP请求 爬虫与HTTP请求

1、网络爬虫是一种程序

下载网页和信息提取

2、下载网页需要实现HTTP请求

客户端到服务器的请求消息（爬虫过程需要模拟请求这一过程 Web服务流程）

1、请求方法：

GET方法

请求指定的页面信息，并返回实体主题

POST方法

向指定资源提交数据进行处理请求（提交表单或者上传文件），数据被包含在请求体中

2、请求头部：

Urllib库 （python标准库） Resqests库

3、网页解析器

解析HTML网页 提取信息和数据

HTML是一种超文本标记语言，为某些子句加上标志的语言，从而实验预期的特定效果，网页正式由HTML这种语言所编写的

作为一套标记语言，只要明白各种标记的用法就算学会了HTML

语法特点：

嵌套<标记>…

常用的网页解析工具：LXML、Beautfulsoup、正则表达式

具体爬虫方法

#导入requests包
import requests
#请求
respond=requests.get('网址名')
#导入解析器
from lxml import etree
#构造选择器
selector=etree.HTML(respond.txt)
#从浏览器中寻找代码段导出xpath
selector.xpath('代码段/text()')  #转换为文本

爬取多条数据时，主要需要找xpath中的规律

爬取多页的题目

def spider(url):
    response = requests.get(url)
    selector = etree.HTML(response.text)
    time.sleep=(2)
    for i in range(2,11):
        article=selector.xpath('/html/body/section/div[1]/div/article[{}]'.format(i))[0]
        title=article.xpath('header/h2/a/text()')[0]
        times=article.xpath('p[1]/time/text()')[0]
        item=[title,times]

def csv_write(item):
    with open('daqianduan.csv','at') as f:#at文本追加形式
        csvwrite=csv.writer(f)
        csvwrite.writerow(item)
        print('正在下载',item[0])

注意for循环中range 的取值范围，会出现list index out of range（列表超出范围）的问题

HTTP请求 HTTP请求类型

GET：向指定的资源发出请求POST：向指定资源提交数据进行处理请求（例如提交表格或者上传文件）。数据被包含在请求体中。PUT：向指定资源位置上传其最新内容。DELETE：请求服务器删除Request-URL所有标识的资源。HEAD：只请求页面的首部。OPTIONS：允许客户端查看服务器的性能。