爬虫与HTTP请求

爬虫与HTTP请求,第1张

爬虫与HTTP请求 爬虫与HTTP请求

1、网络爬虫是一种程序

下载网页和信息提取

2、下载网页需要实现HTTP请求

客户端到服务器的请求消息(爬虫过程需要模拟请求这一过程 Web服务流程)

1、请求方法:

GET方法

请求指定的页面信息,并返回实体主题

POST方法

向指定资源提交数据进行处理请求(提交表单或者上传文件),数据被包含在请求体中

2、请求头部:

Urllib库 (python标准库) Resqests库

3、网页解析器

解析HTML网页 提取信息和数据

HTML是一种超文本标记语言,为某些子句加上标志的语言,从而实验预期的特定效果,网页正式由HTML这种语言所编写的

作为一套标记语言,只要明白各种标记的用法就算学会了HTML

语法特点:

嵌套<标记>…

常用的网页解析工具:LXML、Beautfulsoup、正则表达式

具体爬虫方法

#导入requests包
import requests
#请求
respond=requests.get('网址名')
#导入解析器
from lxml import etree
#构造选择器
selector=etree.HTML(respond.txt)
#从浏览器中寻找代码段导出xpath
selector.xpath('代码段/text()')  #转换为文本

爬取多条数据时,主要需要找xpath中的规律

爬取多页的题目

def spider(url):
    response = requests.get(url)
    selector = etree.HTML(response.text)
    time.sleep=(2)
    for i in range(2,11):
        article=selector.xpath('/html/body/section/div[1]/div/article[{}]'.format(i))[0]
        title=article.xpath('header/h2/a/text()')[0]
        times=article.xpath('p[1]/time/text()')[0]
        item=[title,times]
def csv_write(item):
    with open('daqianduan.csv','at') as f:#at文本追加形式
        csvwrite=csv.writer(f)
        csvwrite.writerow(item)
        print('正在下载',item[0])

注意for循环中range 的取值范围,会出现list index out of range(列表超出范围)的问题

HTTP请求 HTTP请求类型
    GET:向指定的资源发出请求POST:向指定资源提交数据进行处理请求(例如提交表格或者上传文件)。数据被包含在请求体中。PUT:向指定资源位置上传其最新内容。DELETE:请求服务器删除Request-URL所有标识的资源。HEAD:只请求页面的首部。OPTIONS:允许客户端查看服务器的性能。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5711917.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存