Python爬虫实战之一：requests-爬取京东商品详情页面

Python爬虫实战之一：requests-爬取京东商品详情页面

本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by 嵩天 北京理工大学）学习笔记。

目录

1.爬取目标

2.爬取链接

3.技术路线

4.全部代码及输出

5.总结

---

1.爬取目标

爬取京东某商品详情页面文本数据，不做解析（emmm,就爬下面这个页面的文本数据就成）

 

2.爬取链接

https://item.jd.com/10024680038271.html

3.技术路线

主要使用工具包：requests

4.全部代码及输出

# 全代码
import requests
url ='https://item.jd.com/10024680038271.html'
try:
    r= requests.get(url)
    r.raise_for_status()
    r.encoding= r.apparent_encoding
    print(r.text[:1000])
except:
    print('爬取失败')

注：

1） r.raise_for_status() # 如果状态不是200，引发HTTPError异常

2）r.encoding = r.apparent_encoding #备选编码格式（‘utf-8’）替换原始encoding模式（'ISO-8859-1'）

5.总结

本例是最最基础的爬虫案例，核心是requests爬虫库get方法