python爬虫能干什么

python爬虫就是模拟浏览器打开网页，获取网页中想要的那部分数据。利用爬虫我们可以抓取商品信息、评论及销量数据；可以抓取房产买卖及租售信息；可以抓取各类职位信息等。

爬虫：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

（推荐教程：Python入门教程）

通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。

python爬虫能做什么？

从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(、视频) 爬到本地，进而提取自己需要的数据存放起来使用。

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

爬取知乎优质答案，为你筛选出各话题下最优质的内容。

抓取淘宝、京东商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

爬取各类职位信息，分析各行业人才需求情况及薪资水平。

爬虫的本质：

爬虫的本质就是模拟浏览器打开网页，获取网页中我们想要的那部分数据。

关于知乎验证码登陆的问题，用到了Python上一个重要的处理库PIL,如果不行，就把存到本地，手动输入。

通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。

这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。

用chrome （或者火狐 >

昨天在写完 入门级爬虫之后 ，马上就迫不及待的着手开始写 B站的爬虫了，真的很喜欢这个破站呢 (〜￣△￣)〜

这里不涉及到 Python 爬虫的高级技巧，没有使用框架，没有考虑反爬机制，没有使用异步IO技术，因为这些，我都不会！

我们选定 B站的 动画区 进行测试，打开后我们发现有好多好多图

但当我们使用 F12 查看这些的时候，发现并没有的地址

这就是目前大多网站使用的 Ajax 技术动态加载数据的锅，可遇到这种情况这么办呢？别急别急，我们知道这些的地址一定是需要加载的，而目前常见WEB传输数据的基本就是方式 XML 和 Json (其实是我就知道这两种)，那好我们去看看请求的 XML 和 Json 文件。

以下省略查找过程

我们发现 B站的地址是保存在 Json 里面的，ok，我们保存好这个 json 地址:

>

Python语言这两年是越来越火了，它渐渐崛起也是有缘由的。

比如市场需求、入门简单易学、支持多种语言……当然这些都是很官方的。

说白了，就是

写个web服务，可以用python；

写个服务器脚本，可以用python；

写个桌面客户端，可以用python；

做机器学习数据挖掘，可以用python；

写测试工具自动化脚本依旧可以用python……

Python语言是免费支持的！

既然那么好，如何利用python进行有意义的行（zhuan）为（钱）呢？

今天，小编和大家一起学习python爬虫技术呢？

一、老生常谈-学习准备

学会提前准备是一切好的开始，学习语言更是如此。兴趣是最好的老师，学习爬虫技术，可以给自己定个目标，比如为了妹纸，爬取时尚网站的数据信息，打包给那个她······

基础知识必须掌握

什么是爬虫？数据是从哪里来的？这些基础到不行的知识点，请自行搜索！你还得掌握：

·HTML，了解网页的结构，内容等，帮助后续的数据爬取。

·Python

因为比较简单，零基础可以听一些大牛的博客文章，或者听别人是怎么说

python玩转自动化测试，这个点有基础的同学，可以略过哈~

·TCP/IP协议，>

我们在下载文件时，一会会采取urlretrieve或是requests的get方式，

from urllibrequest import urlretrieve

urlretrieve(selfurl, filename="xxxpng")

但对于连续下载，各个文件保存是需要时间的，而程序运行永运是快于存储的，我怀疑这是水管里流水速度与缸的大小不合适的原因，那可以试试下面这种方式：

r = requestsget(url, stream=True)

with open(local_filename, 'wb') as f:

for chunk in riter_content(chunk_size=1024):

if chunk: # filter out keep-alive new chunks

fwrite(chunk)

fflush()

入门的话，我的经历：

1先用python写一个爬取网页源代码的爬虫（最先是爬取个人博客，会遇到乱码问题当时困扰了很久）

2后来写了爬取百度的程序，自动下载小说（我爱看小说-_-）（接触正则表达式）

3然后百度他那种分页模式，一般一页只有20张左右的，分析源代码，完善爬取程序，不受到限制，一次可以下几千张（有的是原图，有的是缩略图）

4后来发现程序卡顿，就添加了多线程。

5然后模拟登陆一些不用验证码的网页（我学校的oj），cookie登陆B站（本来想写一个抢楼的脚本的，后来发现抢楼的被封号了-_-，就放弃了）

对于使用的库，python2 与 python3 有点不同，我学的是python3

先用的是urllibrequest，后来用requests（第三方库），在后来接触Scrapy(也是第三方库)

现在因为事情多了，就把python放下了，准备寒假写一些脚本，毕竟python不会有期末考试

我的个人经历，希望可以帮到你。

本文的文字及来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

python2

爬虫：从网页上采取数据

爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml

1urllib

2request

3bs4

4正则re

5种数据类型

(1)数字Number

(2)字符串String

(3)列表List[] 中文在可迭代对象就是unicode对象

(4)元组Tuple()

(5)字典Set{}

爬虫思路：

1静态 urlopen打开网页------获取源码read

2requests(模块) get/post请求----获取源码 text()方法 content()方法(建议)

3bs4 能够解析HTML和XML

-- coding:utf-8 –

from bs4 import BeautifulSoup

1

html=“

201818 14:03

”

soup=BeautifulSoup(html,‘htmlparser’) #解析网页

print soupdiv

2从文件中读取

html=’’

soup=BeautifulSoup(open(‘indexhtml’),‘htmlparser’)

print soupprettify()

4获取所需信息

以上就是关于python爬虫能干什么全部的内容，包括:python爬虫能干什么、Python爬取知乎与我所理解的爬虫与反爬虫、Python 爬虫爬坑路（二）——B站图片，咸鱼的正确 GET 姿势等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！