Python爬虫获取数据犯法吗

没有的事，如果是这样的话，百度，谷歌这些搜索引擎公司也是犯法的了。他们也是爬取别人的网站，获取信息，给用户用的。其实搜索引擎就是一种爬虫。

如果网站本身不做鉴别，网站会认为爬虫和一般的浏览器的行为是一样的。

闲着在家想看**，但是猛地不知道要看啥**，脑子想半天也想不出来一个好**名字！干脆直接在豆瓣**上获取最近热门的**，然后一个一个挨着看打发时间！

获取豆瓣**信息也是学爬虫的一个入门例子，不知道为啥好多人学爬虫都拿豆瓣**来练手，一个应该是爬取比较简单，另一个应该是这个平台反爬措施比较low，接下来让我们来看看怎么去实现获取豆瓣**前200个热门**信息！

1请求数据

第一步先打开豆瓣**网页，分析请求看怎样才能请求到数据。

刷新豆瓣**网页，从浏览器自带的开发工具network中XHR可以看到各种请求，其中标黄的search_subjecttype_movie这个请求就是请求**信息，下面的type_tv就是请求电视剧信息的。从右边标黄的request url中看到是请求的链接，但参数信息都被编码，用urllibparseunquote()方法来进行解码：

解码后的请求连接如图所示，猜想page_limt为每次请求到的数据量，page_start为从第几页开始请求，将这个链接在浏览器中打开来验证一下猜想。

看到返回的是一个json字符串，里面包含50条**信息，其中有名字，评分，链接等，将page_start = 0 变为1，就请求到下一个50条信息。根据链接的这个规律，可以对page_start 不断赋值，从而实现多条信息的获取！（公众号 ly戏说编程）

第二步构造请求头，即看看浏览器通过这个链接向服务器发送了什么请求参数才拿到这些json数据，打开浏览器开发者工具。

按照图中1到4步可以看到这个请求的request headers，将请求头里面的信息全部拿出来，构造为爬虫的请求头。

坑：请求头构造的时候Accept-Encoding要将br去掉。原因：Accept-Encoding用来声明浏览器支持的编码类型，一般有gzip,deflate,br 等等。但在python3的requests包中：

responsecontent 字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes

reponsetext 字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str

但偏偏不支持br的解码，如果加上br可能造成你请求回来的是乱码！所以要去掉br!

这样通过模拟浏览器请求数据，就可以得到服务器返回的json字符串，再解析json字符串得到每一个**的详情链接。

2提取信息

在得到每一个**的链接后，依次访问每一个**的链接，然后根据关键信息所在标签用xpath进行提取。这里只对**名字、年份、导演、类型、评分进行提取。

例如提取1917，在网页右击“1917”,然后选择检查，在Elements中1917所在位置右击，选择Copy，然后Copy XPath即可拿到1917的Xpath路径，其它信息的提取 *** 作步骤一样。

但是不同**网页里面相同类型的信息所在的XPath路径可能不同，这就需要找到他们的相同处，提取相同的XPath路径，从而进行大批量提取。

比如**类型，用直接copy xpath的方法就不好使，不同**网页里面**类型所处的标签位置不同，用copy xpath拷贝出来的路径有差异，这就需要根据所在标签的property属性来获取。主要代码如下：

对每一网页链接里面的信息进行提取，这里每提取一个就停1s，为的是避免平台检测到异常访问，这样就拿到每一个**的信息，然后再将这信息保存到excel中，效果如图所示

前几名都是奥斯卡得奖**有木有！感兴趣的小伙伴快来试试！话不多说，挨着去看**咯！去哪看？去公众号 ly戏说编程 首页vip影院看，里面还有各种学习资源免费分享！

1、批量型的网络爬虫

这种类型是针对用户有着明确的抓取范围和目标，当达到既定的目标之后，抓取工作就会停止。这个目标可以是抓取的时间，也可以是抓取的数量等 。

2、增量式网络爬虫

这种爬虫类型不同于批量型爬虫，没有固定的限制，且需要程序持续不断的运行，对于抓取到的数据定期的更新。它针对的是网页在不断变化的，增量式爬虫只需要抓取新产生或者发生新变化的网页，他不会重复的抓取没有变化的网页，这样可以缩减时间和存储空间，当然这种爬虫程序运行起来是相对有难度的。

3、通用爬虫

通用网络爬虫也叫作全网爬虫，它是搜索引擎抓取系统的重要组成部分。主要为门户 网站站点搜索引擎和大型 Web 服务提供商采集网络数据。这类网络爬虫的爬行范畴和数量比较大，所以对于爬取速度和存储空间的要求很高。

4、聚焦网络爬虫

聚焦网络爬虫是指有针对性的爬取，和通用网络爬虫相比对于硬件的要求有所降低，而且所抓取的数据垂直性更高，可以满足特定人群的需求。

链接：> 提取码：2b6c

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

之前某大神用爬虫把抖音一天所有短视频的数据都扒出来了，总共2万多条的数据，拿到数据之后，用这份数据洗出我们想要的几个关键点。

洗出人群的标签，标签包括爱好，关注点，时间点。

对2万数据经过清洗，经过描述做分词词频统计，排除无效词，统计出高频词“喜欢”“自己”“真的”“可以”“教程”“发型”“思域”“化妆”等，这里我们之后引出可以干嘛。

接着是时间段，这个主要是为了统计用户的习惯，客观是可以看出用户在什么时间段比较活跃。

再根据上面用户发布时间段的时间统计出这个时间段用户的点赞转发量做为参考，最终得到下图。这样可以得到比较准确的时间段。

可以明显在时间段看出效果的差别，下午13:00和晚上18:00是点赞高峰期。

在统计的2万条数据里面再进行一次点赞的分布曲线的清洗，大概的出的数据分布，大部分的短视频点赞在700以下，上万的短视频占比并不大，这个是抖音的数据造成的，按照之前做今日头条的算法都是计算你前面1000个推荐量，你所获得的点赞率与转发量。这个时候你的转发量点赞量（比例）高的话再会推送下一批流量给你。

所以前面1000个点赞量很关键。

上面用工具干完数据清洗最大的一个版块是人肉再清洗，人肉清洗是为了得到热门短视频的标签。参考这部分数据是为了之后做短视频的时候去靠这个方向。大概类型有几大块！

1、舞蹈

2、高效段子

3、才艺

4、模仿

5、励志鸡汤

6、特色景点

7、恶搞

8、撩**姐撩小哥哥

9、正能量

10、炫技能

11、挑战

从这些热门内容标签统计出来最终满足热门的背后人性属性，因为属性才可以复用，内容不能模仿。

这里祭出大杀器，满足疯传的触发器。公式：社交货币、诱因、情绪、公共性、实用价值=传播。

在你去看所有这类短视频的时候，你去思考背后哪些关键点触发了你的行动，去点赞转发了。

二次传播的核心点，一种里利益上面的驱动，这个驱动的方式也很多比如在微信里面点赞送礼品，转发送产品，这个抖音里面也有一批这样玩的，尤其年前的时候点赞送手机疯了一段时间。这个就是典型的利益驱动。

除了这个物上面的利益驱动，还可以调动的就是社交货币的价值的六个维度。

以上就是关于Python爬虫获取数据犯法吗全部的内容，包括:Python爬虫获取数据犯法吗、python爬虫看电影会有什么影响、网络爬虫的几种常见类型等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！