爬虫究竟是合法还是违法的？

据说互联网上 50%以上的流量都是爬虫创造的，也许你看到很多热门数据都是爬虫所创造的，所以可以说无爬虫就无互联网的繁荣。

前天写了一篇文章《 只因写了一段爬虫，公司200多人被抓！》，讲述程序员因写爬虫而被刑侦的事件。文章传播很广，评论中讨论最热是： 爬虫究竟是合法还是违法的？

这个话题涉及到我们很多程序员的日常工作，所以有必要和大家细聊一下。

01技术无罪？

在今年国家颁布 《中华人民共和国网络安全法》 之后，很多以前处于灰色地带的业务都不能做了。

君不见之前曾经非常火的各种社工库网站，现在绝大部分都已经消失匿迹了吗？因为最新的安全法强调： 贩卖个人信息超过50条属于“情节严重”，需要追求其法律责任。

很多草根站长都纷纷主动关闭了网站；还有很多涉及版权信息的网站，比如书籍、影视剧、课程等后期也会面临越来越严格的审查，这就是目前大的形势。

2014年12月20日，人人影视字幕站发布微博称，人人影视正式关闭，并表示或将继续为正版商提供翻译服务，也可能转变为讨论社区的形式。

2019年6月，吾爱破解因版权问题关站整改

随着中国经济的不断往前走，知识产权问题会越来越重视，非法爬虫是现在一个重要的打击部分，

如果有程序员走在灰色的边缘尽早收手，不要因为一点小的收益导致触犯法律，从而得不偿失。

技术是无罪的，但是用到了错的地方代价也是非常巨大的。

02爬虫岗位人人自危

我在拉钩上搜索： 爬虫工程师，显示有 217 条相关招聘信息，薪资从10-60k 都有，说明市场上对爬虫的需求是很大的。

简单回答一下这些问题：

还有朋友认为这事责任在企业不在程序员，日常工作中项目初期设计和最后上线需要通过公司的法务批准，所有代码必须有其他程序员同事评审通过才能提交。

这位朋友说的挺对的，按道理每个公司都应该有法务和风控在前面，后面才是产品设计和程序员开发的事情，但如果一家公司为了利益，老板可以直接让这两个部门闭嘴，后面程序员可以不干吗？

更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要 *** 一份心，凡是涉及到入侵类的程序都不能干，因为有一个东西叫做： 单位犯罪 。

单位犯罪 ，是指公司、企业、事业单位、机关、团体为单位谋取利益，经单位决策机构或者负责人决定实施的，法律规定应当负刑事责任的危害 社会 的行为。

我国刑法对单位犯罪原则上采取 双罚制度 ，即单位犯罪的，对单位判处罚金，并 对其直接负责的主管人员和其他直接责任人员判处刑罚。

03什么样的爬虫是非法的？

爬虫不能涉及个人隐私！

如果爬虫程序采集到 公民的姓名、身份z件号码、通信通讯、住址、账号密码、财产状况、行踪轨迹等个人信息 ，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。

也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。

另外，还有下列 三种情况 ，爬虫有可能违法，严重的甚至构成犯罪：

现在网上有很多付费的课程，比如极客时间、Gitchat、慕课网、知识星球等等，这些付费内部信息如果被非法爬取手法出售获利，一种违法行为。

之前我就遇到一个网友，把各个知识星球的内容都抓下来，合到一起自己去卖，自作聪明觉得发现了一个大的商机，其实自己不知道这个行为其实很危险，风险和收益明显不对等。

我这两天看的时候，他的一个公众号都被封了，后来又转移了一个小号继续搞，迟早又是被封的命运，真的很不值当。最可怜是那些买他服务的用户，因为他宣传时承诺永久，肯定永久不了。

04什么样的爬虫是合法的？

1、 遵守 Robots 协议

Robots 协议也叫 robotstxt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。

Robots 协议就是告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

2、不能造成对方服务器瘫痪

但不是说只要遵守 Robots 协议的爬虫就没有问题，还涉及到两个因素，第一不能大规模爬虫导致对方服务器瘫痪，这等于网络攻击。

2019年05月28日国家网信办发布的《数据安全管理办法（征求意见稿）》中，拟通过行政法规的形式，对爬虫的使用进行限制：

网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。

3、不能非法获利

恶意利用爬虫技术抓取数据，攫取不正当竞争的优势，甚至是牟取不法利益的，则可能触犯法律。实践中，非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少，大多是以不正当竞争为由提请诉讼。

举个例子，如果你把大众点评上的所有公开信息都抓取了下来，自己复制了一个一模一样的网站，并且还通过这个网站获取了大量的利润，这样也是有问题的。

一般情况下，爬虫都是为了企业获利的，因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

05最后

有风险的行业谨慎进入，比如现金贷、不合规的P2P、赌博类 游戏 、黑五类产品的行业。如果公司安排入侵某个网站数据，或者有同事/朋友邀请泄露公司信息的都需要保持警惕，有时候一个很小的动作都有可能导致出问题。

我们绝大多数公司和个人使用的爬虫都是没有问题的，不必人人自危，只要把握住不要爬取个人信息，不要利用爬虫非法获利，不要爬取网站的付费内容，基本上不会有问题。

程序员是世界上最单纯的一批人，也是一批高智商低情商的人，工作是工作但也需要适当保持谨慎，对于一些游走在法律边缘的事情请保持距离。

敬畏法律，遵纪守法，从我做起。

参考：>不建议，网络上有社工，只需要在社工库搜索一个人的信息，其他连带信息都会出来，包括QQ群关系，腾讯之前有暴库，数据库被偷走的事情发生过，作为政府机关单位特别是军队，强烈不建议。你们虽然不用怕黑客入侵系统，你们应该有专门的技术人员，但是社工渗透进入，是很难防的。如果间谍想要渗透进入，提供社工渗透也很简单，你在网上搜索很多黑客QQ群，政府机关的服务器被入侵的都有，只不过要混很久别人才会给你说，不信任的人别人不会告诉你这种事情。主要是感觉政府机关对互联网安全不是很重视，一律重视效率而忽略了安全，甚至我在一个群听到爆破服务器和“抓鸡”最好搞的是政府的，弱口令很多，很多弱口令就是为了办事方便……我是不是扯远了……反正不建议私自弄

安全。
相比较而言，qq已经是安全性很高的软件了。你这种情况可能由多种原因导致，比如你在网吧上网中木马啊，或者是你们密码在社工库中存在啊，或者你的密码比较简单，再比如你的密保比较简单啊之类的。
密码复杂度一定要提升，尽量不要在公共环境上网，如果你的qq比较重要，建议用令牌吧。

因为他们是骗人的。

一、淘宝解锁苹果id骗局。

简单科普一下，所谓带有Touch ID锁，就是这部iPhone上还留有原来机主设置的指纹和密码。根据iPhone的安全机制，手机的密码保护着其中所有的信息，如果不能正确输入密码，意味着机主并没有授权。输错密码达到一定次数，这部手机将永远停留在被锁界面;如果机主开启了丢失模式，手机也将停留在锁屏界面。

1、通常会要求消费者，现行通过支付宝转账，收款方确认收到转账后，承若帮忙破解苹果id锁。往往消费者找密码心切，不怎么考虑就转账过去，这样就很容易被骗。

2、冒充苹果给用户发邮件骗取id和密码。苹果的id锁如果不经过正规途径解锁，那这部手机就不能再联网(移动，联通，电信的手机网络)了。

3、手机的主人如果忘记密码，可以通过登陆苹果官网找回密码。除非他突然失忆，将自己的所有的ID和密码同时忘得一干二净。所以如果有人出售这样的带锁iPhone，一个推论不言而喻：手机真正的主人很可能并没有同意出售这部手机。

大数据处理技术可分析 TB 级或甚至 PB 级的大数据集。离线批处理数据处理通常是全功率和全面的，处理任意 BI 用例。同时对最新的数据片段执行实时流处理，以进行数据分析，以选择异常值，欺诈事务检测，安全监控等。

解决大数据处理技术需要创新的算法和编程，而不是简单地添加硬件电源。广泛使用的解决方案是索引和分区数据以提供更好的访问。GeoSpock 的 infin8 使用数据索引来处理和组织数据，以便通过以任何比例摄取和处理原始数据来进行亚秒数据检索，然后创建一个有组织的索引来保留原始数据集的每个记录。
使算法更智能也有另一个有趣的效果，允许公司可靠地从图像，视频和音频中收集数据，为可以“外观和听觉”的新一代应用打开大门。这些进步使机器可以扫描镜头并标记它们检测到的对象或人物。它也可以作为公司情报收集工具的一部分。
人工智能在这个领域提供了很大的好处。人工智能的进步需要大量数据才能正常运行，这些 AI 工具可以更好地查看数据，以查看数据集的哪些部分更有用，哪些部分的价值更低，可以优先处理。因此，我们可以查询 AI 所学的内容对分析目的最有利，而不是完整的数据集。
另一种高效且必要的大数据处理技术是可视化。可视化是大数据分析的核心，因为它以有意义的方式聚合数据，允许底层模式浮出水面。在回答有关销售业绩和目标广告效果的问题时，这些数据证明是非常宝贵的。
做出明智的决策可以减少浪费的资源和工作，同时珩磨的重点是如何尽可能多地自动化数据收集过程。虽然最近的失败 – 特别是在自动驾驶汽车行业 – 对人工智能的能力产生了怀疑，但潜在的大数据结构却有一个据点。无论是用于训练机器学习算法还是帮助人类做出更好的决策，知道要收集哪些数据，从哪里收集数据以及如何存储和处理它，都可以让我们从大数据处理技术中获取最大价值。

---