爬虫违法吗?

法律分析：下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：

爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。

爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”

爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

法律依据：《中华人民共和国刑法》

第二百八十五条 违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，依照前款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。

第二百五十三条之一 违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

你是说服务器怎么反爬虫么？

特征：比如同 IP 高频访问、UA 不对、Cookie 不对等等，可以识别出是爬虫。

蜜罐：做一些只有爬虫能够访问到但是用户不会进入的链接，访问到蜜罐的都是爬虫。

展示：比如把网站内的重要内容换成，用户看到是正常的，爬虫抓回去还得做 OCR。

设置putty

打开putty，找到左边的SSH，选择Tunnels，然后在Source
port上填入你想要的端口号，然后Add一下，下面选择Dynamic即可。现在你机器的127001:端口号(例如：127001:9999，当然使用localhost替换127001也是可以的)就是代理服务器了。设置好后需要用putty登录到服务器，并保持登录状态。然后设置一下浏览器的代理服务器就可以了。

设置FireFox

工具–>选项–>高级–>网络，在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。

这样设置之后，浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站，如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候用服务器的dns，在Firefox的地址栏输入
about:config
，找到networkproxysocks_remote_dns，双击改成true即可。该选项是使用远程代理服务器来解析DNS，避免DNS欺骗。

关于知乎验证码登陆的问题，用到了Python上一个重要的处理库PIL,如果不行，就把存到本地，手动输入。

通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。
这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。

用chrome （或者火狐 >分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。单机爬虫就是只在一台计算机上，叫做单机。前嗅的ForeSpider数据采集系统就有单机和服务器版，比如只在一台服务器上的爬虫，虽然开了多进程，但还是服务器单机的。但是如果在多个服务器上，并且能够协同采集，就是分布式的。