变通的方法是:
从各大代理列表网站把代理服务器的ip列表当下来,然后把这些列表中的ip地址在你的服务器的ip过滤策略中(或者你的防火墙上)全部设置为禁止访问。
最好编写一个脚本,定期更新这些代理服务器ip列表,并自动写入过滤配置。
虽然这个工作不难,但是我估计你要维护的代理列表中可能有几千个甚至上万个ip地址,如果你的服务器有大量使用这些代理的请求,那么过滤这些ip对你的cpu是个考验。如果只是很少部分的话,对运算资源有些浪费。当然如果过几个月后,使用代理的访问者发现访问不了,可能就不用了,这时你可以考虑取消这些过滤策略。
总的来讲,网站的反爬虫的策略有:检测爬取频率、并发连接数目、>
其中最常见的就是判断你的请求频率和并发数量,如果你在短时间内发送了大量的请求,也就是你的爬取速度很快的话,那么他就直接判断你是爬虫,这时候先把你IP封了再说,免得给自己的网站带来负担。
那么这些策略我们都如何应对呢?这几个方法都不同,
1、爬虫伪装浏览器点击
我们先理解一下网站的代码执行,首先我们向服务器发送请求,这时服务器的后台php、java都会执行,然后网站代码被发送到本地,在本地时js、ajax会在浏览器内核中执行。所以这时候我们就知道,爬虫不仅要欺骗phpjava代码、还要欺骗js和ajax代码。
2、使用代理
爬的太快会被封,是一定的。爬的太慢又非常耗时间。所以很多人都会说可以使用代理,所谓代理就是介于用户与网站之间的第三者:用户先将请求发到代理,然后代理再发到服务器,这样看起来就像是代理在访问那个网站了,实现一个不断的切换IP的假象。网上免费代理很多,但是能用的没几个,如果不想购买付费的代理,大家可以学习一下
3、降低访问频率
如果一直找不到好用的免费代理,又不想付费,最好的办法就是降低访问频率了。这样做可以达到与用代理一样的效果——防止被对方从访问量上看出来。比如:每抓取一个页面就休息随机几秒、限制每天抓取的页面数量。当然,在抓取效率上会差很多,因为数据量大的话,时间就会很长。
1、在大批量某一字段ip访问你网站之前,会在不该出现的时间段,出现很多各个地方的访问ip,而且时间还很接近。而且,访问同一个页面,没有任何来撸,只有ip和时间。
2、当你看到每天都是这几个ip在访问你网站的时候,需要去加强一下后台和ftp的维护情况。但你仍找不到为什么会访问你的网站,然后过一段时间,你会发现,同一个ip字段开始大批量的访问你的网站。不定时间,大批量的访问你网站的所有页面。
3、此情此景,大概网站是被攻击了,所有的页面都被采集了。但是,如果这些天每天都在出现这些ip字段,且每天都在访问你的网站,那么,你网站真的是被攻击了,不只是被采集。18097106162查看这个ip,结果如下。
4、可以在iis服务器进行某一字段的限制。打开IIS,选择要设置的网站,打开“属性”-“目录安全性”,找到“IP地址和域名限制”添加所要限制的ip字段。
具体步骤如下开始菜单->设置->控制面板->管理工具->本地安全策略
依次打开
->点击"IP安全策略,在本地计算机" ->双击"服务器(请求安全设置)"
->在"所有IP通讯"前面打勾 然后双击打开 ->双击"所有IP通讯"(这里别忘了选中)
->点"添加" 下一步 ->描述里随便写 ->源地址默认不需要修改
->目标地址选择"一个特定的IP子网"
->IP地址输入你要封的IP段 例如你想封221210222 网段,你就在IP地址处填2212102220
->子网掩码处填2552552550 (这样,2212102220 到 221210222255这255个IP就都被封了)
(注意)如果你想封221210网段 就在IP地址处填22121000 子网掩码填 25525500
这样就把22121000 到221210255255之间的IP全封了
想封多个IP段,就重复添加
最后,别忘了指派一下(在服务器 请求安全设置上点右键->指派) 指派之后立即生效
提醒大家注意的:发现复制严重的地区 封IP段的同时 别封复制者的号 这样就可以随时观察他们会不会再用代理来上服务器了
香港服务器IP为什么会被封?服务器供应商很少主动去封用户IP,很多被封是因为IP存在违规违法的行为。下面华纳云就来告诉大家如何避免自己香港站群服务器IP被封!
一、遵守当地法律法规
这一类香港服务器IP被封,服务商也很无奈,服务商收了用户的费用,但不等于用户就可以在服务器上随心所欲,做一些不符合法律法规的事情,尤其是在大陆互联网法律法规越来越完善,越来越严格的情况下,用户必须遵守与服务商之间的约定,即服务商的《服务条款》,用户在购买服务器前应该先认真阅读这一部分条款。
大多数服务商的条款是在法律法规的基础上加上自己的一些细致的规定,当然,不排除有少数服务商不按照法律法规来做事,这一类服务商主要注重金钱利益,对其他视而不见,一旦用户的站群服务器出现违法违规内容,也不会提醒用户并及时作出限制,等到机房检测或者是被举报之后,机房以及运营商采取封IP的措施。强烈不建议用户与这类服务商合作。
二、同行攻击/恶意入侵
同行或者是攻击发起者通过一些手段获取到香港服务器漏洞,然后把用户自己的系统搞垮或者是通过设置一些参数是的服务器运行不正常,也有使用用户的服务器去做一些违法违规的事情,以达到违规而被第三方封IP的目的。
华纳云作为老牌服务商,我们会竭尽全力做好香港站群服务器的防御系统,做到最少的漏洞,同时做好监控系统。我们也建议用户,应当配置好服务器的各项参数,关闭不必要的端口和服务,及时修复系统漏洞等等。
三、遭遇流量攻击
因为流量攻击而被封IP是最常见,对于这种情况,用户被封IP觉得很冤枉,服务商封用户IP也属于无奈之举。对于流量攻击,普通的香港机房根本无力抵抗,普通机房一旦遭遇到这一类攻击,就会出现整个机房网络不稳定,大量访问请求占用着带宽和服务器资源,使得香港服务器超负荷工作。
这种情况服务商只能通过封掉对应被攻击的IP,这样子流量攻击就不能再继续攻击,但是这也就造成用户IP被封的情况。如果用户服务器长期都有流量攻击,我们建议租用高防服务器,这是一种专门用于防御流量攻击的服务器,如果只是有时候有攻击,并且时间短,一般攻击结束后服务商会在第一时间解封用户的IP,期间对用户如果造成什么损失或者影响,也希望用户能多多包涵。
香港服务器IP如果长时间被封,服务器下所有的应用都会有很大影响,如果是部署在该服务器下的网站,可能用户会无法访问,同时搜索引擎蜘蛛也会对网站进行降权处理,我们可以先更换一个新的IP,然后与服务商沟通交流,看看是那个地方出现问题导致IP被封,再申请解封。
华纳云,是知名的 IDC 品牌,致力于中国香港及海外数据中心基础业务开发, 为企业和开发者提供优质的香港站群服务器、香港站群服务器、高防服务器、 机柜出租以及云虚拟主机等产品与服务。在数据中心 724H 常驻技术人员, 以极速 BGP 冗余网络、CN2 GIA 专线以及逾 10 年技能经验,帮助企业在 全球范围内实现转型、竞争和业务攀升。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)