带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意

概述我遇到了困难,百度蜘蛛正在攻击我的网站,每天带来3Gb带宽.与此同时,我在中国开展业务,所以不要只是阻止它. 有没有其他人处于类似情况(任何蜘蛛)？你有没有遇到过神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？ 只要它遵循robots.txt,您就可以限制请求 User-agent: *Crawl-delay: 10 我遇到了困难,百度蜘蛛正在攻击我的网站,每天带来3Gb带宽.与此同时,我在中国开展业务,所以不要只是阻止它.

有没有其他人处于类似情况(任何蜘蛛)？你有没有遇到过神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？

解决方法 只要它遵循robots.txt,您就可以限制请求

User-agent: *Crawl-delay: 10

总结

以上是内存溢出为你收集整理的带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意全部内容，希望文章能够帮你解决带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。