蜘蛛抓取有好多动态链接是否有影响?如何处理动态url抓取?

蜘蛛抓取有好多动态链接是否有影响?如何处理动态url抓取?,第1张

蜘蛛抓取有好多动态链接是否有影响?如何处理动态url抓取?

我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?

如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。

对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。

User-agent: *Disallow: /*?*

更详细的robots设置方法,可以看下面链接课程

https://ke.kaotop.com/play/9492.html


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5656883.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存