robots封禁后,为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取?

robots封禁后,为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取?,第1张

robots封禁后,为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取

您好,网站在设置robots封禁,您可以使用站长平台的robots工具进行更新,更新后可以尝试使用抓取诊断工具进行检测。 百度在robots封禁后,百度可以保证不再对robots封禁的网站和目录进行抓取,但无法保证线上结果会立即消除,线上更新需要一定周期。如您站想快速删除索引,您可以将域名设置404状态,使用死链工具进行提交。如问题依旧存在,请进行人工反馈。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5657279.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存