有两个方法可以解决：
1PHP抓取页面受限的破解方法
在使用PHP抓取百度知道问题页时，由于PHP程序抓取速度过快，导致被屏蔽，采用以下的方式解决
抓取页面需采用fsockopen方式，使用file_get_contents无法设置请求头
fsockopen函数的使用方法请自行查阅，例子中的geturlcont函数为自定义函数，核心即为fsockopen，geturlcont函数的原型
geturlcont($url, $referer = "" ,$cookie),$url为待抓取的页面的url，$referer为传递的referer参数(主要用于防止抓到的是百度首页)，$cookie为重要的一个参数，用于破解局域网异常访问屏蔽功能
2Chrome扩展直接跳转方案
在另一个程序中，不需要抓取页面内容，但会同时打开数十页的百度页面，同样可能会造成短时间内请求过多导致的屏蔽，解决方法是通过Chrome扩展的js注入功能实现
附（百度屏蔽页的代码）：
<html>
<head>
<meta >几种可能。
1对方邮箱服务器任务过重，某些smtp的请求被丢弃。
2网络拥塞问题。
3服务器宕机。这种可能性小，但也不是没有。
4服务器受到攻击，无法响应正常的请求。504是>
为什么我的网页会显示>
1、所访问网站的服务器问题，用户所访问的网站对应的服务器网页已被删除或者修改，也可能是用户所访问的网站服务器没有部署Web服务器应用，导致服务器未能响应用户的请求，所以网站会返回404错误状态码。
2、所访问网站的URL问题，这是因为用户输入的网站地址链接错误或者输入了不存在的网站的网址。也可能是所访问的网站的域名服务到期，网站管理者没有续费，导致该网址失效，从而使得浏览器无法找到对应的网络资源，造成>
3、用户自己访问网站的设备网络问题，用户使用的网络设备网络连接故障，从而访问的服务器网络信号差，MIME映射策略阻止本请求，或者Web服务扩展锁定策略阻止本请求。导致浏览器返回404错误提示页面。
扩展资料网站出现404代码的作用：
1、避免出现死链：网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除。避免因为死链接影响网站收录。
2、提升用户体验：404页面通常为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的挫败感。
3、避免信任度下降：搜索引擎通过>
4、避免被惩罚：有些网站由于应用了一些错误的服务器配置，导致返回的是200状态码或是302状态码，虽然这些状态码对访问网站的用户没有影响，但是却会误导搜索引擎，使搜索引擎认为该页面是有效页面，从而抓取下来。
参考资料：
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）