curl获取网页被拒绝求助

如果开启了IPv6，curl默认会优先解析 IPv6，在对应域名没有 IPv6 的情况下，会等待 IPv6 dns解析失败 timeout 之后才按以前的正常流程去找 IPv4

原因：

在程序中我对curl获取内容都作了较为严格的超时限制，所以就会造成无法获取内容的问题。

解决方法：设置默认访问为ipv4。

php的curl设置方法如下：

复制代码 代码如下:

<php

/

IPV6下curl超时问题

/

$ch = curl_init();

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true);

//设置curl默认访问为IPv4

if(defined('CURLOPT_IPRESOLVE') && defined('CURL_IPRESOLVE_V4')){

curl_setopt($ch, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4);

}

//设置curl请求连接时的最长秒数，如果设置为0，则无限

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

//设置curl总执行动作的最长秒数，如果设置为0，则无限

curl_setopt ($ch, CURLOPT_TIMEOUT,$timeout3);

$file_contents = curl_exec($ch);

curl_close($ch);

注：curl_setopt($ch, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4) 只有在php版本53及以上版本，curl版本7108及以上版本时，以上设置才生效。

可以参考以下几种方法：

方法一： file_get_contents获取

<span style="white-space:pre"> </span>$url=">

<span style="white-space:pre"> </span>$fh= file_get_contents

('>

方法二：使用fopen获取网页源代码

<span style="white-space:pre"> </span>$url=">

<span style="white-space:pre"> </span>$handle = fopen ($url, "rb");

<span style="white-space:pre"> </span>$contents = "";

<span style="white-space:pre"> </span>while (!feof($handle)) {

<span style="white-space:pre">  </span>$contents = fread($handle, 8192);

<span style="white-space:pre"> </span>}

<span style="white-space:pre"> </span>fclose($handle);

<span style="white-space:pre"> </span>echo $contents; //输出获取到得内容。

方法三：使用CURL获取网页源代码

$url=">

$UserAgent = 'Mozilla/40 (compatible; MSIE 70; Windows NT 60; SLCC1; NET CLR 2050727; NET CLR 3004506; NET CLR 3521022; NET CLR 103705; NET CLR 114322)';

$curl = curl_init(); //创建一个新的CURL资源

curl_setopt($curl, CURLOPT_URL, $url); //设置URL和相应的选项

curl_setopt($curl, CURLOPT_HEADER, 0);  //0表示不输出Header，1表示输出

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); //设定是否显示头信息,1显示，0不显示。//如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

curl_setopt($curl, CURLOPT_ENCODING, ''); //设置编码格式，为空表示支持所有格式的编码

//header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。

curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

//设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做>

$data = curl_exec($curl);

echo $data;

//echo curl_errno($curl); //返回0时表示程序执行成功

curl_close($curl); //关闭cURL资源，并释放系统资源

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

参考资料：

PHP（超文本预处理器)-百度百科

一、用file_get_contents函数,以post方式获取url

<php

$url= '>

$data= array('foo'=> 'bar');

$data= >

$opts= array(

'>

'method'=> 'POST',

'header'=>"Content-type: application/x->

"Content-Length: "   strlen($data)  "\r\n",

'content'=> $data

)

);

$ctx= stream_context_create($opts);

$html= @file_get_contents($url,'',$ctx);

二、用file_get_contents以get方式获取内容

<php

$url='>

$html= file_get_contents($url);

echo$html;

>

三、用fopen打开url, 以get方式获取内容

<php

$fp= fopen($url,'r');

$header= stream_get_meta_data($fp);//获取报头信息

while(!feof($fp)) {

$result= fgets($fp, 1024);

}

echo"url header: {$header} <br>":

echo"url body: $result";

fclose($fp);

>

四、用fopen打开url, 以post方式获取内容

<php

$data= array('foo2'=> 'bar2','foo3'=>'bar3');

$data= >

$opts= array(

'>

'method'=> 'POST',

'header'=>"Content-type: application/x->

urlencoded\r\nCookie:cook1=c3;cook2=c4\r\n"  

"Content-Length: "   strlen($data)  "\r\n",

'content'=> $data

)

);

$context= stream_context_create($opts);

$html= fopen('>

$w=fread($html,1024);

echo$w;

>

五、使用curl库，使用curl库之前，可能需要查看一下phpini是否已经打开了curl扩展

<php

$ch= curl_init();

$timeout= 5;

curl_setopt ($ch, CURLOPT_URL, '>

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents= curl_exec($ch);

curl_close($ch);

echo$file_contents;

>

$ch = curl_init();

curl_setopt($ch, CURLOPT_COOKIEJAR, '文件名'); // 将该次请求完成后 cookie信息保存到文件

curl_setopt($ch, CURLOPT_COOKIEFILE, '文件名'); // 这次请求过程中 用到的cookie信息 的文件

模拟cookie 你可以先curl一次那页面 获取到cookie之后 ， 留待下次 用CURLOPT_COOKIEFILE 发送该段cookie 进行模拟

你说的是筛选两个br之间 的内容么

$pattern="/^<br/>(这个小括号可以省略,如果是要筛选所有内容,就用\S,如果只要数字,就用\d,如果是字母,就是[a-z])<br/>$/";

以上就是关于curl获取网页被拒绝求助全部的内容，包括:curl获取网页被拒绝求助、php获取网页源码内容有哪些办法、php获取指定网页内容等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！