使用PHP的cURL库进行网页抓取

使用PHP的cURL库可以简单和有效地去抓网页 你只需要运行一个脚本 然后分析一下你所抓取的网页 然后就可以以程序的方式得到你想要的数据了 无论是你想从从一个链接上取部分数据 或是取一个XML文件并把其导入数据库 那怕就是简单的获取网页内容 cURL 是一个功能强大的PHP库 本文主要讲述如果使用这个PHP库

启用 cURL 设置

首先 我们得先要确定我们的PHP是否开启了这个库 你可以通过使用php_info()函数来得到这一信息

﹤?phpphpinfo()?﹥

如果你可以在网页上看到下面的输出 那么表示cURL库已被开启

如果你看到的话 那么你需要设置你的PHP并开启这个库 如果你是在Windows平台下 那么非常简单 你需要改一改你的php ini文件的设置 找到php_curl dll 并取消前面的分号注释就行了 如下所示

//取消下在的注释extension=php_curl dll

如果你是在Linux下面 那么 你需要重新编译你的PHP了 编辑时 你需要打开编译参数——在configure命令上加上 –with curl 参数

一个小示例

如果一切就绪 下面是一个小例程

﹤?php// 初始化一个 cURL 对象$curl = curl_init()

// 设置你需要抓取的URLcurl_setopt($curl CURLOPT_URL //cocre )

// 设置headercurl_setopt($curl CURLOPT_HEADER )

// 设置cURL 参数 要求结果保存到字符串中还是输出到屏幕上 curl_setopt($curl CURLOPT_RETURNTRANSFER )

// 运行cURL 请求网页$data = curl_exec($curl)

// 关闭URL请求curl_close($curl)

// 显示获得的数据var_dump($data)

  如何POST数据

上面是抓取网页的代码 下面则是向某个网页POST数据 假设我们有一个处理表单的网址// example /sendSMS php 其可以接受两个表单域 一个是电话号码 一个是短信内容

﹤?php$phoneNumber = $message = This message was generated by curl and php $curlPost = pNUMBER= urlencode($phoneNumber) &MESSAGE= urlencode($message) &SUBMIT=Send $ch = curl_init()curl_setopt($ch CURLOPT_URL // example /sendSMS php )curl_setopt($ch CURLOPT_HEADER )curl_setopt($ch CURLOPT_RETURNTRANSFER )curl_setopt($ch CURLOPT_POST )curl_setopt($ch CURLOPT_POSTFIELDS $curlPost)$data = curl_exec()curl_close($ch)?﹥

从上面的程序我们可以看到 使用CURLOPT_POST设置HTTP协议的POST方法 而不是GET方法 然后以CURLOPT_POSTFIELDS设置POST的数据

　 　关于代理服务器

下面是一个如何使用代理服务器的示例 请注意其中高亮的代码 代码很简单 我就不用多说了

﹤?php $ch = curl_init()curl_setopt($ch CURLOPT_URL // example)curl_setopt($ch CURLOPT_HEADER )curl_setopt($ch CURLOPT_RETURNTRANSFER )curl_setopt($ch CURLOPT_HTTPPROXYTUNNEL )curl_setopt($ch CURLOPT_PROXY fakeproxy : )curl_setopt($ch CURLOPT_PROXYUSERPWD user:password )$data = curl_exec()curl_close($ch)?﹥ 关于SSL和Cookie

关于SSL也就是HTTPS协议 你只需要把CURLOPT_URL连接中的//变成//就可以了 当然 还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点

关于Cookie 你需要了解下面三个参数

CURLOPT_COOKIE 在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE Cookie的文件

HTTP服务器认证

最后 我们来看一看HTTP服务器认证的情况

﹤?php $ch = curl_init()curl_setopt($ch CURLOPT_URL // example )curl_setopt($ch CURLOPT_RETURNTRANSFER )curl_setopt($ch CURLOPT_HTTPAUTH CURLAUTH_BASIC)curl_setopt(CURLOPT_USERPWD [username]:[password] )

$data = curl_exec()curl_close($ch)?﹥

关于其它更多的内容 请参看相关的cURL手册 lishixinzhi/Article/program/PHP/201311/21491

可以参考以下几种方法：

方法一： file_get_contents获取

<span style="white-space:pre"> </span>$url="http://www.baidu.com/"

<span style="white-space:pre"> </span>$fh= file_get_contents

('http://www.hxfzzx.com/news/fzfj/')<span style="white-space:pre"> </span>echo $fh

方法二：使用fopen获取网页源代码

<span style="white-space:pre"> </span>$url="http://www.baidu.com/"

<span style="white-space:pre"> </span>$handle = fopen ($url, "rb")

<span style="white-space:pre"> </span>$contents = ""

<span style="white-space:pre"> </span>while (!feof($handle)) {

<span style="white-space:pre">  </span>$contents .= fread($handle, 8192)

<span style="white-space:pre"> </span>}

<span style="white-space:pre"> </span>fclose($handle)

<span style="white-space:pre"> </span>echo $contents//输出获取到得内容。

方法三：使用CURL获取网页源代码

$url="http://www.baidu.com/"

$UserAgent = 'Mozilla/4.0 (compatibleMSIE 7.0Windows NT 6.0SLCC1.NET CLR 2.0.50727.NET CLR 3.0.04506.NET CLR 3.5.21022.NET CLR 1.0.3705.NET CLR 1.1.4322)'

$curl = curl_init() //创建一个新的CURL资源

curl_setopt($curl, CURLOPT_URL, $url) //设置URL和相应的选项

curl_setopt($curl, CURLOPT_HEADER, 0)  //0表示不输出Header，1表示输出

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1) //设定是否显示头信息,1显示，0不显示。//如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false)

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false)

curl_setopt($curl, CURLOPT_ENCODING, '') //设置编码格式，为空表示支持所有格式的编码

//header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。

curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent)

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1)

//设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头)。

$data = curl_exec($curl)

echo $data

//echo curl_errno($curl)//返回0时表示程序执行成功

curl_close($curl) //关闭cURL资源，并释放系统资源

拓展资料

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

参考资料：PHP（超文本预处理器)-百度百科

第一步，查看网页源代码，找到ajax请求的URL。

比如，js代码为：

$.ajax({

url: 'ajax.php?id=100',

data: {ad_num:num,ad_str:str,cart_update_time:cart_update_time},

type: 'POST',

dataType: 'text',

async : false,

success: function(data){

}

其中的ajax.php?id=100就是ajax请求的URL。

第二步，拼接URL，用网站的域名加上这个找到的请求路径。

比如，网站域名为： www.abc.com 拼接后的URL为：www.abc.com/ajax.php?id=100

第三步，用PHP读取第二步拼接出的URL即可。

---