如何用php 编写网络爬虫

php不太适合用来写网络爬虫,因为几乎没有现成的框架,或者成熟的下载机制,也不太适合做并发处理.

下载页面的话除了一个curl,就是file_get_contents,或者curl_multi来做并发请求.curl可以代理端口,虚假ip,带cookie,带header请求目标页面,下载完成之后解析页隐桥源面可以用queryList来解析html.写法类似jQuery.

提供给你我之前写的类:curl.php  希望可以帮到你.

QueryList.php和phpQuery.php由于文件太大了,没办法贴上来

<?php

class Http {

    public function curlRequest($url, $postData = '', $timeOut = 10, $httpHeader = array()) {

        $handle = curl_init ()

       灶态 curl_setopt ( $handle, CURLOPT_URL, $url )

        if ($httpHeader) {

            curl_setopt($handle, CURLOPT_HTTPHEADER, $httpHeader)

        }

        curl_setopt ( $handle, CURLOPT_RETURNTRANSFER, true )

        curl_setopt ( $handle, CURLOPT_HEADER, 0 )                                                                curl_setopt ( $handle, CURLOPT_TIMEOUT, $timeOut )

        curl_setopt ( $handle, CURLOPT_FOLLOWLOCATION, 消纯1 )

        curl_setopt ( $handle, CURLOPT_SSL_VERIFYPEER, false )

        curl_setopt ( $handle, CURLOPT_SSL_VERIFYHOST, false )

        curl_setopt ( $handle, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh Intel Mac OS X 10_7_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36')        curl_setopt ( $handle, CURLOPT_ENCODING, 'gzip,deflate,sdch')

        if (! empty ( $postData )) {

            curl_setopt ( $handle, CURLOPT_POST, 1 )

            curl_setopt ( $handle, CURLOPT_POSTFIELDS, $postData)

        }

        $result['response'] = curl_exec ( $handle )

        $result['httpStatus'] = curl_getinfo ( $handle, CURLINFO_HTTP_CODE )

        $result['fullInfo'] = curl_getinfo ( $handle )

        $result['errorMsg'] = ''

        $result['errorNo'] = 0

        if (curl_errno($handle)) {

            $result['errorMsg'] = curl_error($handle)

            $result['errorNo'] = curl_errno($handle)

        }

        curl_close ( $handle )

        return $result

    }

}

?>

只要包含网络和字符串处理功能的编程语言理论上都可以写爬虫，所以PHP当然完全没问题。如何用PHP写爬虫的前提是你要先调研清楚爬什么内容。这需要你针对要爬取目标做好充分的测试和准备工作，丛简否则会浪费很多时间。

比如一个简单的“传统型”网站，那真的只需要用file_get_contents函数加正则就能搞定。觉的正则匹配数据太麻烦可以上xpath。如果站点有了频率和IP限制，这时就要额外准备好代理IP池了。当发现抓取内容是JS渲染的，可能要考虑引入headlessbrowser这种技术的PHP扩展了。对爬取效率有闹郑物了要求后，多线程，抓取和解析分离，分布式也是要考虑的了。。。

回到问题本身如何写的问题，我个人觉得爬虫是个定制化比较液液高的业务需求，需要根据具体的场景来规划。如果是要写一个能解决所有爬虫场景的，那就不用自己写了，成熟的开源软件拿来直接用就行了。非要写的话可以直接参考这些成熟的软件，自己可以少踩很多坑。

header("Content-Type: text/htmlcharset=gbk")

$url = "http://www.baidu.com/"

$fcontents = file_get_contents($url)

if (ereg("<title>悄滑耐(.*)</title>", $fcontents, $regs)){echo "让此ok"}else{echo "error"}

echo "启春<br>"

print_r($regs)

---