php程序员对数据采集的要求掌握程度如何？

php数据采集常见技术要领：

1、熟练正则表达式提取数据技术：提取内容关键步骤

2、熟练字符编码转换分析技术：兼容性管理以及数据有效性控制

3、熟练数据出库入唯判库整理技术：对已采集内容的存储管理，指察改包括数据库以及文件和进度

4、发掘数据以及没租网站爬行技术：分析网站结构，简化爬行手法，提高效率

5、反反采集处理技术：对于存在反采集的目标对象而设计的反反采集技术

6、多服务器并发采集管理技术：提高效率的工作方法

7、数据整理分析技术：查漏验证数据正确性有效性

8、自我身份保护技术：自身信息的保护

什么网页数据？

是打开 本地网页还是打开网上网页

如果是本地网页的话  在浏览器上输入127.0.0.1或者localhost进行访问

如果是外网我理解的是你要获取外网的一个网页，可以用代码或者程序来实现

（一般称为采集程序，或者小偷程序）

//个人认为curl好一点，因为curl可以模拟浏览器，有的网站会过滤机器人

//1.php代码

//把网页读入一个字符串

$contone = file_get_contents('url')

print_r($contone)

//curl采集

#初始化curl  （true/false）

        $ch=curl_init()

        #请求url地址

        $params[CURLOPT_URL]='网址'

        #是否返回响应头信息

        $params[CURLOPT_HEADER] = true

        #是否将结果返回

        $params[CURLOPT_RETURNTRANSFER] = true

        #是否重定向

        $params[CURLOPT_FOLLOWLOCATION] = true

        #伪造浏览器

        $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'

        curl_setopt_array($ch, $params)

        $content=curl_exec($ch)

        //输出网页内容

        print_r($content)

        

//下面是整个curl采集类

class Curl{

    #采集的地址

    public $url

    #匹配的正则

    public $preg

    #模拟登录需要的用户名

    public $username

    #模拟登录需要的密码

    档旁public $pwd

    #cookie存储的路径

    private $cookie_path

    #采集数据的字符集

    public $charset

    /**

     * 构造方法，初始化采集基本信息

     * @param $url  采集的url

     * @param $preg 匹配的正则

     * @param string $username  用户名

     * @param string $pwd  密空蠢裂码

     * @param string $charset 字符集

     */

    public function __construct($info){

        extract($info)

        $this->url=$url

        $this->preg=$preg

        if(isset($charset)){

            header("content-type:text/htmlcharset=".$this->charset)

        }else{

            header("content-type:text/htmlcharset=utf-8")

        }

        if(isset($username)){

            $this->username=$username

        }

        if(isset($pwd)){

            $this->pwd=$pwd

        }

    }

    /*

     * 采集数据，非表单提交方式，直接采集的

     */

    public function get_info(){

        #初始化curl

        $ch=curl_init()

        #请求url地址

        $params[CURLOPT_URL]=$this->url

        #是否返回响应头信息

        $params[CURLOPT_HEADER] = true

        #是否将结果返回

        $params[CURLOPT_RETURNTRANSFER] = true

        #是否重定向

        $params[CURLOPT_FOLLOWLOCATION] = true

        #伪造浏览器

        $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'

        //判断是否有cookie,有的话直接使用

        //if (isset($_COOKIE['cookie_jar']) &&($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar']))){

        //    $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar'] //这里判断cookie

        //} else {

        //    $cookie_jar = tempnam($this->cookie_path, 'cookie')                  //产生一个cookie文件

        //    $params[CURLOPT_COOKIEJAR] = 斗闭$cookie_jar                       //写入cookie信息

        //    setcookie('cookie_jar', $cookie_jar) //保存cookie路径

        //}

        #开始发送请求，传入curl参数

        curl_setopt_array($ch, $params)

        $content=curl_exec($ch)

            preg_match_all($this->preg,$content,$arr)

        return $arr

    }

    /**

     * 采集远程图片

     * @param $img  图片路径  是一个数组

     * @param $save_path   图片保存在你本地的路径

     * @return bool

     */

    public function get_img($img,$save_path){

        for($i=0$i<count($img)$i++) {

            $res=@file_get_contents($img[$i])

            $img_type=substr($img[$i], strrpos($img[$i], "."))

            $path=$save_path.time().rand(1,9999999).mt_rand() .$img_type

            $img[$i] = $path

            file_put_contents($path,$res)

        }

        return $img

    }

    //登录后采集

    public function register_info(){

        //采集的信息需要先登录的就要先模拟登录

        //设置cookie保存路径

        $ch = curl_init()

        //组装用户名和密码

        $info['username'] = $this->username

        $info['password'] = $this->pwd

        //模拟表单提交

        $params[CURLOPT_URL] = $this->url    //请求url地址

        $params[CURLOPT_HEADER] = true //是否返回响应头信息

        $params[CURLOPT_RETURNTRANSFER] = true //是否将结果返回

        $params[CURLOPT_FOLLOWLOCATION] = true //是否重定向

        $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'

        $postfields = ''

//将表单要提交的数据编程URL拼接方式

        foreach ($info as $key => $value){

            $postfields .= urlencode($key) . '=' . urlencode($value) . '&'

        }

        $params[CURLOPT_POST] = true

        $params[CURLOPT_POSTFIELDS] = $postfields

//判断是否有cookie,有的话直接使用

        if (isset($_COOKIE['cookie_jar'])&&($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){

            $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar'] //这里判断cookie

        }else{

            $cookie_jar = tempnam($this->cookie_path, 'cookie') //产生一个cookie文件

            $params[CURLOPT_COOKIEJAR] = $cookie_jar //写入cookie信息

            setcookie('cookie_jar', $cookie_jar) //保存cookie路径

        }

        curl_setopt_array($ch, $params) //传入curl参数

        $content = curl_exec($ch) //执行

        return $content

    }

}

这个程序御亏运行下来到你看到结果，涉及到的编码有：

"http://news.sohu.com/s2013/yingxiang/?390457742" 对应网页内容的编码，

你php脚本文件的编码，

你看到的输出的内容的编码，

如果是在浏览器中看的，还有浏览器解析输出内容的编码。

这一套流程走下来，如果中间有消答一步流程没有匹配上的话，就会出现乱码了。

不考虑4浏览器编码的话，首先我们可以通过浏览器查看编码的方法知道"http://news.sohu.com/s2013/yingxiang/?390457742"用的是gbk编码，然后你再看拿拆慧你输出的编码是否是gbk的，如果不是的话，就要用$con = mb_convert_encoding($con,'utf-8','gbk')的方法来处理一下，然后再输出，这样应该就能看到正常的内容了

---