PHP实现抓取百度搜索结果，并分析数据结构

概述PHP实现抓取百度搜索结果，并分析数据结构

推荐：《PHP视频教程》

PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构

百度的搜索引擎有反爬虫机制，我先直接用guzzle试试水。代码如下：

<?PHP/** * Created by BenjIEmin * Date: 2020/3/5 * Time: 14:58 */require ('./vendor/autoload.PHP');use QL\queryList;//进入网页$jar = new \Guzzlehttp\cookie\cookieJar;$clIEnt = new Guzzlehttp\ClIEnt(['cookies' => true]);$ql = $clIEnt->request('GET', 'https://www.baIDu.com', [    'cookies' => $jar]);if($ql->getStatusCode()!=200){    echo '网站状态不正常';dIE;}echo  $ql->getbody();

百度直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。

修改后的header如下：

$ql = $clIEnt->request('GET', 'https://www.baIDu.com', [    'cookies' => $jar,    'headers' => [    'Accept-EnCoding' => 'gzip, deflate, br',    'Accept'     => 'text/HTML,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',    'Accept-Language'      => 'zh-CN,zh;q=0.9,en;q=0.8',    'Cache-Control'      => 'no-cache',    'Connection'      => 'keep-alive',    'User-Agent'      => 'Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',]]);

我测试了下，网站打开了。

我们继续，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用Guzzlehttp搞不动，于是我继续我的神器：jaeger/queryList和jaeger/queryList-puppeteer。

安装步骤：

1.安装依赖

在这之前，要先启用PHP的proc_open函数，否则无法安装完整

composer install jaeger/queryListcomposer install jaeger/queryList-puppeteer

2.安装nodeJs

yum install nodeJs

3.安装npm

4.安装@nesk/puPHPeteer

npm install @nesk/puPHPeteer

5.PHP启用proc_open

代码如下：

<?PHP/** * Created by BenjIEmin * Date: 2020/3/5 * Time: 14:58 */require ('./vendor/autoload.PHP');use QL\queryList;use QL\Ext\Chrome;$ql = queryList::getInstance();// 注册插件，默认注册的方法名为: Chrome$ql->use(Chrome::class); $ql->Chrome(function ($page,$browser) {    $page->goto('https://www.baIDu.com');    // 这里故意设置一个很长的延长时间，让你可以看到Chrome浏览器的启动    sleep(3);    //输入关键词    $wd = '简庆旺博客';    $page->type("input[ID='kw']",$wd);    sleep(1);    //点击搜索    $page->click("input[type='submit']");    //等待搜索结果    sleep(3);    //获取结果    $HTML = $page->content();    //用jquery选择器抽取结果    $rules = array(        'Title'=>['#content_left h3 a','text'],//标题        'url'=>['#content_left h3 a','href'],//跳转网址        'description'=>['div .c-abstract','text'],//描述    );    $ql = queryList::HTML($HTML);    $rt = $ql->rules($rules)->query()->getData();    //如果有需要，可以把$rt入库，以及做其他 *** 作    sleep(10);    $browser->close();    // 返回值一定要是页面的HTML内容    return $HTML;},[    'headless' => false, // 启动可视化Chrome浏览器,方便调试    'devtools' => false, // 打开浏览器的开发者工具])->find('Title')->text();

$rt是我的结果集合，打印下，如下

总结

以上是内存溢出为你收集整理的PHP实现抓取百度搜索结果，并分析数据结构全部内容，希望文章能够帮你解决PHP实现抓取百度搜索结果，并分析数据结构所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。