为什么python适合写爬虫

什么是网络爬虫？

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件

爬虫有什么用？

做为通用搜索引擎网页收集器。（google,baidu）

做垂直搜索引擎

科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。

偷窥，hacking，发垃圾邮件

爬虫是搜索引擎的第一步也是最容易的一步

网页搜集

建立索引

查询排序

用什么语言写爬虫？

C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。

脚本语言：Perl,Python,Java,Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取

C#？（貌似信息管理的人比较喜欢的语言）

什么最终选择Python？

跨平台，对Linux和windows都有不错的支持。

科学计算，数值拟合：Numpy，Scipy

可视化：2d：Matplotlib(做图很漂亮),3d:Mayavi2

复杂网络：Networkx

统计：与R语言接口：Rpy

交互式终端

一个简单的Python爬虫

importurllib

import

urllibrequest

'''

小编准备的python爬虫学习资料，加群：821460695即可免费获取！

'''

defloadPage(url,filename):

\"\"\"

作用：根据url发送请求，获取html数据;

:paramurl:

:return:

\"\"\"

request=urllibrequestRequest(url)

html1=urllibrequesturlopen(request)read()

returnhtml1decode('utf-8')

defwritePage(html,filename):

\"\"\"

作用将html写入本地

:paramhtml:服务器相应的文件内容

:return:

\"\"\"

withopen(filename,'w')asf:

fwrite(html)

print('-'30)

deftiebaSpider(url,beginPage,endPage):

\"\"\"

作用贴吧爬虫调度器，负责处理每一个页面url;

:paramurl:

:parambeginPage:

:paramendPage:

:return:

\"\"\"

forpageinrange(beginPage,endPage+1):

pn=(page-1)50

fullurl=url+\"&pn=\"+str(pn)

print(fullurl)

filename='第'+str(page)+'页html'

html=loadPage(url,filename)

writePage(html,filename)

if__name__==\"__main__\":

kw=input('请输入你要需要爬取的贴吧名:')

beginPage=int(input('请输入起始页'))

endPage=int(input('请输入结束页'))

url='f'

kw1={'kw':kw}

key=urllibparseurlencode(kw1)

fullurl=url+key

tiebaSpider(fullurl,beginPage,endPage)

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

python3 区分了 unicode str 和 byte arrary，并且默认编码不再是 ascii

关于编码问题的终极解决方案：

在python的Lib\site-packages文件夹下新建一个sitecustomizepy

文件，输入：

import sys

syssetdefaultencoding('gb2312')

这里要注意一点是：这里面你可以设置GBK或者utf8 或者其他类型的编码格式，不一定非要gb2312，主要看你 *** 作的环境需要什么编码格式

有些js加载的内容只要当你的电脑屏幕或者鼠标滑到某个位置时，才会动态加载内容，这些内容不会在源码里体现，而python爬虫只是爬源码而已，如果想满足你的需求，可以试试phantomjs模拟浏览器，祝你成功。

二营长SEO

用 WebEngine 载入这些文件，然后 getDocument()getElementsByTagName('A') 拿出所有 a。你也可以用 executeScript 执行 JavaScript，例如说执行 Java 中没有的 querySelector。这其实是 Java 问题，而不是 JS 问题，往那边问会比较适合。

直接执行JS

具体代码

foreach (HtmlElement em in docAll)

{

string str = emGetAttribute("src");

//string str = emName;

if (str Contains ("chaxungif"))//用户名

{

emInvokeMember("onclick");

}

}

用python提取html不全的原因：

现在的网站上面有很多的反爬措施，最常见的就是json异步加载，网页上面的数据是json代码加载出来的，所以爬取的html信息不全

具体示例如下：

浏览器显示的内容

实际上爬虫访问链接得到的内容：

更多Python知识，请关注：Python自学网！！

以上就是关于为什么python适合写爬虫全部的内容，包括:为什么python适合写爬虫、python爬虫，读取本地html时编码报错：UnicodeDecodeError: 'ascii' codec can't decode、Python 爬虫为什么只爬取到一个html页中的部分内容等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！