除了python可以爬虫还有哪些编程语言可以爬虫？

能够做网络爬虫的编程语言很多，包括PHP、Java、C/C++、Python等都能做爬虫，都能达到抓取想要的数据资源。针对不同的环境，我们需要了解他们做爬虫的优缺点，才能选出合适的开发环境。

（一）PHP

网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。PHP虽然是世界上最好的语言，但是PHP对多线程、异步支持不足，并发不足，而爬虫程序对速度和效率要求极高，所以说PHP天生不是做爬虫的。

（二）C/C++

C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发，运行效率和性能是最强大的，但是它的学习成本非常高，需要有很好地编程知识基础，对于初学者或者编程知识不是很好地程序员来说，不是一个很好的选择。当然，能够用C/C++编写爬虫程序，足以说明能力很强，但是绝不是最正确的选择。

（三）Java

在网络爬虫方面，作为Python最大的对手Java，拥有强大的生态圈。但是Java本身很笨重，代码量大。由于爬虫与反爬虫的较量是持久的，也是频繁的，刚写好的爬虫程序很可能就不能用了。爬虫程序需要经常性的修改部分代码。而Java的重构成本比较高，任何修改都会导致大量代码的变动。

（四）Python

Python在设计上坚持了清晰划一的风格，易读、易维护，语法优美、代码简洁、开发效率高、第三方模块多。并且拥有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。实现同样的爬虫功能，代码量少，而且维护方便，开发效率高。

写爬虫也不需要什么具体的软件，主要是看你用什么语言用什么库罢了。用python实现爬虫应该是最简单的，有功能强大的urllib2,beautifulsoup，request等库，用起来很方便，网上找点教程就会了。写爬虫还可以试试 scrapy框架，可是省去好多细节，用起来很方便。如果用python等脚本来写的话需要一个解释器就够了。如果是用java等来写的话就会编译成一个exe可执行文件。

首先您应该明确，不止Python这一种语言可以做爬虫，诸如PHP、Java、C/C++都可以用来写爬虫程序，但是相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比：

PHP：对多线程、异步支持不是很好，并发处理能力较弱；Java也经常用来写爬虫程序，但是Java语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高；C/C++运行效率虽然很高，但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。

而Python语言，其语法优美、代码简洁、开发效率高、支持多个爬虫模块，比如urllib、requests、Bs4等。Python的请求模块和解析模块丰富成熟，并且还提供了强大的Scrapy框架，让编写爬虫程序变得更为简单。因此使用Python编写爬虫程序是个非常不错的选择。

编写爬虫的流程

爬虫程序与其他程序不同，它的的思维逻辑一般都是相似的，所以无需我们在逻辑方面花费大量的时间。下面对Python编写爬虫程序的流程做简单地说明：

先由urllib模块的request方法打开URL得到网页HTML对象。使用浏览器打开网页源代码分析网页结构以及元素节点。通过BeautifulSoup或则正则表达式提取数据。存储数据到本地磁盘或数据库。

当然也不局限于上述一种流程。编写爬虫程序，需要您具备较好的Python编程功底，这样在编写的过程中您才会得心应手。爬虫程序需要尽量伪装成人访问网站的样子，而非机器访问，否则就会被网站的反爬策略限制，甚至直接封杀IP，相关知识会在后续内容介绍。

---