除了python可以爬虫还有哪些编程语言可以爬虫？

能够做网络爬虫的编程语言很多，包括PHP、Java、C/C++、Python等都能做爬虫，都能达到抓取想要的数据资源。针对不同的环境，我们需要了解他们做爬虫的优缺点，才能选出合适的开发环境。
（一）PHP
网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。PHP虽然是世界上最好的语言，但是PHP对多线程、异步支持不足，并发不足，而爬虫程序对速度和效率要求极高，所以说PHP天生不是做爬虫的。
（二）C/C++
C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发，运行效率和性能是最强大的，但是它的学习成本非常高，需要有很好地编程知识基础，对于初学者或者编程知识不是很好地程序员来说，不是一个很好的选择。当然，能够用C/C++编写爬虫程序，足以说明能力很强，但是绝不是最正确的选择。
（三）Java
在网络爬虫方面，作为Python最大的对手Java，拥有强大的生态圈。但是Java本身很笨重，代码量大。由于爬虫与反爬虫的较量是持久的，也是频繁的，刚写好的爬虫程序很可能就不能用了。爬虫程序需要经常性的修改部分代码。而Java的重构成本比较高，任何修改都会导致大量代码的变动。
（四）Python
Python在设计上坚持了清晰划一的风格，易读、易维护，语法优美、代码简洁、开发效率高、第三方模块多。并且拥有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。实现同样的爬虫功能，代码量少，而且维护方便，开发效率高。

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

VBA网抓常用方法
1、xml>是爬虫过程中不可或缺的要素，当你爬取的数据达到一定量后，你会发现程序会时不时给你报错，而且频率越来越来高。或者说你的爬虫被人家识别出来了，对方的反扒系统已经记住了你。通常会告诉你连接超时、连接中断更有甚者会直接中断你程序。User-Agent是一个特殊字符串头，被广泛用来标示浏览器客户端的信息，使得服务器能识别客户机使用的 *** 作系统和版本，CPU类型，浏览器及版本，浏览器的渲染引擎，浏览器语言等。
不同的浏览器会用不同的用户代理字符串作为自身的标志，当搜索引擎在通过网络爬虫访问网页时，也会通过用户代理字符串来进行自身的标示，这也是为何网站统计报告能够统计浏览器信息，爬虫信息等。网站需要获取用户客户端的信息，了解网站内容在客户端的展现形式，一些网站通过判断UA来给不同的 *** 作系统，不同的浏览器发送不同的页面，不过这也可能造成某些页面无法在某个浏览器中正常显示
我们可以获取随机User-Agent与使用，用上了随机User-Agent和代理IP大部分网站就没有什么问题了，但还是会出现一些反扒措施比较厉害的网站，还需要使用爬虫代理IP来破除IP限制的。

问题一：Google和百度的爬虫是用什么语言写的？ 15分 每个网站都有一个“爬虫协议”，至少大型网站都会有。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
越是大型网站，Robots协议越规范，他们为了提高自己在搜索结果的位置，会针对百度、谷歌等搜素引擎写爬虫协议，而百度等搜索引擎不需要特别针对这些大网站写协议换个角度想，大的搜索引擎就那几个，而所谓“大网站”数不胜数，怎么可能写的过来？
如果你没能理解这部分内容，说明你还处在“菜鸟”级别。一般的爬虫算法是：先查找新地址，用队列或者堆栈来存储新增加的url；然后用爬虫程序从队列或者堆栈中取地址，继续爬虫。因为这两方面程序执行的速度是不一样的，不是说找到一个url就能立即爬完，或者有时候还没找到新url就已经爬完了，所以分了两个结构。
一般的程序中都会用多个函数来执行一个过程，但这在新手的学习中是不常见到、也是不易搞懂的。
鉴于你提出的问题，我觉得你不到能搞通爬虫程序的阶段，建议你还是从简单的程序开始。看看这个编程语言入门经典100例Python版，希望对你有帮助

问题二：百度他们公司 那建立索引 做爬虫这些的用什么语言？ 实现搜索引擎核心算法 用什么语言啊？ 爬虫什么耿言都可以写 拆解出来 主要就两部分
一部分是获取HTML
另一部分是正则表达式
这要有这两部分就能从网页上爬出有用的信息来了
至于多线程、OCR、分布式任务要根据你抓取站点的目标来做，并非是必须的

问题三：一般公司做爬虫采集的话常用什么语言 C# python
工具 phantomjs casperjs

问题四：请详细解释什么事百度爬虫，有什么作用 说通俗一点就是一段程序，这段程序可以在互联网上自动查询更新的网站

问题五：网络爬虫用什么语言好 爬虫好像很多语言都有，java,C#,python等等。我自己用的是python

问题六：开发网络爬虫用什么语言比较好 python虽然我没用过，但是这个应嘎是最好的

问题七：网络爬虫用什么语言什么方式实现好 首先取决于目的 如果是一个站点，单一目的，用习惯的语言写吧，学别的语言用的时间都够重构两遍的了。 如果是有100左右的站点，做个框架，把你的爬虫管理起来，比起怎么写更重要。 用Java写过，语言笨重，所建立的数据模型的任何修改都会导致代

问题八：爬虫web软件 用什么开发语言最好 你可以试试用神箭手云爬虫写爬虫，
完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。
官网上有不少网站的爬虫源码分享
还有专门的开发者文档，里面的教程很详细，各种基本爬虫基础和进阶开发知识都有介绍。
爬虫编辑器:
神箭手云爬虫开发平台：

问题九：各种语言写网络爬虫有什么优点缺点 我用 PHP 和 Python 都写过爬虫和正文提取程序。
最开始使用 PHP 所以先说说 PHP 的优点：
1语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。
2各种功能模块齐全，这里分两部分：
1网页下载：curl 等扩展库;
2文档解析：dom、xpath、tidy、各种转码工具，可能跟题主的问题不太一样，我的爬虫需要提取正文，所以需要很复杂的文本处理，所以各种方便的文本处理工具是我的大爱。;
总之容易上手。
缺点：
1并发处理能力较弱：由于当时 PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型。实现其来比较麻烦，可能是因为水平问题我的程序经常出现一些错误，导致漏抓。
再说说 Python：
优点：
1各种爬虫框架，方便高效的下载网页;
2多线程、进程模型成熟稳定，爬虫是一个典型的多任务处理场景，请求页面时会有较长的延迟，总体来说更多的是等待。多线程或进程会更优化程序效率，提升整个系统下载和分析能力。
3GAE 的支持，当初写爬虫的时候刚刚有 GAE，而且只支持 Python ，利用 GAE 创建的爬虫几乎免费，最多的时候我有近千个应用实例在工作。
缺点：
1对不规范 HTML 适应能力差：举个例子，如果一个页面里面同时有 GB18030 字符集的中文和 UTF-8 字符集的中文，Python 处理起来就没有 PHP 那么简单，你自己需要做很多的判断工作。当然这是提取正文时的麻烦。
Java 和 C++ 当时也考察过，相对脚本语言比较麻烦，所以放弃。
总之，如果开发一个小规模的爬虫脚本语言是个各方面比较有优势的语言。如果要开发一个复杂的爬虫系统可能 Java 是个增加选项， C++ 我感觉写个模块之类的更加适合。对于一个爬虫系统来说，下载和内文解析只是基本的两个功能。真正好的系统还包括完善的任务调度、监控、存储、页面数据保存和更新逻辑、排重等等。爬虫是一个耗费带宽的应用，好的设计会节约大量的带宽和服务器资源，并且好坏差距很大。

问题十：爬虫技术 什么编程语言 爬虫的主要原理是抓取html的内容，大部分目前常见的语言都有相关的网络编程API，都能实现网络爬虫。比如说Java, Python, C++, C#, PHP, Perl等语言都可以。
希望对你有所帮助！

爬虫软件可以看摄像头，如果爬虫程序采集到公民的姓名、身份z件号码、通信通讯****、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。
也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。
另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：
爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。
爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”
爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

---