怎么用VBA或网络爬虫程序抓取网站数据

VBA网抓常用方法

1、xmlhttp/winhttp法：

用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。

优点：效率高，基本无兼容性问题。

缺点：需要借助如fiddler的工具来模拟http请求。

2、IE/webbrowser法：

创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器 *** 作，获取浏览器页面的数据。

优派基贺点：这个方法可以模拟大部分的浏览器 *** 作。所见即所得，浏览器能看到的数据就能用代码获取。

缺点：各种d窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。

3、QueryTables法：

因为它锋烂是excel自带，所以勉强也算是一种方法。尘派其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。

优点：excel自带，可以通过录制宏得到代码，处理table很方便

。代码简短，适合快速获取一些存在于源代码的table里的数据。

缺点：无法模拟referer等发包头

也可以利用采集工具进行采集网页端的数据，无需写代码。

简单的请求格式

GET /index.php HTTP/1.0

host:www.zixue7.com

当我们和服务器连接上之后，发送上面的数据过去，服务器就会返回 index.php 这个页面给我们。

GET 这个 是表示 以什么方式请求，HTTP中还有很多其他的请求方式，常用的就 GET POST （更详细的 可以点开上面 http协议 那个链接）

GET 后面紧跟一个空格 然后 给出，要获取的资源的名称， /index.php 就表示获取网站服务老冲器根目录下 index.php 执行后所产生的内容，我们也可以改成 GET / HTTP/1.0 这就表示获取默认首页的内容 。 GET /1.html HTTP/1.0 就是获取 服务器根目录下 1.html的内容，很容易理解吧。

接下来隔一个空格 跟上 HTTP/1.0 表示 http协议的版本，这个是固定的 。清冲

第二行 host:www.zixue7.com 用来指定 访问哪个主机。 大家都知道，一个服务器可以放很多个网站，每个网站有不同的域名，所以我们需要用这个host来指定 我们要访问的是哪个网站，这样 才能正确得访问到我们想访问的网站。

第一步，连接服务器。

第二步，按照http协议，发送请求数据，然后就是接受返回的内容。

没错，就这么简单。

在编写程序之前，我们先用一个小工具来模拟一下这个过程，好让我们对http协议了解更深入一些。

telnet工具 如果是 win7下的朋友 猛戳这里-->win7开启telnet功能

到此为止，我假设大家电脑上已经开启了 telnet功能，正题开始。

telnet 他是一个基于tcp/ip 协议的程序，为我们用户提供一个 与其他电脑通信的工具，我们可以使用他来和其他电脑进行连接通信。

开始->运行->输入telnet回车, 出现一个黑框如下。

我们这时就可以输入命令，来连接远程主机，比如我们这次是要连接我们自学去论坛 的服务器，

那么我们就输入 open www.zixue7.com 80 然后回车。

open 是打开的意思 后面跟上 要打开那个主机然后 后面跟上端口， web服务器默认使用的是80端口，所以 要加上80端口（不加端口 telnet默认是23端口）。

然后会出现下图的情况，答含歼这时候 我们就可以输入命令了，输入的命令都将被发送到自学去论坛的服务器上面。大家注意一下 下图红色箭头所指出的部分，那里就是一个输入光标，不用管其他的字。

这就代表 我们已经和远程主机连接上了，就相当于我们上节课中 客户端执行到 connect 函数 之后 就是要调用 send函数发送数据了，在这里 我们只需要按键盘输入到黑色窗口中 就会发送到服务端。

我们依次输入以下内容，（注意，不能按退格，输入错误了，就重新打开telnet，重新 *** 作。）

Wireshark抓包软件：Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。

Connectify Hotspot软件：能够将电脑的无线网卡变身为无线路由器共享无线网络的软件

带无线网卡的Windows电脑

软件名称：Connectify Pro 破解版 v6.0.0.28615 [附序列号]软件大小：6.45MB更新时间：

配置Connectify Hotspot

软件名称：Wireshark(网络包分析工具) 捕获网络数据包 V1.12.1

步骤：

1、两款软件安装完成后，运行Connectify Hotspot，打开右下角的Connectify Hotspot窗口，设置Password，等下在iPhone上我们要用此密码验证。第二个Internet to Share要选择Windows电脑的无线网卡，我这里直接显示的是Wi-Fi。然后Share Over同样选择Wi-Fi。下面一项是加密方式，这跟设置无线路由器的加密方式一样。这里使用默认的WPA2。然后点击Start Hotspot按钮就可以将这台颂埋Windows电脑的无线网卡变身成一个无线路由野备蚂器了。

iPhone连接Connectify Hotspot

1、Connectify Hotspot成功运行后，打开iPhone手机，进入设置 - 无线局域网。这里就会看到一个新的无线网络，如图名为Connectify-me。点击它，然后输入我们在Connectify Hotspot上设置的密码就可以连接了。

2、连接成功后可以在iPhone上打开浏览器试着打开一个网页，看能否打开。如果能够打开，就说明成功了。

用Wireshark抓包获取iPhone网络通讯数据

1、运行Wireshark，在窗口上点击Interface List，看哪张网卡正在发送和接受数据包的，从Packets那一项可以看出。点击网卡前面的选择框选中，然后点Start按钮开始抓包。如下图：

2、现在你就可以在iPhone上运行各种网络应用了，只要他们有网络通讯传输任何数据滚猛，Wireshark都可以截获到这些数据。比如下图就是我用iPhone的浏览器Safari访问了一下Connectify的网站，Wireshark抓到的HTTP包。我使用了http过滤器，只显示了所有的HTTP包。这样我们就成功地使用Wireshark抓取到了iPhone的网络数据了。

以上就是在Windows系统上用抓包软件Wireshark截获iPhone等网络通讯数据方法，希望对大家有所帮助！

---