excel自动抓取网页数据

1、首先打开需要抓取的数据的网站，复制网站地址。

“获取外部数据”选项卡中的“自网站”选项。

在d出的“如袭新建web查询”对话框中，地址郑橡雀栏输入需要抓取的网站地址，点击“转到”

点击黄色导入箭头，选择需要抓取的部分。点击导入即可。

3、选择数据存放的位置（默认选择的单元格），点击确定即可。一般建议数据存放在“A1”单元格即可。

4、如果想要Excel工作簿数据能自动根据网站的数据实时更新，那么我们需要在"属性"中进行设置。喊早可以设置“允许后台刷新”、“刷新频率”、“打开文件时刷新数据”等。

获取的是程序或者是有账号登录的网站，那就需要用其他的技术处理了。

1、xmlhttp/winhttp法：

用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。

优点：效率高，基本无兼容性问题。

缺点：需要借助如fiddler的工具来模拟http请求。

2、IE/webbrowser法：

创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器 *** 作，获取浏览器页面的数据。

优派基贺点：这个方法可以模拟大部分的浏览器 *** 作。所见即所得，浏览器能看到的数据就能用代码获取。

缺点：各种d窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。

3、QueryTables法：

因为它锋烂是excel自带，所以勉强也算是一种方法。尘派其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。

优点：excel自带，可以通过录制宏得到代码，处理table很方便

。代码简短，适合快速获取一些存在于源代码的table里的数据。

缺点：无法模拟referer等发包头

也可以利用采集工具进行采集网页端的数据，无需写代码。

运行wireshark软件，选择无线网络连接，点击start，进入捕包界面，在filter（过滤器）的方框中，输入http。 点击右侧的apply（应用），就能捕斗胡郑获指定的网站数据包。

用wireshark软件捕获http数据包的方法步骤：

1、运行wireshark软做困件，进入主界面。

2、在左侧网卡区域，点击选择网卡。目前这里是无线网卡，就选择无线网络连接。

3、点击start，进入捕包界面。

4、在filter（过滤器）的方框中，输入http。

5、 点击右侧的apply（应用空颂）。此时，进入捕包状态。若在浏览器中浏览网页，就能捕获其中的http数据包。