网站上的历史数据可以通过爬虫获取吗

首先了解下网络爬虫的基本工作流程：

1先选取一部分精心挑选的种子URL；

2将这些URL放入待抓取URL队列；

3从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。

4分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

由此可见，你要的数据要通过URL进行传递，如果URL无效，通过一般正常的手段是基本获取不到数据的。所以基本上只要是人无法看到的东西就可以默认为无法获取到。

网站环境不同，不同程序有不同的数据库配置位置以discuz为例，其他的随机应变：

1Discuz论坛的数据库在程序中有设置文件对应查询账号密码，目录位置：

/config/config_globalphp

/uc_server/data/configincphp

/config/config_ucenterphp

文件都含有Discuz论坛数据库的登录账号密码信息，可以参考查询数据库信息。

1网站本身的数据库是和程序分开的，大部分主机都是储存在两个空间。小型虚拟主机，没有权限查看数据库文件，但是会提供在线管理的工具，一般在空间后台有提供链接。

3云主机，快云VPS，云服务器，以及独立主机，都有远程服务器管理权限的，直接登录远程，就可以查看数据库位置。

4目前的情况看，快云VPS都自带云数据库，也有管理平台，可以后台直接打开，登录管理数据库。

excel从2000版本开始就可以从网页上获取数据了，在excel中可以通过web查询的方法获取网络上的数据，具体的 *** 作方法有两种。

1、直接打开网络上的工作簿

如果用户位于局域网中，那么就可以直接打开网络上的数据了。选择“文件”菜单中的“打开”命令，在d出的“打开”对话框中，按下“查找范围”中的“网上邻居”，找到需要的文件并打开即可。

2、通过Web查询的方法来获取网上数据

选择“数据”菜单中“获取外部数据”子菜单中的“运行保存的查询”命令，在d出的“运行查询”对话框中，选择需要运行的Web查询方式，选定后单击“获取数据”按钮。在出现的“将外部数据返回给 Microsoft Excel”对话框中，用户可以设置数据的放置位置。用户可以单击“属性”按钮，进行相应的设置。单击“参数”按钮，可以进入“查询参数”对话框来设置获取参数值的方法。在“参数”和“属性”后，就会进入最终的“输入参数值”对话框，在这里输入运行Web查询的参数（可用逗号分隔）即可。

很多时候我们我们的excel表格都需要从网上获取一些比较实时的数据当作一些参考数据来使用，通过上面的方法就可以实现了。

修改安全设置。

1、打开电脑，进入任意一个浏览器即可，首先找到浏览器工具栏菜单，打开浏览器Internet选项；2、点击安全选项卡，之后会出现安全设置界面；3、点击下方的自定义级别，在d出的窗口中找到”对未标记为可安全执行的脚本的ActiveX控件初始化并执行脚本“这一选项；4、点击启用；之后将d出警告窗口，选择“是”，随后将自动返回一级菜单，工具栏下方将显示“您的安全设置导致计算机存在安全风险”，excle即可安全导出。

从**网站爬取数据并进行可视化分析会用到的数据如下。

1、beautifulsoup、re、urllib库。

2、SQLite包，数据可视化方面主要用到flask框架、echarts和wordcloud等。

3、此类数据可以搭建简单的数据可视化网站。

方法/步骤

首先，打开excel，点击菜单栏数据

然后点击图示自网站，在d出的新建web查询对话框，地址栏中输入你需要查询数据的网址。

网址输入完成后，点击图示转到，在对话框中就会出现你需要查询的网址。

然后，选择你需要查询的数据，如图所示单击箭头，选中整个数据区域。

如图所示，整个选择的数据区域有深色背景，然后点击导入。

导入后会出现一个导入数据对话框，在对话框中选择你需要放置数据的位置。

7

最后，点击确定，如图所示，选择的数据全部出现在了excel中。

以上就是关于网站上的历史数据可以通过爬虫获取吗全部的内容，包括:网站上的历史数据可以通过爬虫获取吗、如何获取网站后台数据、通过web查询的方法获取网络上的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！