在asp.net中如何模拟访问网页

安装IIS应用程序初始化功能，如下图所示：

编辑网站对应应用程序池启动模式， *** 作路径：应用程序池 ->网站对应程序池 ->右键，高级设置 ->选择，启动模式 AlwaysRunning，如下图所示：

开启对应网站预加载， *** 作路径：网站 ->对应网站 ->右键，高级设置 ->选择，预加载已启用 True，如下图所示：

设置配置编辑器，编写默认预加载请求，打开配置编辑器，如下图所示：

在左上角配置节点选择system.webServer/applicationInitialization，其他配置如红圈中，如下图所示：

在集合中添加一个初始化请求地址（用于IIS初始化默认请求地址），添加完成后，点击配置界面右侧的应用按钮，并重启应用程序池和网站，如下图所示：

总结：

1、原理说明：IIS应用初始化会在网站第一次创建后或者对应网站的应用程序池回收后，自动开启新程序池，并启动网站初始化，模拟一次正常请求，使网站一直处于在线状态。

（此流程可以借助第三方工具或者服务模拟网站请求达到相同目的）

2、配置说明：

（1）、启用应用程序池（AlwaysRunning）：保证应用程序池在第一次创建或者被回收后，能自动再次重启运行。

（2）、启用网站程序预加载（true）：保证程序池在启动过后，网站能响应预加载动作。

（3）、配置网站默认预加载路径：保证程序在程序池启动后，网站预加载过程中，能快速编译程序并进驻内存，保证请求快速响应。 　

Python。

使用python模仿人为访问网站主要有以下几个方面：

1、请求发送访问后，服务器接收到的最直接的感觉就是请求了，所以，首先请求头要和浏览器的请求一样，目前主要是User-Agent、Host、Referer等。

2、请求频率，机器的访问速度一定是比人的请求速度快的多，如果你一秒有几十条请求的话，系统会分辨你是一个爬虫，可以使程序休息一会等方式。

3、cookie，用户访问网站时是伴随着cookie的，cookie中保存着登陆信息等，这种可以使用session来实现。

4、资源请求，当访问一个页面时，一般不会是一个只有一个html文件，同时伴随着一些资源的请求，比如css，jpg，json等，而爬虫一般不会把这些资源全部请求，当然可以使用浏览器自动化控制模块(selenium等)来实现 *** 控浏览器来请求。

5、验证码等，有些页面会伴随着验证码，使用验证码来判定访问者是一个人还是机器。

---