关键要素如下:
1、在你的抓取方案里面,必须使用cookie欺骗这个策略。否则会被淘宝识别。
2、建议使用异步抓取,在你的页面打开之后抓取。否则你的页面会很晚才打开。
3、建议在采集之后,存入缓存,降低服务器请求运算的时间。
楼上的胡扯!!~~小偷程序运用xml中的xmlhttp组件提供的强大功能,把远程网站上的数据(图片,网页及其他文件)抓取到本地,经过各种处理后显示到页面上或者存储进数据库的一类程序。你可以通过这种小偷程序,完成过去一些似乎完全不可能实现的任务,比如说把某个站的页面偷梁换柱后变成自己的页面,或者把某个站的一些数据(文章,图片)保存到本地数据库中加以利用 关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)