使用requests库就可以了:
pip install requests
payload = {'key1': 'value1', 'key2': 'value2'}
r = requestspost(">
不知道你做了多少次重复的测试呢,单凭一次的测试结果不说明任何问题,我觉得有以下几点可以说明
抓取网页的时间很多取决于>
1、首先链家网二手房主页最多只显示100页的房源数据,所以在收集二手房房源信息页面URL地址时会收集不全,导致最后只能采集到部分数据;解决方法是解决措施:将所有二手房数据分区域地进行爬取,100页最多能够显示3000套房,该区域房源少于3000套时可以直接爬取,如果该区域房源超过3000套可以再分成更小的区域。
2、其次爬虫程序如果运行过快,会在采集到两、三千条数据时触发链家网的反爬虫机制,所有的请求会被重定向到链家的人机鉴定页面,从而会导致后面的爬取失败;解决方法是为程序中每次>
以上就是关于如何用Python写一个http post请求全部的内容,包括:如何用Python写一个http post请求、python 怎样设置代理访问http请求、python中ihttplib,httplib2,urllib2在http请求时哪个更快等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)