在不下载网页的情况下使用Python检查链接是否已死

概述对于那些知道wget的人来说,它有一个选项–spider,允许人们检查链接是否坏了,而不实际下载网页.我想在 Python中做同样的事情.我的问题是我有一个我要检查的100’000个链接列表,每天最多一次,每周至少一次.无论如何,这将产生大量不必要的流量. 据我所知,从urllib2.urlopen() documentation开始,它不下载页面而只下载元信息.它是否正确？或者是否有其他方式以一 对于那些知道wget的人来说,它有一个选项–spIDer,允许人们检查链接是否坏了,而不实际下载网页.我想在 Python中做同样的事情.我的问题是我有一个我要检查的100’000个链接列表,每天最多一次,每周至少一次.无论如何,这将产生大量不必要的流量.

据我所知,从urllib2.urlopen() documentation开始,它不下载页面而只下载元信息.它是否正确？或者是否有其他方式以一种很好的方式做到这一点？

最好,
特勒尔斯

解决方法 您应该使用 HEAD Request,它会向Web服务器询问没有正文的标题.见 How do you send a HEAD HTTP request in Python 2? 总结

以上是内存溢出为你收集整理的在不下载网页的情况下使用Python检查链接是否已死全部内容，希望文章能够帮你解决在不下载网页的情况下使用Python检查链接是否已死所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。