python 怎样爬取网页所有链接

给你贴一下我前一段时间回答的类似问题，用的soup，还有一个用的正则就不贴了，手机不太方便，如下。

import beautifulsoup

import urllib2

def main():

userMainUrl = "你要抓取的地址"

req = urllib2Request(userMainUrl)

resp = urllib2urlopen(req)

respHtml = respread()

foundLabel = respHtmlfindAll("label")

finalL =foundLabelstring

print "biaoti=",finalL

if __name__=="__main__":

main();

PS：如果不会改的话追问一下，回头我用电脑给你写一份

描述的不太清楚哦，不知道你的意思是不是把网页里面所有的url地址找出来

1、如果是的话，最简单的就是用迅雷，安装迅雷5后，直接在网页上右键，选择下载全部链接，然后下载，设置成手动下载，就能在迅雷里面看到所有该网页上的连接。

2、在网页上右键--查看源文件，然后按下ctrl+F，填入>

1、启动IE，并打开百度。

2、描述性链接对象。

3、利用Childobjects获取所有链接对象集。

4、获取所有Link对象的名称和url。以上就是怎样获取网页中高管姓名链接的方法。

Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)

Dim x As Long

For x = 0 To WebBrowser1Documentlinkslength - 1

DebugPrint WebBrowser1DocumentlinksItem(x)

Next x

'length属性返回元素集中元素的个数

DebugPrint "共有" & WebBrowser1Documentlinkslength & "个链接。"

End Sub

朋友!!你的想法还是可以实现的!!你直接用下载工具中的 [ 使用XXXX下载该网页中的全部链接 ] 就能把所有的链接地址全部罗列出来!!

如果想保存为文本,你可以用在线工具--网页链接查看器

>

以上就是关于python 怎样爬取网页所有链接全部的内容，包括:python 怎样爬取网页所有链接、网页所有连接查看方法、怎样获取网页中高管姓名链接等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！