Python爬虫——爬取不到信息

2021-02-23 11:50发布

请教一下,爬取网站,这个代码应该如何修改一下?搜索了一下应该是真假网页问题,但是还是不知道怎么解决

 

import requests from bs4 import BeautifulSoup url="" header={"user-agent":"Mozilla/5.0"} data=requests.get(url=url,headers=header) html=data.text print(data.status_code) soup=BeautifulSoup(html,"lxml") lis=soup.find_all(name="slection",attrs={"id":"ptab-0"}) for li in lis: print(li.text)

 

1条回答
程序猿玖月柒
1楼-- · 2021-02-23 12:15

没有具体网址,无法给你具体回答。爬取不到内容有多种原因,请求头不全面,页面是js渲染,有的需要cookies,还有你的节点选择要准确,等等。