python-使用beautifulsoup4进行抓取时数据丢失

概述实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页上显示“当前每百万价格”.我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取所需的数据.但是我坠毁了.使用此方法以原始文本格式收集数据.我也尝试了其

实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页上显示“当前每百万价格”.

我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取所需的数据.但是我坠毁了.

使用此方法以原始文本格式收集数据.我也尝试了其他方法.

def parseMe(url):    soup = getContent(url)    source_code = requests.get(url)    plaint_text = source_code.text    soup = BeautifulSoup(plaint_text,'HTML.parser')    osrs_text = soup.find('div',class_='col-md-12 text-center')    print(osrs_text.encode('utf-8'))

Please have a look on this image.我认为问题在于:: before和:: after标记.页面加载后它们就会出现.我们将不胜感激任何帮助.最佳答案该网页使XHR可以获取其中包含价格的JsON文件

import requestsr = requests.get('https://API.boglagold.com/API/product/?ID=osrs-gold&couponCode=null')j = r.Json()# print(j)print('sellPrice',j['sellPrice'])print('buyPrice',j['buyPrice'])

输出：

sellPrice 0.8buyPrice 0.62

总结

以上是内存溢出为你收集整理的python-使用beautifulsoup4进行抓取时数据丢失 全部内容，希望文章能够帮你解决python-使用beautifulsoup4进行抓取时数据丢失 所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。