用Python爬取Bilibili视频，你学废了吗？

概述  B站视频网址：https://vc.bilibili.com/p/edenank#/?tab=全部  通过F12打开开发者模式，然后在Networking->Name字段下找到这个链接：http://api.vc.bilibili.com/board/v1ankingop?page_size=10&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&pla

 

 

B 站视频网址：

https://vc.bilibili.com/p/eden/rank#/?tab=全部

 

 通过 F12 打开开发者模式，然后在 Networking -> name 字段下找到这个链接：

http://API.vc.bilibili.com/board/v1/ranking/top?page_size=10&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc

 

next_offset 会一直变化，我们可以猜测，这个可能就是获取下一个视频序号，我们只需要把这部分参数取出来，把 next_offset 写成变量值，用 JsON 的格式返回到目标网页即可。

我们通过上面的尝试写了段代码，发现 B 站在一定程度上做了反爬虫 *** 作，所以我们需要先获取 headers 信息，否则下载下来的视频是空的，然后定义 params 参数存储 JsON 数据，然后通过 requests.get 去获取其参数值信息，用 JsON 的格式返回到目标网页即可，实现代码如下：

def get_Json(url): headers = { 'User-Agent':  'Mozilla/5.0 (X11; linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' }  params = { 'page_size': 10, 'next_offset': str(num), 'tag': '今日热门', 'platform': 'pc' }  try: HTML = requests.get(url,params=params,headers=headers) return HTML.Json()  except BaseException: print('request error') pass

为了能够清楚的看到我们下载的情况，我们折腾了一个下载器上去，实现

 

def download(url,path): start = time.time() # 开始时间 size = 0 headers = { 'User-Agent':  'Mozilla/5.0 (X11; linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' }  response = requests.get(url,headers=headers,stream=True) # stream属性必须带上 chunk_size = 1024 # 每次下载的数据大小 content_size = int(response.headers['content-length']) # 总大小 if response.status_code == 200: print('[文件大小]:%0.2f MB' %(content_size / chunk_size / 1024)) # 换算单位 with open(path,'wb') as file: for data in response.iter_content(chunk_size=chunk_size): file.write(data) size += len(data) # 已下载的文件大小

 效果如下：

 

 

#!/usr/bin/env python#-*-Coding:utf-8-*-import requestsimport randomimport timedef get_Json(url): headers = { 'User-Agent':  'Mozilla/5.0 (X11; linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' }  params = { 'page_size': 10, 'next_offset': str(num), 'tag': '今日热门', 'platform': 'pc' }  try: HTML = requests.get(url,params=params,headers=headers) return HTML.Json()  except BaseException: print('request error') passdef download(url,path): start = time.time() # 开始时间 size = 0 headers = { 'User-Agent':  'Mozilla/5.0 (X11; linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' }  response = requests.get(url,headers=headers,stream=True) # stream属性必须带上 chunk_size = 1024 # 每次下载的数据大小 content_size = int(response.headers['content-length']) # 总大小 if response.status_code == 200: print('[文件大小]:%0.2f MB' %(content_size / chunk_size / 1024)) # 换算单位 with open(path,'wb') as file: for data in response.iter_content(chunk_size=chunk_size): file.write(data) size += len(data) # 已下载的文件大小  if __name__ == '__main__': for i in range(10): url = 'http://API.vc.bilibili.com/board/v1/ranking/top?' num = i*10 + 1 HTML = get_Json(url) infos = HTML['data']['items'] for info in infos: Title = info['item']['description'] # 小视频的标题 vIDeo_url = info['item']['vIDeo_playurl'] # 小视频的下载链接 print(Title)  # 为了防止有些视频没有提供下载链接的情况 try: download(vIDeo_url,path='%s.mp4' %Title) print('成功下载一个!')  except BaseException: print('凉凉,下载失败') pass  time.sleep(int(format(random.randint(2,8)))) # 设置随机等待时间

 进下面链接，学习更多python小技巧。

https://note.youdao.com/s/bfdk7lCG

总结

以上是内存溢出为你收集整理的用Python爬取Bilibili视频，你学废了吗？全部内容，希望文章能够帮你解决用Python爬取Bilibili视频，你学废了吗？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。