程序用的scrapy，安装方法详见 https://www.jianshu.com/p/d2c8b1496949 ， 这里可以直接用的CMD创建scrapy项目，只需要输入 scrapy startproject 项目名 即可，会在当前目录下创建一个新文件夹，cd到该文件夹下后，输入scrapy genspider 爬虫名 目标网址来创建你的爬虫文件(如: scrapy genspider sample https://www.bilibili.com/v/douga )
创建爬虫成功后就可以编辑了，打开的爬虫文件（此处为sample.py）可以看到
接下来要定义parse()函数，要用到Xpath选择器来提取网页内标签内容，这里用到Xpath helper可以提高效率 https://blog.csdn.net/xiaobai_IT_learn/article/details/100977653 (要打开chrome的开发者模式)，或者手动F12筛选元素也可以。
以动画分区顶端推荐视频为例，在页面元素中可以看到它属于
那么只要把这两个标签属性提取出来就可以了,回到爬虫文件，在parse()函数下输入
提取元素路径的过程就不写了，很繁琐（反正我搞得很麻烦）,多用.extract()查看当前提取的路径。
可以写到本地，也可以直接在CMD中打印出来。这里我把结果保存到名为 ‘B站结果’ 的txt文档(默认保存在项目文件夹中):
这里只用到一次循环，因为标题和超链接的数量是固定的。
.extract()用于切片（脱壳）从一个对象(此处的DanceTitle,DanceURL)中得到list
在CMD中输入
运行爬虫
这里把目标链接换成任意一个分区都没问题，如
https://www.bilibili.com/v/digital （数码区）
https://www.bilibili.com/v/music （音乐区）
虽然方法很笨但是最后运行成功的时候还是很开心的，以后也会继续研究爬虫，笨方法终究是不可取的。
昨天在写完 入门级爬虫之后 ，马上就迫不及待的着手开始写 B站的图片爬虫了，真的很喜欢这个破站呢 (〜￣△￣)〜
这里不涉及到 Python 爬虫的高级技巧，没有使用框架，没有考虑反爬机制，没有使用异步IO技术，因为这些，我都不会！
我们选定 B站的 动画区 进行测试，打开后我们发现有好多好多图....
但当我们使用 F12 查看这些图片的时候，发现并没有图片的地址...
这就是目前大多网站使用的 Ajax 技术动态加载数据的锅，可遇到这种情况这么办呢？别急别急，我们知道这些图片的地址一定是需要加载的，而目前常见WEB传输数据的基本就是方式 XML 和 Json (其实是我就知道这两种...)，那好我们去看看请求的 XML 和 Json 文件。
以下省略查找过程....
我们发现 B站的图片地址是保存在 Json 里面的，ok，我们保存好这个 json 地址:
https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453
这个是 MAD·AMV 最新动态的 Json 文件，利用上面相同的方法，我们找到 3D区、短片·配音区、综合区 以及 右边排行部分 的相应 json 地址。
好在 Chrome 浏览器提供了一个 Preview 功能，自动帮我们整理好 数据，如下
这样就很清晰啦，我们只需要一层层解析拿到 pic 即可。于是我们这样写：
我们利用 requests 内置的 json 解码器，很不幸，报错：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
它提示说：解码 Json 数据的时候出了问题，可能是在 第一行 第一列，咦？好奇怪，刚才不是用浏览器看过结构了吗，没毛病啊，怎么还在报错：Σ( ￣□￣||)
别急别急，我们先看看原始的 Json 数据长啥样？用 浏览器打开上面的 json 链接就可以了。
（/TДT)/ 前面的那些字母是干嘛的呀，为什么还有括号啊！
所以我们知道了 Json 解析错误 的原因啦：后面在处理的时候把前面的这部分删掉就好啦，另外我们也发现了 archives 这个关键字，我们在上一张图看见过的哦，有印象吗？啊，你说没有呀，没关系，这里你只需要记着它是一个 List 的数据类型就好了呀！
为了防止被当作是 恶意访问 从而被封 IP，这里我们选择牺牲时间，取巧使用 sleep(x) ，让其等待一段时间之后再发出请求。
你可能会问我，呀，你这个，根本没有代理、没有混淆IP防止反爬、也没有模拟 Ajax 请求动态抓取云云~
那我可以很负责的告诉你，你！走错地方了！你要找的技术贴出门右拐！（￣へ￣）
我们恰巧使用的是 B站的 Ajax 技术，只要哪个视频有了最新评论(或者是一下其它的条件)，就会使用 Ajax 将最新的数据取出来。就像下面这样：
所以可能在访问人数多的时候，更新越快，越有可能获得更多不同的图片啦！
之后你就可以在吃饭的时候，把它挂起，然后吃饭回来就会发现有好多好多的图片！(=・ω・=)
之后会陆续的更新自己爬虫的爬坑过程，希望能够找到小伙伴一起学习呀！
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）