如何用python写爬虫 知乎

基本的爬虫工作原理

基本的http抓取工具，scrapy

Bloom Filter: Bloom Filters by Example

如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq

rq和Scrapy的结合：darkrho/scrapy-redis · GitHub

后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

python提取html内容的方法。如下参考：

1.首先，打开Python来定义字符串，在定义的字符串后面加上中括号，然后在要提取的字符位置输入zhidao。

2.点击运行程序，可以看到系统打印出的第一个字符在我们定义的字符串中，因为字符串是空格，空格占据了位置。

3.这里可以看到字符显示在程序运行界面的底部，根据我们指定的内容输出，这里写的版本是0输出的第一个字符。

4.还可以一次打印多个字符。如图所示，用冒号分隔字符串的开头，并将其写入方括号中以显示多个字符。

5.这里的输入位置是0到5，你可以发现，与我们的字符串内容相比，字符的相应位置被打印出来，而字符的另一个位置则完全不显示。

6.如果字符串比较大，大于内容的权重，从下面的数字比较方便，也可以直接输出倒数的字符。

7.这时直接用负号来表示这是倒数的位置，它使用起来也特别方便。