豆瓣是一个很强大得网站，他的并没有采取太多的SEO措施，只用心做好了一件事：用户体验。
豆瓣网的主要构架是：记录分享、发现推荐、会友交流，这是豆瓣在用户网站使用指南中的对用户站内路径的指引，分别也可对应豆瓣导航的三大组成块：品味系统（读书、电影、音乐）、表达系统（我读、我看、我听）和交流系统（同城、小组、友邻）。
由豆瓣的诞生到这一路的发展，其技术一直被认为是网站成功的关键，有趣的是，豆瓣的技术门槛并不高，所以市场上的模仿者层出不穷，但复制豆瓣不代表就能成功。
豆瓣全部使用python开发。网站后台的搜索引擎基于Twisted， GUI基于Quixote，还用到了cElementTree，MySQL和 PIL，除了这些，豆瓣基本是从头开发（由杨勃一个人四、五个月时间）完成，这是豆瓣技术的基础。
豆瓣最早开发的部分是一套推荐引擎，这是基于数学统计的计算模型。在用户点击过看过东西以后，这套模型可以自动分析出“与其口味最像的人”，并主动地推荐用户最有可能喜欢的书籍、音乐或者电影。
豆瓣是100%动态网站，没有一个静态的页面。我们完全可以将其视为一个个人管理书籍、音乐、影碟的工具，只是将工具放在网上了。很多人抄袭了豆瓣的模式和资源，但就如杨勃所言，仅仅抄袭一个网站的表面是没有价值的。“Google的界面更简单，但系统核心不在这里。豆瓣比Tag这些表面的东西多做了一步，采用了统计模型和一些程序算法，事实上，这才是豆瓣网的核心。”呈现给每个注册用户的主页都是各不相同的，而同一个用户在不同时间上豆瓣，也会看到不同的首页。动态、个性，这都是豆瓣带给用户的web2.0体验。豆瓣坚持简洁干净的UI设计，跟其他网站相比，用户会发现豆瓣的广告很少，甚至大部分的页面是没有广告的。这也是豆瓣建立以来一直秉承的一个理念——用户体验至上。
在豆瓣创始人杨勃看来，对大部分人来说，书籍、音乐、电影的选择特别多，这就带来一个方向，也就是需要发现和分享。每个人的口味都不一样，大家共享之后就会产生口碑传递。“所以，一开始做豆瓣不是为了做一个网站，而是满足人们的一个需求，如果对用户没用，只是新鲜是远远不够的。”强大的功能、简单的使用，这是WEB2.0应用的必然趋势。由豆瓣的应用，可以看出发现联系用户之间的关系，在后台建立导引用户功能的连接，针对数据量做好方便的存储和查询，这些就是网站技术的核心。
豆瓣采用的是敏捷开发的模式，这是一个快速开发、快速变化的体系，平均每两天就有新的功能出现。
豆瓣选用了很多开源产品，杨勃认为：“用好开源产品是非常关键的。豆瓣的平台是基于Linux，数据库用的是MySQL，除了数据挖掘和搜索，其它都是在开源产品之上开发的。因为现在有很多非常成熟的产品和模块，没有必要从头做，只要有能力了解获得这方面的知识，都能够很快在别人的基础上开发自己的系统。”
如果在豆瓣上访问的内容不存在，可能有以下几种原因：内容已被删除：豆瓣上的内容可能会因为版权、违规等原因被删除。此时访问该内容会显示“内容不存在”等提示信息。
内容被限制访问：豆瓣的某些内容可能会受到地区限制、用户权限等因素的影响。如果您的账号或所在地区无法访问该内容，也会显示“内容不存在”等提示信息。
内容未被创建或未被审核通过：如果豆瓣上的某个内容尚未被创建或审核通过，也会显示“内容不存在”等提示信息。
如果您访问的内容在其他用户或时间点可以正常访问，建议检查自己的网络连接、账号权限等因素，或者尝试在其他时间或设备上访问。如果问题依然存在，可以联系豆瓣客服进行咨询和解决。
这两天爬了豆瓣读书的十万条左右的书目信息，用时将近一天，现在趁着这个空闲把代码总结一下，还是菜鸟，都是用的最简单最笨的方法，还请路过的大神不吝赐教。
第一步，先看一下我们需要的库：
import requests #用来请求网页
from bs4 import BeautifulSoup #解析网页
import time #设置延时时间，防止爬取过于频繁被封IP号
import re #正则表达式库
import pymysql #由于爬取的数据太多，我们要把他存入MySQL数据库中，这个库用于连接数据库
import random #这个库里用到了产生随机数的randint函数，和上面的time搭配，使爬取间隔时间随机
这个是豆瓣的网址：x-sorttags-all
我们要从这里获取所有分类的标签链接，进一步去爬取里面的信息，代码先贴上来：
import requests
from bs4 import BeautifulSoup #导入库
url="httom/tag/?icn=index-nav"
wb_data=requests.get(url) #请求网址
soup=BeautifulSoup(wb_data.text,"lxml") #解析网页信息
tags=soup.select("#content >div >div.article >div >div >table >tbody >tr >td >a")
#根据CSS路径查找标签信息，CSS路径获取方法，右键-检查-copy selector，tags返回的是一个列表
for tag in tags:
tag=tag.get_text() #将列表中的每一个标签信息提取出来
helf="hom/tag/"
#观察一下豆瓣的网址，基本都是这部分加上标签信息，所以我们要组装网址，用于爬取标签详情页
url=helf+str(tag)
print(url) #网址组装完毕，输出
以上我们便爬取了所有标签下的网址，我们将这个文件命名为channel,并在channel中创建一个channel字符串，放上我们所有爬取的网址信息，等下爬取详情页的时候直接从这里提取链接就好了，如下：
channel='''
tag/程序
'''
现在，我们开始第二个程序。
QQ图片20160915233329.png
标签页下每一个图片的信息基本都是这样的，我们可以直接从这里提取到标题，作者，出版社，出版时间，价格，评价人数，以及评分等信息（有些外国作品还会有译者信息），提取方法与提取标签类似，也是根据CSS路径提取。
我们先用一个网址来实验爬取：
url="htt/tag/科技"
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text.encode("utf-8"), "lxml")
tag=url.split("?")[0].split("/")[-1] #从链接里面提取标签信息，方便存储
detils=soup.select("#subject_list >ul >li >div.info >div.pub") #抓取作者，出版社信息，稍后我们用spite()函数再将他们分离出来
scors=soup.select("#subject_list >ul >li >div.info >div.star.clearfix >span.rating_nums") #抓取评分信息
persons=soup.select("#subject_list >ul >li >div.info >div.star.clearfix >span.pl") #评价人数
titles=soup.select("#subject_list >ul >li >div.info >h2 >a") #书名
#以上抓取的都是我们需要的html语言标签信息，我们还需要将他们一一分离出来
for detil,scor,person,title in zip(detils,scors,persons,titles):
#用一个zip()函数实现一次遍历
#因为一些标签中有译者信息，一些标签中没有，为避免错误，所以我们要用一个try来把他们分开执行
try:
author=detil.get_text().split("/",4)[0].split()[0] #这是含有译者信息的提取办法，根据“/” 把标签分为五部分，然后依次提取出来
yizhe= detil.get_text().split("/", 4)[1]
publish=detil.get_text().split("/", 4)[2]
time=detil.get_text().split("/", 4)[3].split()[0].split("-")[0] #时间我们只提取了出版年份
price=ceshi_priceone(detil) #因为价格的单位不统一，我们用一个函数把他们换算为“元”
scoe=scor.get_text() if True else "" #有些书目是没有评分的，为避免错误，我们把没有评分的信息设置为空
person=ceshi_person(person) #有些书目的评价人数显示少于十人，爬取过程中会出现错误，用一个函数来处理
title=title.get_text().split()[0]
#当没有译者信息时，会显示IndexError，我们分开处理
except IndexError:
try:
author=detil.get_text().split("/", 3)[0].split()[0]
yizhe="" #将detil信息划分为4部分提取，译者信息直接设置为空，其他与上面一样
publish=detil.get_text().split("/", 3)[1]
time=detil.get_text().split("/", 3)[2].split()[0].split("-")[0]
price=ceshi_pricetwo(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except (IndexError,TypeError):
continue
#出现其他错误信息，忽略，继续执行（有些书目信息下会没有出版社或者出版年份，但是数量很少，不影响我们大规模爬取，所以直接忽略）
except TypeError:
continue
#提取评价人数的函数，如果评价人数少于十人，按十人处理
def ceshi_person(person):
try:
person = int(person.get_text().split()[0][1:len(person.get_text().split()[0]) - 4])
except ValueError:
person = int(10)
return person
#分情况提取价格的函数，用正则表达式找到含有特殊字符的信息，并换算为“元”
def ceshi_priceone(price):
price = detil.get_text().split("/", 4)[4].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("\A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price
def ceshi_pricetwo(price):
price = detil.get_text().split("/", 3)[3].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("\A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price
实验成功后，我们就可以爬取数据并导入到数据库中了，以下为全部源码，特殊情况会用注释一一说明。
import requests
from bs4 import BeautifulSoup
import time
import re
import pymysql
from channel import channel #这是我们第一个程序爬取的链接信息
import random
def ceshi_person(person):
try:
person = int(person.get_text().split()[0][1:len(person.get_text().split()[0]) - 4])
except ValueError:
person = int(10)
return person
def ceshi_priceone(price):
price = detil.get_text().split("/", 4)[4].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("\A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price
def ceshi_pricetwo(price):
price = detil.get_text().split("/", 3)[3].split()
if re.match("USD", price[0]):
price = float(price[1]) * 6
elif re.match("CNY", price[0]):
price = price[1]
elif re.match("\A$", price[0]):
price = float(price[1:len(price)]) * 6
else:
price = price[0]
return price
#这是上面的那个测试函数，我们把它放在主函数中
def mains(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text.encode("utf-8"), "lxml")
tag=url.split("?")[0].split("/")[-1]
detils=soup.select("#subject_list >ul >li >div.info >div.pub")
scors=soup.select("#subject_list >ul >li >div.info >div.star.clearfix >span.rating_nums")
persons=soup.select("#subject_list >ul >li >div.info >div.star.clearfix >span.pl")
titles=soup.select("#subject_list >ul >li >div.info >h2 >a")
for detil,scor,person,title in zip(detils,scors,persons,titles):
l = [] #建一个列表，用于存放数据
try:
author=detil.get_text().split("/",4)[0].split()[0]
yizhe= detil.get_text().split("/", 4)[1]
publish=detil.get_text().split("/", 4)[2]
time=detil.get_text().split("/", 4)[3].split()[0].split("-")[0]
price=ceshi_priceone(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except IndexError:
try:
author=detil.get_text().split("/", 3)[0].split()[0]
yizhe=""
publish=detil.get_text().split("/", 3)[1]
time=detil.get_text().split("/", 3)[2].split()[0].split("-")[0]
price=ceshi_pricetwo(detil)
scoe=scor.get_text() if True else ""
person=ceshi_person(person)
title=title.get_text().split()[0]
except (IndexError,TypeError):
continue
except TypeError:
continue
l.append([title,scoe,author,price,time,publish,person,yizhe,tag])
#将爬取的数据依次填入列表中
sql="INSERT INTO allbooks values(%s,%s,%s,%s,%s,%s,%s,%s,%s)" #这是一条sql插入语句
cur.executemany(sql,l) #执行sql语句，并用executemary()函数批量插入数据库中
conn.commit()
#主函数到此结束
# 将Python连接到MySQL中的python数据库中
conn = pymysql.connect( user="root",password="123123",database="python",charset='utf8')
cur = conn.cursor()
cur.execute('DROP TABLE IF EXISTS allbooks') #如果数据库中有allbooks的数据库则删除
sql = """CREATE TABLE allbooks(
title CHAR(255) NOT NULL,
scor CHAR(255),
author CHAR(255),
price CHAR(255),
time CHAR(255),
publish CHAR(255),
person CHAR(255),
yizhe CHAR(255),
tag CHAR(255)
)"""
cur.execute(sql) #执行sql语句，新建一个allbooks的数据库
start = time.clock() #设置一个时钟，这样我们就能知道我们爬取了多长时间了
for urls in channel.split():
urlss=[urls+"?start={}&type=T".format(str(i)) for i in range(0,980,20)] #从channel中提取url信息，并组装成每一页的链接
for url in urlss:
mains(url) #执行主函数，开始爬取
print(url) #输出要爬取的链接，这样我们就能知道爬到哪了，发生错误也好处理
time.sleep(int(format(random.randint(0,9)))) #设置一个随机数时间，每爬一个网页可以随机的停一段时间，防止IP被封
end = time.clock()
print('Time Usage:', end - start) #爬取结束，输出爬取时间
count = cur.execute('select * from allbooks')
print('has %s record' % count) #输出爬取的总数目条数
# 释放数据连接
if cur:
cur.close()
if conn:
conn.close()
这样，一个程序就算完成了，豆瓣的书目信息就一条条地写进了我们的数据库中，当然，在爬取的过程中，也遇到了很多问题，比如标题返回的信息拆分后中会有空格，写入数据库中会出现错误，所以只截取了标题的第一部分，因而导致数据库中的一些书名不完整，过往的大神如果有什么办法，还请指教一二。
等待爬取的过程是漫长而又欣喜的，看着电脑上一条条信息被刷出来，成就感就不知不觉涌上心头；然而如果你吃饭时它在爬，你上厕所时它在爬，你都已经爬了个山回来了它还在爬时，便会有点崩溃了，担心电脑随时都会坏掉（还是穷学生换不起啊啊啊啊~）
所以，还是要好好学学设置断点，多线程，以及正则，路漫漫其修远兮，吾将上下而求索~共勉~
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）