Python网络爬虫课程设计

概述一、选题的背景为什么要选择此选题？要达到的数据分析的预期目标是什么？（10分）为了通过爬取网站获取的信息来分析现在网络上社会、经济、技术等各种信息网站的影响力排行，以此了解人们对哪种信息网站更青睐，访问的更加频繁。二、主题式网络爬虫设计方案（10分）1.主题式网络爬虫名称《

一、选题的背景

为什么要选择此选题？要达到的数据分析的预期目标是什么？（10 分）

为了通过爬取网站获取的信息来分析现在网络上社会、经济、技术等各种信息网站的影响力排行，以此了解人们对哪种信息网站更青睐，访问的更加频繁。

二、主题式网络爬虫设计方案（10 分）

1.主题式网络爬虫名称

《Python爬虫对站长之家网站分类信息网站排行榜的爬取及分析》

2.主题式网络爬虫爬取的内容与数据特征分析

爬取内容：各类网站的网站名称，网址，Alexa周排名，反链数。

数据特征分析：Alexa周排名，反链数等数据可通过后续绘制直方图、散点图等观察数据的变化情况。

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

实现思路：本次设计方案主要使用request库爬取网页信息和beautifulSoup库来提取分类信息网站排行榜的信息。

技术难点：主要包括对站长之家网站分类信息网站排行榜部分的页面进行分析采集以及数据的可视化。

三、主题页面的结构特征分析（10 分）

1.主题页面的结构特征

2. 通过F12，对页面进行检查，查看我们所需要爬取内容的相关代码

 

3.节点（标签）查找方法与遍历方法

查找方法：find

遍历方法：for循环

 

四、网络爬虫程序设计（60 分）

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。

1.数据爬取与采集

 1 #导入库 2 import requests 3 from lxml import etree 4 import pandas as pd 5  6 #初始列表 7 sitename_oyr,websites_oyr, Alexa_oyr, Antichain_oyr = [], [], [], [] 8 for a in range(15): 9 10     #爬取网站的网址并且循环爬取前15页的内容11     url = "https://top.chinaz.com/hangye/index_shenghuo_fenlei_{}.@R_301_6832@".format(a*15)12 13     #设置请求头14     headers = {15     "User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K@R_301_6832@, like Gecko) Chrome/91.0.4472.106 Safari/537.36"16     }17 18     #requests请求链接19     rq = requests.get(url,headers=headers).text20 21     #使用lxml模块中的etree方法讲字符串转化为HTML标签22     @R_301_6832@ = etree.@R_301_6832@(rq)23 24     #用xpath定位标签位置25     @R_301_6832@ = @[email protected]("/@R_301_6832@/body/div[4]/div[3]/div[2]/ul/li")26 27     #获取要爬取内容的详情链接28     for yr in @R_301_6832@:29         #爬取网站名称30         sitename = yr.xpath("./div[2]/h3/a/text()")[0]31         #爬取网址32         websites = yr.xpath("./div[2]/h3/span/text()")[0]33         #爬取Alexa周排名34         Alexa = yr.xpath("./div[2]/div/p[1]/a/text()")[0]35         #爬取反链数36         Antichain = yr.xpath("./div[2]/div/p[4]/a/text()")[0]37 38         #输出39         print(sitename)40         print(websites)41         print(Alexa)42         print(Antichain)43 44         #将字段存入初始化的列表中45         sitename_oyr.append(sitename)46         websites_oyr.append(websites)47         Alexa_oyr.append(Alexa)48         Antichain_oyr.append(Antichain)49 50         #pandas中的模块将数据存入51         df = pd.DataFrame({52         "网站名称" : sitename_oyr,53         "网址" : websites_oyr,54         "Alexa周排名" : Alexa_oyr,55         "反链数" : Antichain_oyr,56 })57 58         #储存为csv文件59         df.to_csv("paiming.csv" , enCoding='utf_8_sig', index=False)

 

2.对数据进行清洗和处理

3.文本分析（可选）：jIEba 分词、wordcloud 的分词可视化

4.数据分析与可视化（例如：数据柱形图、直方图、散点图、盒图、分布图）

 

1 #直方图2 import pandas as pd3 import numpy as np4 import matplotlib.pyplot as plt5 plt.rcParams['Font.family'] = ['SimHei']6 s = pd.SerIEs([5768,10433,10433,1168],['南宁赶集网','武汉百姓网','厦门百姓网','58同城长葛分类信息网'])7 s.plot(kind = 'bar',Title = '网站Alexa周排名')8 plt.show()

 

 

 

 

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变

量之间的回归方程（一元或多元）。

1 #散点图2 sns.lmplot(x='Alexa周排名',y='反链数',data=paiming)

 

 1 #回归方程 2 import pandas as pd 3 import numpy as np 4 import matplotlib.pyplot as plt 5 from scipy.optimize import leastsq 6 X=paiming.loc[:,'反链数'] 7 Y=paiming.loc[:,'Alexa周排名'] 8 def func(params,x): 9     a,b,c=params10     return a*x*x+b*x+c11 def error_func(params,x,y):12     return func(params,x)-y13 P0=[1,9.0]14 def main():15     plt.figure(figsize=(8,6))16     P0=[1,9.0,1]17     Para=leastsq(error_func,P0,args=(X,Y))18     a,b,c=Para[0]19     print("a=",a, "b=",b, "c=",c)20     plt.scatter(X,Y,color="green",label="样本数据",linewidth=2)21     x=np.linspace(1,2500,10)22     y=a*x*x+b*x+c23     plt.plot(x,y,color="red",label="拟合曲线",linewidth=2)24     plt.xlabel('反链数')25     plt.ylabel('Alexa周排名')26     plt.Title("Alexa周排名与反链数回归方程")27     plt.grID()28     plt.legend()29     plt.show()30 main()

6.数据持久化

1         #储存为csv文件2         df.to_csv("paiming.csv" , enCoding='utf_8_sig', index=False)

7.将以上各部分的代码汇总，附上完整程序代码

 

  1 #导入库  2 import requests  3 from lxml import etree  4 import pandas as pd  5   6 #初始列表  7 sitename_oyr,websites_oyr, Alexa_oyr, Antichain_oyr = [], [], [], []  8 for a in range(15):  9  10     #爬取网站的网址并且循环爬取前15页的内容 11     url = "https://top.chinaz.com/hangye/index_shenghuo_fenlei_{}.@R_301_6832@".format(a*15) 12  13     #设置请求头 14     headers = { 15     "User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K@R_301_6832@, like Gecko) Chrome/91.0.4472.106 Safari/537.36" 16     } 17  18     #requests请求链接 19     rq = requests.get(url,headers=headers).text 20  21     #使用lxml模块中的etree方法讲字符串转化为HTML标签 22     @R_301_6832@ = etree.@R_301_6832@(rq) 23  24     #用xpath定位标签位置 25     @R_301_6832@ = @[email protected]("/@R_301_6832@/body/div[4]/div[3]/div[2]/ul/li") 26  27     #获取要爬取内容的详情链接 28     for yr in @R_301_6832@: 29         #爬取网站名称 30         sitename = yr.xpath("./div[2]/h3/a/text()")[0] 31         #爬取网址 32         websites = yr.xpath("./div[2]/h3/span/text()")[0] 33         #爬取Alexa周排名 34         Alexa = yr.xpath("./div[2]/div/p[1]/a/text()")[0] 35         #爬取反链数 36         Antichain = yr.xpath("./div[2]/div/p[4]/a/text()")[0] 37  38         #输出 39         print(sitename) 40         print(websites) 41         print(Alexa) 42         print(Antichain) 43  44         #将字段存入初始化的列表中 45         sitename_oyr.append(sitename) 46         websites_oyr.append(websites) 47         Alexa_oyr.append(Alexa) 48         Antichain_oyr.append(Antichain) 49  50         #pandas中的模块将数据存入 51         df = pd.DataFrame({ 52         "网站名称" : sitename_oyr, 53         "网址" : websites_oyr, 54         "Alexa周排名" : Alexa_oyr, 55         "反链数" : Antichain_oyr, 56 }) 57  58         #储存为csv文件 59         df.to_csv("paiming.csv" , enCoding='utf_8_sig', index=False) 60  61  62  63  64  65 #导入库 66 import pandas as pd 67 paiming = pd.DataFrame(pd.read_csv('paiming.csv',enCoding="gbk")) 68 paiming.head() 69  70 #查找重复值 71 paiming.duplicated() 72  73 #查找空值与缺失值 74 paiming['网站名称'].isnull().value_counts() 75  76 paiming['网址'].isnull().value_counts() 77  78 paiming['Alexa周排名'].isnull().value_counts() 79  80 paiming['反链数'].isnull().value_counts() 81  82 #查找异常值 83 paiming.describe() 84  85 #直方图 86 import pandas as pd 87 import numpy as np 88 import matplotlib.pyplot as plt 89 plt.rcParams['Font.family'] = ['SimHei'] 90 s = pd.SerIEs([5768,10433,10433,1168],['南宁赶集网','武汉百姓网','厦门百姓网','58同城长葛分类信息网']) 91 s.plot(kind = 'bar',Title = '网站Alexa周排名') 92 plt.show() 93  94 #散点图 95 sns.lmplot(x='Alexa周排名',y='反链数',data=paiming) 96  97 #回归方程 98 #回归方程 99 import pandas as pd100 import numpy as np101 import matplotlib.pyplot as plt102 from scipy.optimize import leastsq103 X=paiming.loc[:,'反链数']104 Y=paiming.loc[:,'Alexa周排名']105 def func(params,x):106     a,b,c=params107     return a*x*x+b*x+c108 def error_func(params,x,y):109     return func(params,x)-y110 P0=[1,9.0]111 def main():112     plt.figure(figsize=(8,6))113     P0=[1,9.0,1]114     Para=leastsq(error_func,P0,args=(X,Y))115     a,b,c=Para[0]116     print("a=",a, "b=",b, "c=",c)117     plt.scatter(X,Y,color="green",label="样本数据",linewidth=2)118     x=np.linspace(1,2500,10)119     y=a*x*x+b*x+c120     plt.plot(x,y,color="red",label="拟合曲线",linewidth=2)121     plt.xlabel('反链数')122     plt.ylabel('Alexa周排名')123     plt.Title("Alexa周排名与反链数回归方程")124     plt.grID()125     plt.legend()126     plt.show()127 main()

五、总结（10 分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

　　通过将爬取到的各个网站的Alexa周排名还有反链数，加以分析与可视化后由此可知：

通常情况下反链数越大，Alexa周排名越高，反链数越小，Alexa周排名越不确切。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

　　本次网络爬虫课程设计的各个部分都已完成，先是用requests库获取到目标网页的内容；再将所爬取的目标数据存储到本地的csv文件，实现数据的持久化，可为未来使用和研究减少代码量的修改；再将完整的数据进行清洗，最后通过库对研究对象绘图分析。从一个大框架再不断细分完成每一部分的内容，使自己在实践时有了更明确的思路，本次完成课程设计更是一种对自我的肯定。虽然有一些没有完全实现出来，还存在在一些问题，但是发现了问题也就能及时查缺补漏，让我对Python这门语言有了更深的理解，推动自己更好地进步。

 

总结

以上是内存溢出为你收集整理的Python网络爬虫课程设计全部内容，希望文章能够帮你解决Python网络爬虫课程设计所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。