Python爬虫实战，argparse模块，Github用户粉丝数据爬虫

概述前言主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。让我们愉快地开始吧~开发工具Python版本：3.6.4相关模块：bs4模块；requests模块；argparse模块；pyecharts模块；以及一些python自带的模块。环境搭建安装Python并添加到环境变量，pip 前言

主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。
让我们愉快地开始吧~

开发工具

Python版本：3.6.4

相关模块：

bs4模块；

requests模块；

argparse模块；

pyecharts模块；

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

感觉好久没用beautifulsoup了，所以今天就用它来解析网页从而获得我们自己想要的数据呗。以我自己的账户为例：

我们先抓取所有关注者的用户名，它在类似如下图所示的标签中：

用beautifulsoup可以很方便地提取它们：

'''获得followers的用户名'''def getfollowernames(self):    print('[INFO]: 正在获取%s的所有followers用户名...' % self.target_username)    page = 0    follower_names = []    headers = self.headers.copy()    while True:        page += 1        followers_url = f'https://github.com/{self.target_username}?page={page}&tab=followers'        try:            response = requests.get(followers_url, headers=headers, timeout=15)            HTML = response.text            if 've reached the end' in HTML:                break            soup = BeautifulSoup(HTML, 'lxml')            for name in soup.find_all('span', class_='link-gray pl-1'):                print(name)                follower_names.append(name.text)            for name in soup.find_all('span', class_='link-gray'):                print(name)                if name.text not in follower_names:                    follower_names.append(name.text)        except:            pass        time.sleep(random.random() + random.randrange(0, 2))        headers.update({'Referer': followers_url})    print('[INFO]: 成功获取%s的%s个followers用户名...' % (self.target_username, len(follower_names)))    return follower_names

接着，我们就可以根据这些用户名进入到他们的主页来抓取对应用户的详细数据了，每个主页链接的构造方式为：

https://github.com/ + 用户名例如: https://github.com/Charlespikachu

我们想要抓取的数据包括：

同样地，我们利用beautifulsoup来提取这些信息：

for IDx, name in enumerate(follower_names):    print('[INFO]: 正在爬取用户%s的详细信息...' % name)    user_url = f'https://github.com/{name}'    try:        response = requests.get(user_url, headers=self.headers, timeout=15)        HTML = response.text        soup = BeautifulSoup(HTML, 'lxml')        # --获取用户名        username = soup.find_all('span', class_='p-name vcard-fullname d-block overflow-hIDden')        if username:            username = [name, username[0].text]        else:            username = [name, '']        # --所在地        position = soup.find_all('span', class_='p-label')        if position:            position = position[0].text        else:            position = ''        # --仓库数, stars数, followers, following        overvIEw = soup.find_all('span', class_='Counter')        num_repos = self.str2int(overvIEw[0].text)        num_stars = self.str2int(overvIEw[2].text)        num_followers = self.str2int(overvIEw[3].text)        num_followings = self.str2int(overvIEw[4].text)        # --贡献数(最近一年)        num_contributions = soup.find_all('h2', class_='f4 text-normal mb-2')        num_contributions = self.str2int(num_contributions[0].text.replace('\n', '').replace(' ', ''). \                            replace('contributioninthelastyear', '').replace('contributionsinthelastyear', ''))        # --保存数据        info = [username, position, num_repos, num_stars, num_followers, num_followings, num_contributions]        print(info)        follower_infos[str(IDx)] = info    except:        pass    time.sleep(random.random() + random.randrange(0, 2))

数据可视化

这里以我们自己的粉丝数据为例，大概1200条吧。

先来看看他们在过去一年里提交的代码次数分布吧：

提交最多的一位名字叫fengjixuchui，在过去一年一共有9437次提交。平均下来，每天都得提交20多次，也太勤快了。

再来看看每个人拥有的仓库数量分布呗：

本以为会是条单调的曲线，看来低估各位了。

接着来看看star别人的数量分布呗：

再来看看这1000多个人拥有的粉丝数量分布呗：

简单看了下，有不少小伙伴的followers数量比我还多。果然高手在民间。

文章到这里就结束了，感谢你的观看，Python小案例系列暂停更新，下个篇章将分享Python小工具系列

为了感谢读者们，我想把我最近收藏的一些编程干货分享给大家，回馈每一个读者，希望能帮到你们。

干货主要有：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤　Python学习路线图（告别不入流的学习）

⑥　Python为期两天的爬虫训练营直播权限

All done~完整源代码+干货详见个人简介或者私信获取相关文件。。

总结

以上是内存溢出为你收集整理的Python爬虫实战，argparse模块，Github用户粉丝数据爬虫全部内容，希望文章能够帮你解决Python爬虫实战，argparse模块，Github用户粉丝数据爬虫所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。