用Python爬取了三大相亲软件评论区,结果...

用Python爬取了三大相亲软件评论区,结果...,第1张

概述 小三:怎么了小二?一副愁眉苦脸的样子。小二:唉!这不是快过年了吗,家里又催相亲了...小三:现在不是流行网恋吗,你可以试试相亲软件呀。小二:这玩意靠谱吗?小三:我也没用过,你自己看看软件评论区吧。小二:这...不过也只能先到评论区看看了。本文以360手机助手为例,,相亲软

 

小三:怎么了小二?一副愁眉苦脸的样子。

小二:唉!这不是快过年了吗,家里又催相亲了 ...

小三:现在不是流行网恋吗,你可以试试相亲软件呀。

小二:这玩意靠谱吗?

小三:我也没用过,你自己看看软件评论区吧。

小二:这 ... 不过也只能先到评论区看看了。

本文以 360 手机助手为例,,相亲软件选择 3 个比较流行的,分别为:世纪佳缘、百合婚恋、有缘网,我们使用 Python 爬取软件评论区,看看用户评价情况。

先来看一下这三款软件的下载量和好中差评占比情况(下图单位为万次)。

下面开始爬取评论区,以世纪佳缘为例,首先,在搜索框输入世纪佳缘进行搜索,如图所示:

接着,点击搜索到的软件进入其详情页,如图所示:

将页面向下拉就可以看到评论区了,如图所示:

此时打开开发者工具并选择Network项,点击查看更多评论,然后可以看到getComments请求,如图所示:

通过这个请求我们就可以动态获取评论区数据了,其中参数star为开始的评论索引,参数count为每次加载的评论个数,可以通过参数callback、baike指定不同应用,爬取代码实现如下:

headers = {
    "Accept": "*/*",
    "Accept-EnCoding": "gzip, deflate, sdch",
    "Accept-Language": "zh-CN,zh;q=0.8",
    "Connection": "keep-alive",
    "Host": "comment.mobilem.360.cn",
    "User-Agent": "Mozilla/5.0 (windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBbroWSER"
}
def comment_spIDer(param, file_name):
    base_url = "http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50"
    start = 0
    for i in range(1, 50):
        print("第{}页".format(i))
        url = base_url + param + "&start=" + str(start)
        r = requests.get(url, headers=headers)
        data = re.findall("{\"errno\"(.*)\);}catch\(e\){}", r.text)
        # 转为 Json 格式
        jdata = Json.loads("{\"errno\"" + data[0])
        for message in jdata["data"]["messages"]:
            content = message["content"]
            print(content)
            with open(file_name + ".txt", "a", enCoding="utf-8") as f:
                f.write(content)
        start = start + 50
        time.sleep(2)

我们将爬取的评论数据存到了 txt 文件中。

接着,我们将评论数据进行词云展示,代码实现如下:

with open("yy.txt", "r", enCoding="utf-8") as f:
    content = f.read()
    stylecloud.gen_stylecloud(text=content, max_words=600,
                              collocations=False,
                              Font_path="SIMli.TTF",
                              icon_name="fas fa-heart",
                              size=800,
                              output_name="yy.png")
    Image(filename="yy.png")

最后,通过词云看一下用户对上述软件的评价情况。

世纪佳缘:

百合婚恋:

有缘网:

小二:看了有缘网的评论,我感觉自己和相亲软件无缘 ...

小三:...

 

 

总结

以上是内存溢出为你收集整理的用Python爬取了三大相亲软件评论区,结果...全部内容,希望文章能够帮你解决用Python爬取了三大相亲软件评论区,结果...所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/1158853.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-01
下一篇 2022-06-01

发表评论

登录后才能评论

评论列表(0条)

保存