山东大学软件工程应用与实践——ECommerceCrawlers代码分析（九）

山东大学软件工程应用与实践——ECommerceCrawlers代码分析（九） 2021SC@SDUSC

---

目录

一、摘要

二、“run_main.py”文件剩余核心代码分析 

1.部分一

三、总结

---

一、摘要

本篇博客作为“SohuNewCrawler”项目核心代码分析的最后一篇，我将对SohuNewCrawler项目的剩余核心代码进行分析。

二、“run_main.py”文件剩余核心代码分析 

“run_main.py”文件主要是针对网站主要部分进行爬取 *** 作。

上一篇博客分析了该文件的前半部分内容，接下来分析该文件的剩余内容。

1.部分一

            try:
                req = requests.get(url=start_url,headers=self.headers, timeout=30)
                if req.status_code == 200:
                    if news_type == 'souhu':
                        article = parse_souhu_news(req)
                    elif news_type == 'baidu':
                        # 调用百度的解析
                        article = ''
                    else:  # 存在不明确的内容
                        article = ''
                    self.dbarticle.insert(
                        {"article": article, "flag": 0, "time": news_time, "url": start_url, "title": news_title,
                         "type": news_type})


                else:
                    print('请求请求不是200', )
                    self.dburl.update_url_flag0(start_url)
            except Exception as e:
                # 网站没有反爬。一般超时重新请求
                print('请求超时', e)
                self.dburl.update_url_flag0(start_url)

req = requests.get(url=start_url,headers=self.headers, timeout=30)

对之前获取的start_url对应的网页内容进行获取。

requests.get()函数里的timeout：

timeout（超时）：
首先是：为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显式指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，那么代码可能会挂起若干分钟甚至更长时间。

其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值，因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。

在爬虫代理这一块经常会遇到请求超时的问题，代码就卡在哪里，不报错也没有requests请求的响应。

通常的处理是在requests.get()语句中加入timeout限制请求时间。

                 if req.status_code == 200:
                    if news_type == 'souhu':
                        article = parse_souhu_news(req)
                    elif news_type == 'baidu':
                        # 调用百度的解析
                        article = ''
                    else:  # 存在不明确的内容
                        article = ''

若网站返回的HTTP状态码为200的话，则表示网站返回正常，这时候若之前获取的news_type（新闻类型）为“souhu”的话，则将该内容调用函数parse_souhu_news存到变量article中。若news_type（新闻类型）为“baidu”的话，则调用百度的解析，article设置为空。若两者都没有的话，则表示存在不明确的内容，article设为空。

                self.dbarticle.insert(
                        {"article": article, "flag": 0, "time": news_time, "url": start_url, "title": news_title,
                         "type": news_type})

将爬取到的对象按类型插入到self.dbarticle，即对应到数据库的article存储。存储格式为“db.py”文件中描述的格式：

    #{"articel":"一段内容","flag":是否被导出,"time":"2019-05-03 01:32:00","title":"暂无","type":"新闻来源百度新闻","url":"新闻链接"}
    # db_ma.insert({"articel":"一段过滤后的内容","flag":0,"time":"2019-05-03 01:32:00","title":"暂无","type":"baidu_new百度新闻","url":"http://www.baidu.com"})

            else:
                    print('请求请求不是200', )
                    self.dburl.update_url_flag0(start_url)
            except Exception as e:
                # 网站没有反爬。一般超时重新请求
                print('请求超时', e)
                self.dburl.update_url_flag0(start_url)

若网站返回的HTTP状态码不为200的话，则表示访问出错，这时将该start_url存入dburl（表示该url并没有爬取成功，返回这里继续表示“待爬取”状态）。

若请求超时，则也表示这次爬取失败，将url返回到self.dburl。

三、总结

至此， “SohuNewCrawler”项目的两个核心文件“run_main.py”和“souhu_new.py”的核心代码已分析完毕。

通过本次对搜狐新闻网的爬取项目的代码分析，我收获了很多关于爬虫的新知识和新技巧，包括如何将爬虫过程和数据库存储相结合应用以及灵活存储运用url等。学习到了很多，受益匪浅。

我将在下一篇博客开始分析第三个爬虫项目的代码。