python爬虫和HTML网页-技术硬货篇

python爬虫和HTML网页-技术硬货篇

我们大家难免会有过这样的疑问：网页是怎么做出来的？

这时，就有人说了：用HTML不就能做吗？

那我再问你，那些百度、搜索，甚至CSDN这种网页，你做的出来吗？

你现在一定在想：怎么获取他们的代码？

哎，说到点子上了，作者虽然学过c++，但是这个用c++做还是不太可能，所以还是用python做。

原理就不讲了，新手也能看懂

import requests

# 获取网页源代码
def getHtml(url):
    # 发送请求，r:response
    res = requests.get(url)  
    # 判断是否请求成功
    if res.status_code == 200:  
        # 设置编码
        res.encoding = res.apparent_encoding  
        # 获取html文本数据，t:text
        return res.text   
    else:
        print('请求失败')
        return ''

# 目标网址
url = 'https://www.baidu.com' 
html = getHtml(url) 
# 输出网页源代码
print(html)

现在，你也能做出网页了，去试一试吧！

作者获取百度的截图

这是自己做的百度

这是正版百度

 可以看出，差别还是不大的。

搜索功能也可以使用。

注：获取的是HTML代码，不要用python的编译器编译