如何使用python爬虫处理有密码的网站？

如何使用python爬虫处理有密码的网站？

信息基本上都是共享的，我们在想获取其他网站的内容的同时，其他的网站也同时想要吸取我们的内容，但是除了主动攻击，也有被动防御，比如，现在不少的网站都是有密码的，一般我们使用简单的代码并不能直接进行爬取，这难道就万无一失，没有办法了吗？然而并不是，我们可以用以下内容代码，解决这些问题。

步骤一：查看要爬取的网站信息

进入登录页面 。你会看到如下图所示的页面。

然后进行查看元素，查看到name、password，最终我们得到以下内容

payload = {
"username": "",
"password": "",
"csrfmiddlewaretoken": ""
}

步骤二、配置网站登录设置

创建一个登录对象。

session_requests = requests.session()

设置一个登录的url

result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)

)

步骤三、爬取信息内容

到了这个步骤，我们已经成功进行登录了，用以下方式进行爬取：

url = '链接'
result = session_requests.get(
url,
headers = dict(referer = url)
)

或者您也可以使用通过检查请求来验证请求结果哦~没有密码的网站，很好进去爬取内容，有网站密码的，也不必担心，按照上述小编给大家安排的登录密码爬取解决内容即可哦~