如何用 Python 爬取需要登录的网站

去年在公司写过一个爬虫工具，用于抓取自动化报告通过率、自动发送报告。由于当时是第一次接触爬虫，难免会遇到各种问题，解决方案全都是按照网上的一些爬虫文章示例，照猫画虎写的。虽然能正常使用，但其实很多地方都没弄明白。最近学习了一些前端和后台的原理，了解了cookie与session的机制，总算弄明白了爬虫登录过程中的一个疑问。

编写爬虫第一步，在登录公司的自动化平台时就遇到了一个难题，登录请求中必须包含一个authenticity_token字段。令人头大的是，完全不知道这个字段从何而来，而且该字段还每次都不一样，参考的爬虫登录示例也没教啊！真是急坏苯宝宝了