美团外卖爬虫

接到一个新的任务，是根据城市名，爬取美团外卖的商户电话联系方式

先去分析美团外卖的网站， https://waimai.meituan.com/ ，可是并没有任何商家的信息，后来经过了手机抓包，找到了手机版本的网址， https://h5.waimai.meituan.com/waimai/mindex/home ，这个是可以访问的，ok

但是第二个问题就出来了，定位问题，我们知道，叫外卖之前都要先定好位置，才显示周围的外卖信息，这个其实也好解决，当我们切换了定位之后，网页其实是发了一个post请求，请求的数据，就包含了两串奇怪的数字，经过分析，这其实是经纬度

到了这里其实就成功了一小点了，我们通过返回的json数据拿到店铺的dpShopId，mtShopId，initialLat，initialLng，actualLat，actualLng，这里所有的数据都是通过解析json得到的，然后我们可以使用这些数据往这个地址发送post请求，返回的数据包里面就包含商店的电话信息了。

这样就拿到了一个固定经纬度的周围外卖商家了，怎么拿到一个城市的外卖呢，暂时考虑直接定位市中区，不过这样的话，应该会有很多数据的丢失，如果要分块的话，工作量也是很大，需要手动分块，还有去重问题。

而且仅仅是到了这里还没有结束，还没有考虑美团的反扒机制，一个爬虫最难的部分就在这里了，暂时观察到的是，爬四页会强制发送手机验证，如果更多的话也许会封ip，明天再好好想想吧

现在我们已经进入了网络时代，我们的生活也是因为科技技术的不断发展，变得越来越便利。但是，在科学技术越来越发达的现在，也是出现了很多的其他的问题。在出现的众多问题中，个人信息的安全性备受人们关注。最近几年出现的信息泄露的事件，也是越来越频繁。这不Chowbus就在 2020 年 10 月 5 日也是发生了信息泄露事件。

一、外卖平台Chowbus数据库泄露事件

Chowbus属于北美的外卖平台，同时Chowbus的服务对象基本是亚洲的留学生。Chowbus里面的产品主要以中餐为主，同时亚洲国家的其他菜品也是很齐全。

而在外卖平台Chowbus数据库泄露事件当中，由于是通过官网邮箱发出的，所以数据库应该不是被黑客黑了，而是内部人员出现了问题。正是这样的原因，使本次泄露的客户信息比较全面，产生的影响也会更大。

二、数据库泄露的信息

外卖平台Chowbus数据库泄露的信息主要是两大块，即餐厅和用户。

餐厅的信息还好，毕竟这些本来就是公开的，一般人都可以通过网络获取。但是其中有一个佣金率比较敏感，毕竟餐厅的影响力不同外卖平台可以获得佣金也会不同。当然，佣金率虽然不同但是餐厅彼此之间肯定不知道。然而，这次由于信息的泄露，使这些商业机密公之于众。以后外卖平台Chowbus恐怕真的做不下去了。

在客户方面，虽然没有最重要的xyk信息，但是个人电话、邮箱、住址这样个人隐私还是会产生不好的影响的。在北美地区，对于个人隐私的保护还是比较重视的。外卖平台Chowbus恐怕也会遭到集体诉讼的，外卖平台Chowbus的未来恐怕真的危险了。

各位，对于外卖平台chowbus数据库泄露事件，您有什么不同看法，可以在评论区畅所欲言。

首先手机app的采集软件就我知道市面上是没有，电脑的类似八爪鱼之类的也是只能采集网页信息。针对手机app的采集简单的先抓包，分析协议也可以实现，对于美团，饿了么等等大厂的协议比较慢，来个tcp什么的就累得够呛。但也不是没有解决方案，有道是看得到的就抓得到，直接上群控呗，完全模拟人工还剩了琢磨反爬的功夫。更多信息可电用户名号马交流，业余可接数据爬取需求

---