[编程工具]Uber 上市背后那些开源软件

当地时间5月10日上午，出行巨头Uber在纽交所挂牌上市，股票代码为“UBER”。这可能是2019年美股市场规模最大的IPO。Uber 上市的表现以及公司巨亏的现状等等跟技术无关的问题交给华尔街的那些专家们去分析。

咱们只讨论支持 Uber 技术的那些开源软件：

AresDB —— AresDB 是 Uber 开源的一个基于 GPU 运算的实时分析存储引擎和查询引擎。具备低查询延迟、高数据刷新率和高效内存和磁盘存储管理。AresDB 要求 CUDA Toolkit 的支持。

Fusion.js —— Uber 的 Web 平台团队开发 Fusion.js，一个开源的 Web 框架，用于简化 Web 开发，并构建出高性能的轻量级 Web 应用程序。

Petastorm —— Petastorm 是由 Uber ATG(Advanced Technologies Group) 开发的开源数据访问库。这个库可以直接基于数 TB Parquet 格式的数据集进行单机或分布式训练和深度学习模型评估。

M3 —— M3 是 Uber 开源的一个基于分布式时序数据库 M3DB 构建的度量平台，可每秒聚合 5 亿个指标，并且以每秒 2000 万笔的速度持续存储这些结果。

Uber JVM Profiler —— JVM Profiler 是 Uber Engineering 团队开源的一个分布式探查器，用于收集性能和资源使用率指标为进一步分析提供服务。

RIBs —— RIBs 是 Router、Interactor 和 Builder 的简称，是 Uber 许多移动端应用背后的跨平台架构。

AthenaX —— AthenaX 是 Uber 的内部流分析平台，同时支持着 Uber 的技术与非技术客户，确保其能够利用结构化查询语言（简称 SQL）运行全面的生产级流分析任务。

Jaeger —— Jaeger是Uber的分布式跟踪系统，Jaeger客户端库中的轮询功能旨在解决这些问题。通过将关于适当采样策略的决定移动到跟踪后端，我们免除服务开发人员猜测适当的采样率。

Chaperone —— 作为 Kafka 审计系统，Chaperone 监控数据流的完整性和延迟。审计指标持久存储在数据库中，供 Kafka 用户量化其主题的损失。

Ludwig —— 这是一款基于 Google TensorFlow 框架上的开源工具箱。藉由 Ludwig，用户无需再编写任何代码即可进行深度学习的开发。

Hudi —— Hudi 旨在解决 Uber 大数据生态系统中需要插入更新及增量消费原语的摄取管道和 ETL 管道的低效问题

无论哪个行业大部分企业、机构在运营过程中都涉及到一些敏感数据比如PII个人身份信息。这些信息如果未得到有效保护将影响数以亿计的平民百姓的利益并且可能对企业造成不可估量的资金损失。下文通过研究过去三年中美国发生的上市公司、私企的数据泄露事件揭示了数据泄露的一些关键数字、损失程度和趋势。

有关数据泄露的关键数字

先来看一组醒目的数字

那些年我们追过的数据泄露门

万豪喜达屋数据泄露门

2018年11月30日万豪发现旗下喜达屋酒店的客房预订数据库被黑客入侵在2014年至2018年9月10日之间预定的顾客中大约3.87亿名客人的姓名、出生日期、性别、地址和护照号码等被泄露。万豪方面还补充可能泄露的还包括加密的xyk信息且不能排除加密密匙同时被盗的可能性。万豪因数据违规被罚款9.12亿美元且面临多项法律诉讼赔偿额高达125亿美元。

Facebook遭黑客攻击

2018年9月28日Facebook发布消息称本周发现的黑客攻击显示攻击者利用代码漏洞盗取了用户账号密钥可能入侵和盗用5000万用户账户。黑客所利用的漏洞与「访客视图」功能相关。该功能的作用是让用户能够以其他用户的视角来查看自己的页面明确自己在设置了相关的隐私设置后他人能否看到。事件导致Facebook市值损失430亿美元将面临高达16亿美元的罚款。

在线教科书租赁公司Chegg信息泄露

2018年9月19日在线教科书租赁公司Chegg表示4月下旬未经授权的一方获得了访问托管用户数据的公司数据库的权限包括姓名电子邮件送货地址和密码包括EasyBib在内的品牌系列的用户数据也可能受到影响。Chegg股价在披露黑客行为后一天内暴跌12%。

大数据公司Exactis数据泄露

2018年6月大数据公司Exactis被发现其可公开访问的数据库暴露了3.4亿个商业和消费者账户几乎包含每个美国公民的信息包括家庭地址、电子邮箱、年龄、儿童数量、宗教关系甚至家庭宠物等。Exactis此次的信息泄露并不是由黑客撞库或者其它恶意攻击引起而是由于服务器没有防火墙阻隔直接暴露在公共的数据库查找范围内。

信用评估巨头Equifax数据泄露

2017年9月Equifax发现5月至7月期间遭到黑客攻击导致1.43亿用户的个人信息遭到泄露将近一半美国人的隐私信息暴露在风险中包括姓名、社安号美国身份z号、地址、驾照号、社保账号等还包括20.9万人的xyk号码18.2万人的个人税收信用文件是当时有史以来规模最大、破坏性最强的数据泄露事件之一。Equifax股价在事件公布一天内暴跌近14%两周内下跌了31%且面临4.39亿美元的法律、补救、保险和调查成本。Equifax的CEO、CSO首席安全官、CIO 首席信息官在事发后立即宣布退休。

连锁餐厅Sonic Drive-In被攻击

2017年9月Sonic Drive-In发现其xyk处理器发生异常活动很可能是安装在一个或多个销售终端上的恶意软件造成的攻击目标都是客户的xyk信息。在美国3600个连锁分店中325个分店受到持续6个月的恶意软件攻击500万张xyk流入市场出售。Sonic Drive-In因此支付了430万美元的法律赔偿金。

Uber被黑客盗取用户信息

2016年底黑客通过窃取Uber公司的AWS实例凭证获得了数千万Uber用户和司机的个人数据。5700万人的个人身份信息被窃取包括电话号码电子邮箱、姓名等此外60.7万名司机的驾照号被盗。最终Uber支付了1.48亿美元的法律诉讼和解费。

Yahoo!两起数据泄露事件

2016年Yahoo! 公布了2起数据泄露事件——一起是在9月这一事件危害5亿以上的账户持有人另一起是在12月这一事件影响了超过10亿的账户持有人。泄露的信息于2014年至2016年12月期间收集黑客窃取的信息包括用户名、电子邮箱、电话、生日、密码以及安全问答等。Yahoo! 在事后补救和法律费用上花费超过9500万美元因未及时向投资者披露黑客行为被额外罚款3500万美元。由于违规行为Verizon收购Yahoo!比原报价少了3.5亿美元。

职场社交软件LinkedIn被黑

2016年一名俄罗斯黑客Peace在暗网出售LinkedIn的用户资料总资料多达1.67亿笔当中达1.17亿笔包含了账号密码售价为5个比特币当时约合2200美元。黑客Peace表示这些资料源自2012年的一次攻击当时Peace就黑掉了LinkedIn并曾在网上出售LinkedIn超过600万条的账户信息。

陷入数据泄露门的公司哪家最惨

数据泄露门的启示

安数网络从上面的数据发现了一些特征

*本文作者：安数君，转载自FreeBuf.COM

mysql 在 pg 面前就是个半残的 rmdbs

事务竟然不支持表结构修改，断电或进程出错时容易导致数据文件损坏。

当然 mysql 大体上写性能会好些，特别是优化过后。

因此，根据你的应用场景进行选择了，数据不是很多，需要数据完整性和功能的话，选 PG 。

像 uber 那样存在大量写的话，就选 mysql ，配合容灾策略的话问题也不大，像淘宝都是用 mysql 的。

不存在哪个数据库系统可以适用任何场景。

---