看点：大厂的机器学习参考架构

尽管围绕机器学习和人工智能（AI）进行了大肆宣传，但企业中的大多数努力仍处于试验阶段。 造成这种现象的部分原因是与机器学习项目相关的自然实验，但也有一个与机器学习体系结构缺乏成熟度有关的重要因素。 该问题在企业环境中尤其明显，在企业环境中，现代机器学习解决方案的新应用程序生命周期管理实践与公司实践和法规要求相冲突。 在采用机器学习解决方案时，组织应放置哪些关键体系结构构建块？ 答案不是很简单，但是最近我们已经看到研究实验室和AI数据科学的一些努力，这些努力开始为大规模机器学习解决方案的参考体系结构铺平道路。

建立用于大规模机器学习解决方案的参考体系结构的挑战主要由两个主要因素来强调：

1）机器学习框架和基础设施的发展比主流环境中采用这些技术的发展速度要快得多。

2）机器学习解决方案的生命周期与其他软件学科根本不同。

为了解释第一点，请考虑构成机器学习生态系统的四个主要领域：研究，开发框架，基础架构和应用程序架构。 在过去的几年中，前三个领域的发展速度比第四领域快得多，这说明在主流环境中采用新的机器学习体系结构存在很大的摩擦。

第二点也不是很明显，除非您在实际应用中遇到了这一挑战。 机器学习程序的生命周期与传统软件应用程序根本不同。 结果，当应用于机器学习解决方案时，大多数已建立的应用程序开发方法（例如，敏捷或瀑布式开发以及连续的集成/交付工具和流程）均不完善。

尽管这些挑战当然是相关的，但我们开始看到第一波架构，这些架构为机器学习解决方案提供了可行的工作流程。 矛盾的是，与流行的机器学习框架（如TensorFlow或PyTorch）或机器学习平台（如AWS SageMaker或Azure ML）相比，这些解决方案中的大多数都没有受到机器学习社区的太多关注。

您需要了解的五个机器学习框架

下面，我列出了一些我最喜欢的框架和参考体系结构，这些框架和参考体系结构简化了现实世界中机器学习解决方案的实现。 我计划在以后的文章中深入研究这些堆栈中的每个堆栈。

斯坦福的DAWN

DAWN是由斯坦福大学（Stanford University）创立的一项计划，并得到了英特尔，谷歌或微软等行业巨头的支持。 去年发表的研究论文中概述了DAWN背后的原理，该论文实质上提出了一系列工具，框架和体系结构参考，以简化机器学习工作流程。 当前的DAWN堆栈包括解决机器学习解决方案生命周期不同方面的项目，例如培训（Snorkel），连续分析（MacroBase）或数据计算（Weld）。

》 Source： https://dawn.cs.stanford.edu/

优步的米开朗基罗

Uber的米开朗基罗（Michelangelo）是该领域最著名的工作之一，它的运行时为Uber的数百种机器学习工作流提供了动力。 从实验到模型服务，米开朗基罗结合了主流技术以自动化机器学习应用程序的生命周期。 Uber出色地完成了Michelangelo与其他专有机器学习技术（例如Horovod，PyML或Pyro）的互补工作。

》 Source： https://eng.uber.com/michelangelo-machine-learning-platform/

DataBricks的MLflow

MLflow是一个开源平台，用于自动化机器学习解决方案的生命周期。 该项目专注于机器学习工作流程的三个关键领域：培训，项目包装和模型服务。 Mlflow与许多主流开发框架以及运行时基础结构集成在一起，这使其成为各种机器学习场景的可行选择。

》 Source： https://www.mlflow.org/

Facebook的FBLearner Flow

FBLearner Flow是Facebook机器学习应用程序的骨干。 该平台可自动执行机器学习工作流程的不同元素，例如特征提取，训练，模型评估和推理。 FBLearner Flow与Facebook自己的Caffe2，PyTorch和ONNX等多种机器学习框架和工具集成在一起。

》 Source： https://engineering.fb.com/ml-applicaTIons/introducing-fblearner-flow-facebook-s-ai-backbo

Google的TFX

Google还创建了自己的运行时来执行机器学习工作流。 TFX基于最近发表的研究论文，该论文提出了用于简化TensorFlow程序可 *** 作性的架构。 TFX包含TensorFlow架构的几个关键组件，例如用于基于训练数据生成模型的学习器，用于分析和验证数据以及模型的模块以及用于在生产中服务模型的基础架构。

》 Source： https://www.kdd.org/kdd2017/papers/view/tfx-a-tensorflow-based-producTIon-scale-machine-le

这些是一些新的，即将到来的项目，旨在简化现实世界中机器学习应用程序的实现。 随着机器学习的发展，我们应该看到越来越多的参考架构和框架已成为全球企业软件堆栈中不可或缺的一部分。