分布式训练

在分布式训练中，用于训练模型的工作负载会在多个微型处理器之间进行拆分和共享，这些处理器称为工作器节点。

这些工作器节点并行工作以加速模型训练。

分布式训练可用于传统的 ML 模型，但更适用于计算和时间密集型任务，如用于训练深度神经网络的 深度学习 。

分布式训练有两种主要类型： 数据并行 和 模型并行 。

对于深度学习模型上的分布式训练， Python 中的 Azure 机器学习 SDK 支持与常用框架 PyTorch 和 TensorFlow 进行集成。

两种框架都采用数据并行方式进行分布式训练，并且可以利用 horovod 来优化计算速度。