ddp和dap什么区别

ddp和dap区别如下：

ddp 和 dap 的主要区别在于运送到目的地以及谁负责进口关税、税收和安全清关。在 ddp 下，卖方自始至终承担最大的成本和风险责任。在 dap 下，买方承担进口清关的成本和税费。

定义：

ddp（完税后交货）是指卖方承担与将货物交付到指定目的地准备卸货和清关进口相关的所有风险和费用。该 Incoterm 将最大的责任和风险放在卖方身上。

dap（现场交付）是指卖方负责在货物到达目的地（指定地点）之前的运输过程中的所有费用和风险。

dap 是一个灵活的术语，适用于多式联运：指定的目的地可以是港口、机场、海港、买方所在地或过境点。它不需要是货运目的地；只要是外国目的地或过境点，任何命名的地方都可以使用。

由于进口清关程序的复杂官僚主义、在目的地国雇用报关行的风险水平以及对当前进口关税税率和税率变化的潜在缺乏了解，ddp 是卖方选择的一个极具风险的术语。出口商应谨慎使用它。如果您决定使用 ddp，请考虑进行此调整以减轻难以估算的税费带来的一些风险：“ddp（指定目的地）不包括增值税或其他税费。”

ddp 对进口商的价值也可能存在问题，因为他们必须依靠卖方才能成功应对这些挑战。使用 Incoterm dap是希望更好地控制运费但又不想参与进口税和关税的出口商的首选。

作者丨 科技 猛兽

编辑丨极市平台

这篇文章从应用的角度出发，介绍 DP 和 DDP 分别在什么情况下使用，以及各自的使用方法。以及 DDP 的保存和加载模型的策略，和如何同时使用 DDP 和模型并行 (model parallel)。

PyTorch 提供了几种并行训练的选项。

Data Parallel 这种方法允许我们以最小的代码修改代价实现有1台机器上的多张 GPU 的训练。只需要修改1行代码。但是尽管 Data Parallel 这种方法使用方便，但是 Data Parallel 的性能却不是最好的。我们先介绍下 torch.nn.DataParallel 这个 PyTorch class。

定义：

CLASS torch.nn.DataParallel (module,device_ids=None,output_device=None,dim=0)

torch.nn.DataParallel 要输入一个 module ，在前向传播过程中，这个 module 会在每个 device 上面复制一份。同时输入数据在 batch 这个维度被分块，这些数据会被按块分配在不同的 device 上面。最后形成的局面就是：所有的 GPU 上面都有一样的 module ，每个 GPU 都有单独的数据。在反向传播过程中，每一个 GPU 上得到的 gradient 会汇总到主 GPU (server) 上面。主 GPU (server) 更新参数之后，还会把新的参数模型参数 broadcast 到每个其它的 GPU 上面。

DP 使用的是 Parameter Server (PS) 架构。 Parameter Server 架构 (PS 模式) 由 server 节点和 worker 节点组成，server 节点的主要功能是初始化和保存模型参数、接受 worker 节点计算出的局部梯度、汇总计算全局梯度，并更新模型参数。

worker 节点的主要功能是各自保存部分训练数据，初始化模型，从 server 节点拉取最新的模型参数 (pull)，再读取参数，根据训练数据计算局部梯度，上传给 server 节点 (push)。

PS 模式下的 DP，会造成负载不均衡，因为充当 server 的 GPU 需要一定的显存用来保存 worker 节点计算出的局部梯度；另外 server 还需要将更新后的模型参数 broadcast 到每个 worker，server 的带宽就成了 server 与worker 之间的通信瓶颈，server 与 worker 之间的通信成本会随着 worker 数目的增加而线性增加。

所以读完了以上的分析，自然而然的2个要求就是：

下面是2条重要的注意信息：

参数定义：

使用：

这一节通过具体的例子展示 DataParallel 的用法。

1) 首先 Import PyTorch modules 和超参数。

2) 设置 device。

3) 制作一个dummy (random) dataset，这里我们只需要实现 getitem 方法。

4) 制作一个示例模型。

5) 创建 Model 和 DataParallel，首先要把模型实例化，再检查下我们是否有多块 GPU。最后是 put model on device：

输出：

6) Run the Model：

输出：

以上就是 DataParellel 的极简示例，注意我们并没有告诉程序我们要使用多少块 GPU，因为 torch.cuda.device_count() 会自动地计算出当前的所有可用的 GPU 数，假设电脑里面是8块，那么输出就会是：

Distributed Data Parallel 这种方法允许我们在有1台或者多台的机器上分布式训练。与 Data Parallel 的不同之处是：

我们先介绍下 torch.nn.parallel.DistributedDataParallel 这个 PyTorch class。

定义：

CLASS torch.nn.parallel.DistributedDataParallel (module,device_ids=None,output_device=None,dim=0,broadcast_buffers=True,process_group=None,bucket_cap_mb=25,find_unused_parameters=False,check_reduction=False,gradient_as_bucket_view=False)

torch.nn.DistributedDataParallel

torch.nn.DataParallel 要输入一个 module ，在模型构建的过程中，这个 module会在每个 device 上面复制一份。同时输入数据在 batch 这个维度被分块，这些数据会被按块分配在不同的 device 上面。最后形成的局面就是：所有的 GPU 上面都有一样的 module，每个 GPU 都有单独的数据。在反向传播过程中，每一个 GPU 上得到的 gradient 会被平均。

使用这个 class 需要 torch.distributed 的初始化，所以需要调用 [torch.distributed.init_process_group()](https://link.zhihu.com/?target=https%3A//pytorch.org/docs/stable/distributed.html%23torch.distributed.init_process_group) 。

如果想在一个有 N 个 GPU 的设备上面使用 DistributedDataParallel，则需要 spawn up N 个进程，每个进程对应0-N-1 的一个 GPU。这可以通过下面的语句实现：

i from 0-N-1，每个进程中都需要：

为了在每台设备 (节点) 上建立多个进程，我们可以使用 torch.distributed.launch 或者 torch.multiprocessing.spawn 。

如果你在一个进程中使用 torch.save 来保存模型，并在其他一些进程中使用 torch.load 来加载模型，请确保每个进程的 map_location 都配置正确。如果没有 map_location，torch.load 会将从保存的设备上加载模型。

几点注意：

参数定义：

这一节通过具体的例子展示 DistributedDataParallel 的用法，这个例子假设我们有一个8卡 GPU。

1) 首先初始化进程：

2) 创建一个 toy module，叫它 ToyModel，用 DDP 去包裹它。注意，由于 DDP 在构造函数中把模型状态从第rank 0 的进程广播给所有其他进程，所以我们无需担心不同的 DDP 进程从不同的参数初始值启动。PyTorch提供了 mp.spawn 来在一个节点启动该节点所有进程，每个进程运行 train(i, args) ，其中 i 从0到 args.gpus - 1 。所以有以下 code。

执行代码时，GPU 数和进程数都是 world_size。

当使用 DDP 时，我们只在一个进程中保存模型，然后将其加载到所有进程中，以减少写的开销。这也很好理解，因为所有进程从相同的参数开始，梯度在后向传递中是同步的，因此，所有进程的梯度是相同的。所以读者请确保所有进程在保存完成之前不要开始加载。此外，在加载模块时，我们需要提供一个适当的 map_location 参数，以防止一个 process 踏入其他进程的设备。如果缺少 map_location，torch.load 将首先把 module 加载到 CPU，然后把每个参数复制到它被保存的地方，这将导致同一台机器上的所有进程使用同一组设备。

有关模型并行的介绍可以参考：

DDP 也适用于 multi-GPU 模型 。DDP 包裹着 multi-GPU 模型 ，在用海量数据训练大型模型时特别有帮助。

当把一个 multi-GPU 模型 传递给 DDP 时，device_ids 和 output_device 不能被设置。输入和输出数据将被应用程序或模型 forward() 方法放在适当的设备中。

参考：

https://pytorch.org/tutorials/beginner/blitz/data_parallel_tutorial.html

https://pytorch.org/docs/stable/notes/ddp.html

DDP和EXW区别为：最大责任不同、交货不同、卸货不同。

一、最大责任不同

1、DDP：DDP术语下，卖方承担最大责任。

2、EXW：EXW术语下，买方承担最大责任。

二、交货不同

1、DDP：DDP术语下，完税后交货是指卖方在指定的目的地，办理完进口清关手续。

2、EXW：EXW术语下，卖方在指定的目的地将货物交给买方处置，不办理进口手续。

三、卸货不同

1、DDP：DDP术语下，将在交货运输工具上尚未卸下的货物交与买方，即完成交货。

2、EXW：EXW术语下，不从交货的运输工具上将货物卸下，即完成交货。

---