amd显卡bios打包

打包AMD显卡BIOS需要以下步骤：

1. 下载AMD显卡BIOS文件。可以从AMD官方网站或第三方网站下载。

2. 下载和安装ATIFlash工具。这是一个用于刷新AMD显卡BIOS的免费工具。

3. 打开ATIFlash工具并选择“Save”选项将BIOS文件保存到本地。

4. 打开ATIFlash工具并选择“Load”选项将BIOS文件加载到工具中。

5. 在ATIFlash工具中选择“Program”选项，然后选择“Save to File”选项将BIOS文件保存为新文件。

6. 将所有文件打包成一个压缩文件，例如ZIP或RAR格式。

7. 提供打包后的文件给需要使用的人或组织。

注意事项：

在打包AMD显卡BIOS时，请确保您已经备份了原始BIOS文件，以防刷写BIOS时出现问题。此外，请注意，刷新显卡BIOS可能会导致显卡出现问题，并且可能会导致显卡的保修失效，因此请谨慎 *** 作。

看见这个东西第一反应就是开了垂直同步，可是到quality setting一看，垂直同步是关着的。

然后再运行打包之后的程序会发现程序的帧率只有90和45两个状态。这不就是every V blank和every second V blank吗。

最后在steamvr设置里发现一个叫运动平滑的东西。开了的话不足90帧的地方会变成45帧。关掉就会稳定在80+.

Steamvr上对运动平滑的解释：

效果大概是在帧数不足90帧的时候在两帧之间插一帧，用来欺骗眼镜告诉你整个体验还是很流畅的。测试效果也是在帧率低的时候开着比较好。

最后：碰到这个东西可以不去管他。在优化的时候先把运动平滑关掉。然后正常用的时候打开就好了。

最后的最后：还是没找到怎么关掉垂直同步。

常见 GPU 利用率低原因分析

1、数据加载相关

1）存储和计算跨城了，跨城加载数据太慢导致 GPU 利用率低

说明：例如数据存储在“深圳 ceph”，但是 GPU 计算集群在“重庆”，那就涉及跨城使用了，影响很大。

优化：要么迁移数据，要么更换计算资源，确保存储及计算是同城的。

2）存储介质性能太差

说明：不同存储介质读写性能比较：本机 SSD >ceph >cfs-1.5 >hdfs >mdfs

优化：将数据先同步到本机 SSD，然后读本机 SSD 进行训练。本机 SSD 盘为“/dockerdata”，可先将其他介质下的数据同步到此盘下进行测试，排除存储介质的影响。

3）小文件太多，导致文件 io 耗时太长

说明：多个小文件不是连续的存储，读取会浪费很多时间在寻道上

优化：将数据打包成一个大的文件，比如将许多图片文件转成一个 hdf5/pth/lmdb/TFRecord 等大文件

其他格式转换方式请自行谷歌

4）未启用多进程并行读取数据

说明：未设置 num_workers 等参数或者设置的不合理，导致 cpu 性能没有跑起来，从而成为瓶颈，卡住 GPU

优化：设置 torch.utils.data.DataLoader 方法的 num_workers 参数、tf.data.TFRecordDataset 方法的 num_parallel_reads 参数或者 tf.data.Dataset.map 的 num_parallel_calls 参数。

5）未启用提前加载机制来实现 CPU 和 GPU 的并行

说明：未设置 prefetch_factor 等参数或者设置的不合理，导致 CPU 与 GPU 在时间上串行，CPU 运行时 GPU 利用率直接掉 0

优化：设置 torch.utils.data.DataLoader 方法的 prefetch_factor 参数 或者 tf.data.Dataset.prefetch()方法。prefetch_factor 表示每个 worker 提前加载的 sample 数量 （使用该参数需升级到 pytorch1.7 及以上），Dataset.prefetch()方法的参数 buffer_size 一般设置为：tf.data.experimental.AUTOTUNE，从而由 TensorFlow 自动选择合适的数值。

6）未设置共享内存 pin_memory

说明：未设置 torch.utils.data.DataLoader 方法的 pin_memory 或者设置成 False,则数据需从 CPU 传入到缓存 RAM 里面，再给传输到 GPU 上

优化：如果内存比较富裕，可以设置 pin_memory=True，直接将数据映射到 GPU 的相关内存块上，省掉一点数据传输时间

2、数据预处理相关

1）数据预处理逻辑太复杂

说明：数据预处理部分超过一个 for 循环的，都不应该和 GPU 训练部分放到一起

优化：a、设置 tf.data.Dataset.map 的 num_parallel_calls 参数，提高并行度，一般设置为 tf.data.experimental.AUTOTUNE，可让 TensorFlow 自动选择合适的数值。

b、将部分数据预处理步骤挪出训练任务，例如对图片的归一化等 *** 作，提前开启一个 spark 分布式任务或者 cpu 任务处理好，再进行训练。

c、提前将预处理部分需要用到的配置文件等信息加载到内存中，不要每次计算的时候再去读取。

d、关于查询 *** 作，多使用 dict 加速查询 *** 作；减少 for、while 循环，降低预处理复杂度。

2）利用 GPU 进行数据预处理 -- Nvidia DALI

说明：Nvidia DALI 是一个专门用于加速数据预处理过程的库，既支持 GPU 又支持 CPU

优化：采用 DALI，将基于 CPU 的数据预处理流程改造成用 GPU 来计算

3、模型保存相关

1）模型保存太频繁

说明：模型保存为 CPU *** 作，太频繁容易导致 GPU 等待

优化：减少保存模型(checkpoint)的频率

4、指标相关

1）loss 计算太复杂

说明：含有 for 循环的复杂 loss 计算，导致 CPU 计算时间太长从而阻塞 GPU

优化：该用低复杂度的 loss 或者使用多进程或多线程进行加速

2）指标上报太频繁

说明：指标上报 *** 作太频繁，CPU 和 GPU 频繁切换导致 GPU 利用率低

优化：改成抽样上报，例如每 100 个 step 上报一次

5、日志相关

1）日志打印太频繁

说明：日志打印 *** 作太频繁，CPU 和 GPU 频繁切换导致 GPU 利用率低

优化：改成抽样打印，例如每 100 个 step 打印一次

资料领取直通车：大厂面试题锦集+视频教程

Linux服务器学习网站：C/C++Linux服务器开发/后台架构师

四、常见数据加载方法说明

1、pytorch 的 torch.utils.data.DataLoader

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,

batch_sampler=None, num_workers=0, collate_fn=None,

pin_memory=False, drop_last=False, timeout=0,

worker_init_fn=None, *, prefetch_factor=2,

persistent_workers=False)

登录后复制

从参数定义中，我们可以看到 DataLoader 主要支持以下几个功能:

支持加载 map-style 和 iterable-style 的 dataset，主要涉及到的参数是 dataset

自定义数据加载顺序，主要涉及到的参数有 shuffle, sampler, batch_sampler, collate_fn

自动把数据整理成 batch 序列，主要涉及到的参数有 batch_size, batch_sampler, collate_fn, drop_last

单进程和多进程的数据加载，主要涉及到的参数有 num_workers, worker_init_fn

自动进行锁页内存读取 (memory pinning)，主要涉及到的参数 pin_memory

支持数据预加载，主要涉及的参数 prefetch_factor

2、tensorflow 的 tf.data.Dataset

ds_train = tf.data.Dataset.from_tensor_slices((x,y))\

.shuffle(5000)\

.batch(batchs)\

.map(preprocess,num_parallel_calls=tf.data.experimental.AUTOTUNE)\

.prefetch(tf.data.experimental.AUTOTUNE)

登录后复制

Dataset.prefetch(): 可以让数据集对象 Dataset 在 å 训练时预取出若干个元素，使得在 GPU 训练的同时 CPU 可以准备数据，提升训练流程的效率

Dataset.map(f): 转换函数 f 映射到数据集每一个元素可以利用多 CPU 资源,充分利用多核心的优势对数据进行并行化变换， num_parallel_calls 设置为 tf.data.experimental.AUTOTUNE 以让 TensorFlow 自动选择合适的数值，数据转换过程多进程执行，设置 num_parallel_calls 参数能发挥 cpu 多核心的优势

Dataset.shuffle(buffer_size): 将数据集打乱，取出前 buffer_size 个元素放入，并从缓冲区中随机采样，采样后的数据用后续数据替换

Dataset.batch(batch_size)：将数据集分成批次，即对每 batch_size 个元素，使用 tf.stack() 在第 0 维合并，成为一个元素

五、分布式任务常见的 GPU 利用率低问题

分布式任务相比单机任务多了一个机器间通信环节。如果在单机上面运行的好好的，扩展到多机后出现 GPU 利用率低，运行速度慢等问题，大概率是机器间通信时间太长导致的。请排查以下几点：

1、机器节点是否处在同一 modules？

答：机器节点处于不同 modules 时，多机间通信时间会长很多，deepspeed 组件已从平台层面增加调度到同一 modules 的策略，用户不需要 *** 作；其他组件需联系我们开启。

2、多机时是否启用 GDRDMA？

答：能否启用 GDRDMA 和 NCCL 版本有关，经测试，使用 PyTorch1.7（自带 NCCL2.7.8）时，启动 GDRDMA 失败，和 Nvidia 的人沟通后确定是 NCCL 高版本的 bug，暂时使用的运行注入的方式来修复；使用 PyTorch1.6（自带 NCCL2.4.8）时，能够启用 GDRDMA。经测试，“NCCL2.4.8 + 启用 GDRDMA ” 比 “NCCL2.7.8 + 未启用 GDRDMA”提升 4%。通过设置 export NCCL_DEBUG=INFO，查看日志中是否出现[receive] via NET/IB/0/GDRDMA 和 [send] via NET/IB/0/GDRDMA，出现则说明启用 GDRDMA 成功，否则失败。

3、pytorch 数据并行是否采用 DistributedDataParallel ？

答：PyTorch 里的数据并行训练，涉及 nn.DataParallel (DP) 和 nn.parallel.DistributedDataParallel (DDP) ，我们推荐使用 nn.parallel.DistributedDataParallel (DDP)。

---