CUDA 并行程序设计中的 GPU 编程需要注意什么？

Mecanim

CUDA 并行程序设计中的 GPU 编程需要注意什么？

johnsoncodehk

设备端数据访问一般从全局内存开始， GPU程序易受内存带宽的限制。 因此，最大限度地利用全局内存带宽是调控核函数性能的关键。

全局内存3：
   1 对齐与合并访问
   2 全局内存读取
   3 全局内存写入

CUDA指令和存储都以线程束为单位进行发布和执行。执行内存指令时， 线程束中的每个线程都提供了一个加载或存储的内存地址。在线程束的32个线程中， 每个线程都有一个包含地址的内存访问请求。 根据线程束中内存地址的分布， 内存访问可以被分成不同的模式。
1 对齐与合并访问
全局内存通过缓存来实现加载/存储，可以通过核函数访问它。 应用程序数据最初存在于DRAM物理设备内存中。 核函数的内存请求通常是在DRAM设备和片上内存间以128字节或32字节内存事务来实现的。简要说明一下计算机术语“事务”(Transaction)，一般是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。
一般来说，对全局内存的访问都会通过缓存：如果通过一二级缓存， 那么内存访问由一个128字节的内存事务实现；如果只通过二级缓存， 那么这个内存访问由一个32字节的内存事务实现。
一行一级缓存是128个字节， 它映射到设备内存中一个128字节的对齐段。 如果线程束中的每个线程请求一个4字节的值， 那么每次请求就会获取4×32=128字节的数据， 这恰好与缓存行和设备内存段的大小相契合。在优化应用程序时， 需要注意对齐内存访问和合并内存访问。


当设备内存事务的第一个地址是用于事务缓存粒度的偶数倍时（32字节或128字节），就会出现对齐内存访问，而运行非对齐的加载会造成带宽浪费。



a 对齐与合并内存的加载操作; b 非对齐和未合并的内存访问

当一个线程束中全部的32个线程访问一个连续的内存块时， 就会出现合并内存访问。对齐合并内存访问的理想状态是线程束从对齐内存地址开始访问一个连续的内存块。
为了最大化全局内存吞吐量， 内存操作进行对齐合并是很重要的。例如：
对齐与合并内存情况下， 只需要一个128字节的内存事务，就能从设备内存中读取数据。
非对齐和未合并情况下，可能需要3个128字节的内存事务： 一个在偏移量为0的地方开始， 读取连续地址之后的数据； 一个在偏移量为256的地方开始， 读取连续地址之前的数据； 另一个在偏移量为128的地方开始读取大量的数据。
由于在内存事务之前和之后获取的大部分字节将不能被使用， 因此造成带宽浪费。
参考：

IT圈老男孩1

CUDA（Compute Unified Device Architecture）是由英伟达（Nvidia）开发的 GPU 编程平台，可以使用 C++ 或者 Python 等语言开发 GPU 并行程序。在 CUDA 并行程序设计中，需要注意以下几点：

• 线程和块：CUDA 使用线程和块来抽象 GPU 的并行能力。线程表示 GPU 中的一个算力单元，块表示由若干个线程组成的组。在编写 GPU 并行程序时，应该充分考虑块的大小和线程的数量，以优化程序的性能。
  
• 数据传输：GPU 的计算能力非常强，但是它的存储能力和带宽相对较弱。因此，在 CUDA 并行程序设计中，应该尽量减少数据传输，并使用高效的数据传输方式，如使用显存（memory）或者共享内存（shared memory）。
  
• 内存管理：GPU 具有多级内存，包括显存、共享内存和寄存器。在 CUDA 并行程序设计中，应该合理使用这些内存，并考虑内存的大小和带宽的限制。
  
• 调试和优化：CUDA 并行程序的调试和优化通常比 CPU 程序复杂，需要使用专门的工具和方法。应该熟悉 CUDA 的调试工具，如 NVIDIA Nsight 和 cuda-gdb，并使用性能分析工具，如 NVIDIA Visual Profiler，来优化程序的性能。
  

总之，在 CUDA 并行程序设计中，应该注意线程和块的使用、数据传输、内存管理和调试和优化等问题，以最大限度地发挥 GPU 的并行能力。

HuldaGnodim

注意多休息和玩游戏，别被看得见和看不见的bug还有什么都不懂的上级给压垮了

Baste

要注意一下腰，不要坐太久，多起来运动，查不出bug就等等（

super1

• 并行通信：需要考虑如何将计算任务并行分配到 GPU 上的多个线程中进行处理。
  
• 内存：需要注意 GPU 中的内存使用情况，避免超过 GPU 的内存容量或使用不当导致性能下降。
  
• 通信：在多个 GPU 之间或者在 GPU 和 CPU 之间进行通信时，需要注意数据传输的带宽和延迟。
  
• 线程同步：在并行程序中，可能需要使用同步机制来确保某些操作的正确执行顺序。
  
• 编译和调试：在编译和调试 CUDA 并行程序时，需要使用特定的工具和方法，如 NVIDIA 的 nvcc 编译器和 cuda-gdb 调试器。
  
• 其他注意事项：还可能需要注意 GPU 硬件和驱动的版本、CUDA 版本以及与 GPU 相关的环境变量等。