pytorch 2.0以后fft相关的函数必须使用复数类型输入，但nccl不支持复数，怎么解决？
2024-04-10 阅读 10
如果PyTorch 2.0之后的FFT相关函数要求使用复数类型输入，但是nccl不支持复数类型，可以考虑以下两种解决方案：
1. 在进行FFT操作之前，将复数类型的输入转换为实数类型。可以将复数张量拆分为实部和虚部两部分，然后分别作为两个实数张量输入进行FFT操作。完成FFT后，再将实部和虚部合并为复数张量。
2. 考虑使用其他支持复数类型的分布式计算库，如Horovod。Horovod是一个支持多种深度学习框架的分布式训练库，它可能支持复数类型输入的FFT操作，并且可以与PyTorch结合使用。
通过这两种方法，您可以在PyTorch 2.0及以上版本中使用FFT相关函数进行计算，同时避免nccl不支持复数类型的问题。
更新于 2024年11月21日
