[Pytorch] RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking arugment for argument mat2 in method wrapper_mm)

 

RuntimeError 오류는 텐서가 다른 디바이스(cuda:0와 cpu 등)에 위치해 있을 때 발생하는데, 이는 PyTorch에서 연산을 수행할 때 관련된 모든 텐서가 동일한 디바이스에 있어야 하기 때문입니다. PyTorch는 텐서가 CPU나 특정 GPU(cuda:0, cuda:1 등)와 같은 동일한 디바이스 위에 위치해야 해당 연산을 올바르게 실행할 수 있습니다.

 

이 오류는 주로 텐서 간의 행렬 곱셈 연산(torch.mm 또는 @)이나 다른 여러 텐서를 사용하는 연산을 수행할 때 발생합니다. 이 문제를 해결하는 방법은 다음과 같습니다

 

1. 텐서와 그들의 디바이스 식별

먼저, 오류를 일으키는 연산에 관련된 텐서가 무엇인지, 그리고 그들이 어느 디바이스에 위치해 있는지 확인해야 합니다. 텐서의 디바이스를 출력하려면 .device를 사용합니다.

 

print(tensor.device)

 

2. 텐서를 동일한 디바이스로 이동

연산을 수행하기 전에 모든 텐서를 동일한 디바이스로 이동시켜야 합니다. 이를 위해 .to(device)를 사용할 수 있으며, 여기서 device는 'cpu', 'cuda:0', 'cuda:1' 등 하드웨어와 요구사항에 따라 달라질 수 있습니다.

예를 들어, 텐서를 GPU 디바이스 cuda:0로 이동하려면 다음과 같이 합니다:

 

tensor = tensor.to('cuda:0')

 

또는 텐서를 CPU로 이동하려면:

 

tensor = tensor.to('cpu')

 

3. 예제 수정

tensor_a가 cuda:0에 있고 tensor_b가 cpu에 있을 때, 두 텐서 간의 행렬 곱셈을 수행하고자 한다고 가정해 보겠습니다. 이때 tensor_b를 cuda:0로 이동한 후 연산을 수행하는 방법은 다음과 같습니다:

 

# tensor_a가 cuda:0에 있고 tensor_b가 cpu에 있다고 가정
tensor_a = tensor_a.to('cuda:0')  # tensor_a가 이미 cuda:0에 있다면 이 과정은 중복될 수 있음
tensor_b = tensor_b.to('cuda:0')  # tensor_b를 cuda:0로 이동

# 이제 두 텐서가 동일한 디바이스에 있으므로 연산을 수행할 수 있음
result = torch.mm(tensor_a, tensor_b)

 

 

4. .to()의 현명한 사용

.to() 메소드는 텐서가 이미 지정된 디바이스에 있는 경우 이동을 수행하지 않으므로, 텐서가 현재 어디에 있는지 확실하지 않아도 안전하게 사용할 수 있습니다. 연산을 수행하기 전에 관련된 모든 텐서가 의도한 디바이스에 있는지 확인하는 것이 좋은 습관입니다.