GPU 변경 이후 트레이닝이 안되는 문제 해결

해결 방법을 찾는 동시에 글을 쓰는 이 상황.

졸업 논문을 아직도 서론까지밖에 못썼는데

일주일 안으로 이 컴퓨터를 고쳐서 논문과 함께 실험을 더 할 수 있을지 모르겠다.

 

뭐 여튼 시간을 아끼면 어떻게든 되겠지.

 nvidia smi로 확인해본 결과 GPU있는데

왜 자꾸 아무것도 못하는지 이해가 안감.

보니까 GPU로 아예 안돌아간다는 것을 확인.

 

아나콘다 문제일 수도 있어서(아나콘다를 깐 시점이 저번 GPU 때니까)

아나콘다를 삭제해보기로 함.

 

아나콘다 삭제했고 repo.anaconda.com/archive/Anaconda3-2020.02-Windows-x86_64.exe 이거 다시 깔음.

그리고 환경변수 cuda랑 아나콘다에 맞게 다시 셋팅해준다.

 

그러면 다시 재부팅하겠다.

아나콘다는 이제 인식이 잘 된다.

그럼 기존에 있던 가상환경 폴더를 들어가보겠다.

그냥 activate ntire라고 치면 되나보다.

 

그러면 이제 환경을 확인해보겠다.

cuda가 달라졌으니, 이거는 다르게 설정해주어야 할것같아서 다시 재설치.
가상환경도 다시 셋팅해주기 위해서

base 제외 기존 가상환경 모두 삭제.

 

가상환경 다시 만들기.

 

그리고 pytorch 랑 기타 설정사항 설치하기

conda install pytorch==1.0.1 torchvision==0.2.2 cudatoolkit=9.0 -c pytorch

나는 이거 입력해줌.

그리고 다른 부분들은 저자의 requirement 문서를 이용해서 다운로드 받음.

C가 cpu 의 C가 아니라 computing 의 C라는 것을 알았다.

이게 원래 이정도 드는 거라는걸 알게 되었다.

 

저번에 했던 에러 캡쳐화면이 없는데, 이게 돌아가고 있는거란다.

이게 RTX 3090의 위력인가..

아니 성능 개선을 어떻게 하면

내가 돌아가는지 안돌아가는지도 모르게 느껴짐,..

 

아 물론 지금 에포크가 하나도 출력되었다고 안뜨고 그냥 돌기만 해서..

그렇게 느껴진 것같기도하고...

여튼 뭔가 출력된다면 더 정리하겠다.

 

 

원인을 알았다.
CUDA 10에서는 해당 gpu가 작동하지 않는다.

그래서 CUDA 11로 바꾼 결과, 트레이닝이 돌아간다는 것을 확인하였고,

트레이닝 중간에 파워서플라이(750W)도 부족하여 컴퓨터가 꺼지는 것을 확인하였다.

그래서 트레이닝 돌아가도록 파워를 오늘내로 바꾸기로 하였다.