AMD RX7800 XT GPU로 ROCm을 통한 ComfyUI 설치 및 실행(Ubuntu 22.04 LTS) - 1편

 
 AI 이미지 생성에는 SD Web UI를 곧잘 활용했다. 하지만 정적인 이미지를 넘어 움직이는 AI 영상을 만들고 싶다는 욕심이 생겼고, 자연스레 노드 기반 인터페이스인 ComfyUI에 눈길이 갔다. 내 그래픽카드는 AMD RX 7800 XT. 윈도우에서 ZLUDA를 사용하면 ComfyUI도 CUDA처럼 부드럽게 돌아가지 않을까 기대했지만, 그건 나만의 착각이었다. 결국 ROCm을 네이티브로 사용하기 위해, 태어나 처음으로 리눅스(우분투 22.04.5 설치라는 큰 결심을 내렸다. 리눅스 명령어 하나하나가 도전이었던 완전 초보가, RX 7800 XT 위에서 ComfyUI를 구동시키기까지의 그 모든 설치 과정과 문제 해결의 순간들을 이 글에 상세히 기록하고자 한다. 그리고 AI가 없었다면 도전하지 못했을 과정이다. 

---

 본격적인 글에 앞서 나의 주된 사양은 다음과 같다 : (중급기 사양) 

• CPU: AMD Ryzen 5 7600 (12) @ 5.170GH
• GPU: AMD ATI Radeon RX 7800 XT 16gb vram
• RAM: DDR5 32GB

---

1단계: 리눅스 설치와 기본 다지기

 첫 삽질은 OS 선택부터였다. Ubuntu 24.04 LTS를 설치했더니 정체 모를 세그멘테이션 오류가 계속 발목을 잡았다. 우분투 24.04버전은 AMD에서 공식적으로 지원하는 ROCm 버전이지만 ComfyUI를 설치하고 사용 중 지속적인 오류가 발생했다. 원인도 모르겠고, 시간만 흘러가서 결국 포기. 안정적이라는 Ubuntu 22.04 LTS로 다시 진행을 했다. (중간에 24.04버전이 오류나서 Fedora도 설치해서 사용했으나, 컨테이너와 도커에서 모두 오류가 발생해서 마지막 대안으로 Ubuntu 22.04.5를 선택해서 사용했다.) 
 
Ubuntu 22.04.5 LTS (Jammy Jellyfish)

Ubuntu 22.04.5 LTS (Jammy Jellyfish)

 
 새로 설치한 우분투 22.04에서 가장 먼저 한 일은 Secure Boot (보안 부팅) 비활성화였다. PC를 재부팅하고 BIOS/UEFI 설정에 들어가 이놈부터 껐다. 이전 설치 과정에서 Secure Boot를 나중에 껐다가 화면이 안 나오는 등 온갖 고생을 했던 기억 때문에, 이번에는 무조건 1순위로 처리했다. (나중에 알고 보니, 서명 안 된 커널 모듈, 딱 ROCm 드라이버 같은 놈들의 로드를 막아서 문제를 일으키는 주범 중 하나라고 한다.) 끄고 나서 우분투로 부팅했을 때 화면이 잘 나오는지 꼼꼼히 확인했다. 다행히 이번엔 문제없었다.

ROCm을 지원하는 리눅스 사양

---

22.04 설치 완료 후 해야 할 사항 : 

1. 설치 직후 사용자 셋업 과정에서 상위버전으로 업데이트 할 것인지 물어보는데 절대 하면 안됨. '예' 를 누르면 24.04 버전으로 업데이트가 진행됨. 
2. 이후 가장 먼저 PC를 재부팅하여 BIOS/UEFI 설정으로 진입. (보통 F2, F10, F12, Del 키 연타로 진입가능)
3. 'Secure Boot' (보안 부팅) 옵션을 찾아 Disabled' (비활성화)로 변경.

이유: Secure Boot는 서명되지 않은 커널 모듈(ROCm 드라이버 포함)의 로드를 막아 심각한 문제를 일으킬 수 있습니다. (실제로 나중에 이 문제로 그래픽 드라이버가 제대로 인식되지 않았음.)
확인: 비활성화 후 Ubuntu로 부팅했을 때 모니터가 정상적으로 인식되는지 확인함. 

---

 다음은 리눅스 사용의 기본이라는 시스템 업데이트. 터미널이란 까만 창을 열고 다음 명령어들을 차례로 입력했다. 앞으로 이 터미널과 아주 친해져야 했다.

sudo apt update
sudo apt upgrade -y

 
 꽤 많은 업데이트가 진행됐고, 혹시 모르니 업데이트 후에는 sudo reboot 명령어로 시스템을 한번 재부팅해줬다.

sudo reboot #재부팅

 마지막으로 ROCm 드라이버 설치에 앞서 필요한 선수들을 깔아줬다. 나중에 DKMS(커널 모듈 자동 빌드 시스템)가 오류 없이 돌아가려면 꼭 필요한 놈들이라고 한다.

sudo apt install build-essential linux-headers-$(uname -r) dkms -y

 
 build-essential은 gcc, make 같은 컴파일 도구 모음이고, linux-headers-$(uname -r)는 현재 실행 중인 커널 버전에 맞는 헤더 파일, dkms는 말 그대로 DKMS를 설치하는 명령어다. 여기까지가 ROCm이라는 큰 산을 넘기 위한 최소한의 준비 과정이었다. 아직 갈 길이 멀었다. 여기까지가 1단계 ROCm 설치 과정이다. 익숙한 사람들은 빠르게 진행되지만, 나와 같이 리눅스를 처음 접하는 사람에게는 정말 어려운 과정이다. 그래도 이 과정을 해냈다는 것이 뿌듯하다. 다음 포스트에 ROCm설치 후반부를 작성할 계획이다.

---

Ubuntu 24.04 및 주요 오류 사례 

 
1. 듀얼 부팅 설치 과정의 어려움

• 파티션 축소 문제: Windows의 디스크 관리 도구로는 '이동할 수 없는 파일' 때문에 충분한 공간 확보가 어려웠음. 페이지 파일, 최대 절전 모드 등을 비활성화해도 한계가 있어, 결국 MiniTool Partition Wizard 같은 제3자 도구를 사용하여 우분투 설치 공간을 마련했음.
• GRUB 부팅 메뉴 실종: 우분투 설치 후 재부팅 시 GRUB 메뉴가 나타나지 않고 바로 Windows로 부팅되는 문제가 발생함.
• BIOS/UEFI 설정에서 부팅 순서를 'ubuntu'로 변경하고, Windows의 `bcdedit` 명령어를 통해 부트로더 경로를 수정하는 과정을 거쳐 듀얼 부팅 메뉴를 정상화했음.

2. Ubuntu 24.04에서 ROCm 설치 문제

• 저장소 경로 오류 (404 Not Found): AMD 공식 문서나 일반적인 가이드에 따라 ROCm 저장소를 추가하려 했으나, Ubuntu 24.04 ('noble')용 `amdgpu-install` 스크립트나 `rocm` 저장소 경로가 정확하지 않거나 아직 불안정하여 404 오류가 반복적으로 발생함. 여러 번의 시도와 경로 수정 끝에 `apt update`를 성공시킬 수 있었음. 이는 최신 OS 지원 초기의 전형적인 문제로 판단됨.
• 권한 문제: ROCm 설치 후 `rocminfo` 실행 시 **'Permission denied'** 오류가 발생함. 사용자를 'render' 그룹에 추가하고 재부팅하는 과정을 통해 해결함.

3. ComfyUI 실행 시 치명적 오류 발생

• `hipBLASLt` 경고: ComfyUI에서 모델(SD3) 실행 시, PyTorch가 RX 7800 XT (gfx1101)를 완벽하게 지원하지 못해 기본 hipblas로 전환한다는 경고가 발생함. 이는 잠재적 불안정성을 시사함.
• 세그멘테이션 오류 (코어 덤프) :
      SD3 모델 실행 중 샘플링 단계에서 `세그멘테이션 오류`가 발생하며 파이썬 프로세스가 강제 종료됨.
      문제 범위를 확인하기 위해 SDXL 모델로 변경하여 실행했으나, 동일하게 `세그멘테이션 오류`가 발생함.
      `dmesg` 로그 확인 결과, 오류의 근원지가 `libMIOpen.so` (ROCm 핵심 딥러닝 라이브러리)** 임을 확인함.

4. 결론: Ubuntu 22.04 LTS로 전환

 ROCm 설치 과정의 어려움과 더불어, SD3와 SDXL 양쪽 모두에서 핵심 라이브러리인 MIOpen 충돌로 인해 세그멘테이션 오류가 발생하는 것을 확인 함. 이는 Ubuntu 24.04 LTS 환경이 아직 RDNA 3 GPU와 최신 ROCm 스택 조합에서 딥러닝 작업을 수행하기에 충분히 안정적이지 않다는 강력한 증거로 판단됨.

 결국, 안정적인 AI 작업 환경 구축을 위해 많은 사용자와 AMD로부터 검증된 Ubuntu 22.04 LTS 버전으로 운영체제를 다시 설치하기로 결정함.

---