WSL2에 CUDA 드라이버 설치하기

1️⃣ Windows 쪽 NVIDIA 드라이버 확인/설치

WSL2에서 GPU를 사용하려면 Windows에 NVIDIA 공식 드라이버가 설치되어 있어야 합니다.

1. 현재 설치 확인:

nvidia-smi

• 출력이 나오면 이미 설치됨
• “NVIDIA-SMI has failed” 같은 메시지면 설치 필요

1. 설치

• NVIDIA 공식 드라이버 다운로드 → “GeForce” 또는 “Quadro” 모델 선택
• 설치 시 “WSL 지원” 옵션이 있으면 반드시 체크

 

2️⃣ WSL2에서 CUDA Toolkit 설치

Ubuntu 22.04 기준

1. CUDA 리포지토리 설정

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub   
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt update

 

2. CUDA 설치

sudo apt install -y cuda

 

3. 설치 확인

nvcc --version
nvidia-smi

• nvcc --version : CUDA 컴파일러 버전 확인
• nvidia-smi : WSL 내 GPU 확인

 

3️⃣ PyTorch / Transformers GPU 지원 설치

WSL에서 PyTorch가 GPU를 사용하려면 CUDA 버전 맞춰서 설치해야 합니다.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

위는 CUDA 12.1 기준. 자신의 CUDA 버전에 맞춰 cu12X 조정 필요

4️⃣ llama.cpp GPU 빌드

cd ~/llama.cpp/build
cmake .. -DLLAMA_CUDA=ON -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)



# **GCC 10을 사용하는 경우(아래)

# GCC 10 설치
sudo apt update
sudo apt install -y gcc-10 g++-10


# 빌드 디렉토리 완전 초기화 후 다시
cd ~/llama.cpp
rm -rf build
mkdir build
cd build


# CMake에서 컴파일러 강제 지정
cd ~/llama.cpp/build
cmake .. \
  -DLLAMA_CUDA=ON \
  -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_C_COMPILER=gcc-10 \
  -DCMAKE_CXX_COMPILER=g++-10 \
  -DCMAKE_CUDA_HOST_COMPILER=g++-10
  make -j$(nproc)

• 빌드 완료 후 ./bin/llama-cli에서 GPU 사용 가능

 

💡 주의 사항

• WSL2 + GPU 지원은 Windows 11이 안정적
• 드라이버가 맞지 않으면 Failed to initialize NVML 등 오류 발생
• CUDA 설치 후 WSL 재시작 권장:

wsl --shutdown
wsl