1️⃣ Windows 쪽 NVIDIA 드라이버 확인/설치
WSL2에서 GPU를 사용하려면 Windows에 NVIDIA 공식 드라이버가 설치되어 있어야 합니다.
- 현재 설치 확인:
nvidia-smi
- 출력이 나오면 이미 설치됨
- “NVIDIA-SMI has failed” 같은 메시지면 설치 필요
- 설치
- NVIDIA 공식 드라이버 다운로드 → “GeForce” 또는 “Quadro” 모델 선택
- 설치 시 “WSL 지원” 옵션이 있으면 반드시 체크
2️⃣ WSL2에서 CUDA Toolkit 설치
Ubuntu 22.04 기준
1. CUDA 리포지토리 설정
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt update
2. CUDA 설치
sudo apt install -y cuda
3. 설치 확인
nvcc --version
nvidia-smi
- nvcc --version : CUDA 컴파일러 버전 확인
- nvidia-smi : WSL 내 GPU 확인
3️⃣ PyTorch / Transformers GPU 지원 설치
WSL에서 PyTorch가 GPU를 사용하려면 CUDA 버전 맞춰서 설치해야 합니다.
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
위는 CUDA 12.1 기준. 자신의 CUDA 버전에 맞춰 cu12X 조정 필요
4️⃣ llama.cpp GPU 빌드
cd ~/llama.cpp/build
cmake .. -DLLAMA_CUDA=ON -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
# **GCC 10을 사용하는 경우(아래)
# GCC 10 설치
sudo apt update
sudo apt install -y gcc-10 g++-10
# 빌드 디렉토리 완전 초기화 후 다시
cd ~/llama.cpp
rm -rf build
mkdir build
cd build
# CMake에서 컴파일러 강제 지정
cd ~/llama.cpp/build
cmake .. \
-DLLAMA_CUDA=ON \
-DCMAKE_BUILD_TYPE=Release \
-DCMAKE_C_COMPILER=gcc-10 \
-DCMAKE_CXX_COMPILER=g++-10 \
-DCMAKE_CUDA_HOST_COMPILER=g++-10
make -j$(nproc)
- 빌드 완료 후 ./bin/llama-cli에서 GPU 사용 가능
💡 주의 사항
- WSL2 + GPU 지원은 Windows 11이 안정적
- 드라이버가 맞지 않으면 Failed to initialize NVML 등 오류 발생
- CUDA 설치 후 WSL 재시작 권장:
wsl --shutdown
wsl


























